16 odpovědí na toto téma

[Kreten8]

Nejprve si dovolím ocitovat rady zkušenějších:

kiReGPS napsal/a:
Každopádně mu vadí znaky 01h-09h. Ty jsem vždycky v editoru odstraňoval a pak to POI Loaderem prošlo. Ale jistě to není seznam konečný...

gord napsal/a:
Nulové souřadnice, ktere POILoader nazchroustne
Ikony, ktere jsou ve velikosti nebo formatu, ktery POILoader neprijme

a pak přidám svojí:
v exportech z GC se objevují emotikony, které mají kódy 4 bajtové - tedy začínají znakem >= 240 a ty by mohly dělat problémy
lze si je prohlédnout např. zde http://www.utf8-char...pl?start=128512

[gord]

Predpokladam, ze jsi vlakno zalozil proto, aby se tu shromazdovaly skutecnosti, ktere cini problemy, a ne proto, ze se tim na neco ptas. Mozna, kdybys zkopiroval z toho predchoziho vlakna celou tu cast o znacich, bylo by to presnejsi. Zdaleka nejde jen o smajliky. Dalsi problem nastava treba pri chybne kodovanych importovanych datech. Napr v pripade, kdy se do databaze dostanou data v ANSI kodovani, pak jsou POILoaderu predlozeny ANSI znaky, a s nimi si neporadi. Jasne, je to chyba toho, kdo ta data do databaze nahraval, ale deje se to. Uz jsem to resil urcite vic nez desetkrat.

[petulinka1]

Vidim jistej dobrej umysl, ale bohuzel timhle vetsine lidi nepomuzes. Nevedi totiz stejne, jak se tech znaku zbavit. Takze ve finale davas jen polovicatou radu. Pokud to rozvedes do navodu, kterej pochopi i lama, pak to bude fajn. Jinak tohle tema ale bohuzel nema smysl, promin. To je jak kdybych se te ptala, proc mam nemocny dite a tys na me vyhrk "ze doslo k jistejm gonozomalnim averacim. (pomineme to, ze je to ve skutecnosti hovadina) Sice mi reknes pricinu, ale ja z toho vim uplny prd a jeste nevim, co s tim delat.

[HaLuMa]

Podle mne ty znaky problem nedelaji, pokud jsou v databazi ulozeny spravne. Aby tam byly ulozeny spravne, musi byt naimportovany posledni verzi GG. Takze zkus postizenou kes naimportovat znovu novym Geogetem, a melo by to byt uz v poradku. Problem vyrobil Groundspek, ktery tyto znaky spatne kodoval do HTML entit v predavanych datech.

[gord]

Jenze toto vlakno bylo vytvoreno obecne v tematu Garmin a ne v GG. Ono doknoce ani nejde o grouspeak. Obecne v tomto kontextu muzeme jedine stav veci konstatovat, ale reseni to ne teto urovni zadne nema. Proto jsem psal, ze jsem nepochopil, co zalozenim tohoto vlakna K8 sleduje.

[Kreten8]

Tak vlákno jsem založil, aby se tu mohl každý svěřit s tím, co našel, že POI loaderu vadí, a pokud někdo bude mít problém s nahráním dat pomocí POI loaderu, tak zde najde možné příčiny a případně rady, jak problematickou část rychle najít. A zároveň může sloužit autorům exportních pluginů, kteří si mohou problematické věci ošetřit a neexportovat (nebo v podobě, která POI loaderu nevadí).

[petulinka1]

V tom pripade to mas ale ve spatny sekci. A taky by bylo fajn to napast do prvniho prispevku, aby to lidi vedeli a dat tam hlavne ten navod, jak to odstranit Oenuju tvoji snahu, ale v tyhle podobe je proste zbytecna, tak to dotahni do konce, prosim.

[gord]

Kreten8 napsal/a:
Tak vlákno jsem založil, aby se tu mohl každý svěřit s tím, co našel, že POI loaderu vadí, a pokud někdo bude mít problém s nahráním dat pomocí POI loaderu, tak zde najde možné příčiny a případně rady, jak problematickou část rychle najít.
A zároveň může sloužit autorům exportních pluginů, kteří si mohou problematické věci ošetřit a neexportovat (nebo v podobě, která POI loaderu nevadí).

Obavam se, ze tvoje snaha je marna. Problemy jsou to zname, mnohokrat popsane, vysvetlene a i resene. A presto se lidi nenamahaji si to najit a optaji se znovu.

A pro autory exportnich pluginu je ta infomrace k nicemu, protoze neni v jejich silach kontrolovat data. Jako autor proste musim neco predpokadat. Pripada rozumne predpokladat, ze v databazi jsou data ve spravnem formatu. Jako autor exportniho pluginu nemam moznost zjistit odkud, jak a v jakem formatu se data do databaze dostala. Proste musim predpokladat, ze jsou spravne. Jinak bych ten export ani delat nemusel. K cemu by byl dobry, kdybych si myslel, ze jsou data spatna?

[Kreten8]

No tak například ty 4 bajtové smajlíky - ty by se daly odfiltrovat Nebo kontrola na neplatné UTF8 znaky - pokud neprojde, tak hlaška, že je třeba použít aktuální verzi GG a novým stažením listingů.

[gord]

To je porad dokola. Precti si, co k tomu uz bylo napsano. Jen dodam, ze smajlici jsou platne znaky, takze bys musel napsat spec. seznam znaku, ktere POILoader neumi. To si neumim predstavit, ze by nekdo udelal. Treba jen jak zjistovat mnozinu znaku, s kterymi ma POILoader problem. Opakuji, ze v obecne rovine toto nema reseni. Pokud nejake vidis, vrhni se na to a udelej to treba jako knihovnu pro scripty GG (ale nejsme ve vlakne GG!), aby to nemusel kazdy autor psat znovu.

[petulinka1]

gorde, ja zacinam mit pocit, ze my pisem cinsky a K8 japonsky K8: pripadas mi jako ta starostka, co vcera byla v jednom ze zivejch vstupu na CT1 - mela krasny vize o tom, ze by chtela zabranit povodnim tak, aby se nemusely stavet zadny valy, hraze apod., ale vubec nemela sajnu o tom, jak se to dela. Precti znovu, treba desetkrat, co ti tu pisem s gordem - davas sice informaci, ale ne uplnou a jeste ve spatny sekci. Mas navrh na reseni, ale ten je nerealizovatelnej. A porad dokola meles o smajlikach... Bud ten navod dotahni do konce, nebo se na to vybodni.

[Kreten8]

No snažil jsem se vysvětlit, že ty problémy s emotikony se dají snadno identifikovat tím, že znak je 4 bajty dlouhý a tudíž začíná bajtem s hodnotou 240 (0xF0), který se jinak v UTF-8 nevyskytuje. Doposud se používaly jen 1-3 bajty dlouhé znaky - ty 4 bajtové emotikony jsou novinka a řada programů s nimi má problém.

Podobně snadno se dají identifikovat znaky, které do UTF-8 nepatří.

Takže zde http://poi-test.kreteni.eu/chyby.php jsou k uploadovanému souboru záměrně přidány dva znaky - jeden je ten emotikon s kódem 0xF0 0x9F 0x98 0x8A, který se vyskytuje http://www.geocachin...aspx?wp=GC44KT2 v logu od Geo-c' na konci textu "Me prvni geopivo, diky za nej a zdravim kacery od stolu." a zobrazí se v aktuální verzi Firefoxu (v IE 9 je jen prázdný čtvereček)
A pak je tam přidán znak, který se UTF-8 nevyskytuje.

No a zde http://poi-test.kreteni.eu/ je formulář, který tam ty znaky nepřidává.

[petulinka1]

Ja to vzdavam... Ty proste nepochopis, ze beznej clovek NEVI co se snazis tim prvnim prispevkem rict a uz vubec netusi, jak to opravit!

[gord]

Tak jeste jednou, a tim s timto tematem koncim, uz reagovat nebudu: 1. emotikony nejsou jedine znaky, ktere delaji problemy 2. gc.com nektere znaky koduje do HTML entit a jeste k tomu spatne Chces-li pomoct (s GG a jeho scriptama), udelej knihovnu, ktera ze vstupniho stringu vyhaze vsechny znaky, kterym POILoader nevladne. Muzes to take udelat obecneji - vstup ze souboru, vystup do souboru, pak to nebude jen pro GG a pujde to pouzit treba na PQ (ktere ovsem neni vstupem pro POILoader).

[Kreten8]

Já jsem se zatím osobně setkal jen s těmi emotikony a popsal jsem, jak je poznat a dal jsem odkaz, kde se třeba jeden takový vyskytuje a udělal jsem stránku, kam se soubor dá uploadnout a skript zkontroluje, jestli se tam nějaký takový znak nevyskytuje (včetně kontroly, že všechny znaky jsou platné znaky z kódování UTF-8). Takže pokud gc.com některé znaky kóduje do HTML entit a ještě špatně - jaké jsou to znaky (co je na nich špatně), a kde je najdu jako příklad na vyzkoušení?

[HaLuMa]

Tak znova - POIloader s tim nema problem. Ted jsem to vyzkousel!

Udelal jsem si jednoduche zdrojove GPX pro POiloader, kde jsem do tagu Name i do tagu Cmt umistil text, ktery obsahuje ten smajlik, konkretne znak U+1F601. (tedy v UTF8 jako ctyrbytova sekvence f0 9f 98 81)

POIloader si na nic nestezoval a data zpracoval. Koukam se i do vygenerovaneho GPi souboru, a uvnitr jsou misto emotikonu ulozeny dva otazniky. Coz chapu, GPSka by to stejne lepe nezobrazila.

Takze POIloader na tom rozhodne nespadne.

[HaLuMa]

Kreten8 napsal/a:
Takže pokud gc.com některé znaky kóduje do HTML entit a ještě špatně - jaké jsou to znaky (co je na nich špatně), a kde je najdu jako příklad na vyzkoušení?

S temi entitami je to takto:

Vezmeme nejaky ten smajlik, treba ten vyse zmineny unicode znak U+1F601 Pokud bych jej chtel zakodovat jako HTML entitu, vypadala by takto: &
amp;#x1F601; nebo 😁

Zcela ted pomijim fakt, ze v XML textu nemaji HTML entity co delat! Spravne by tam vubec zadna takova entita nemela byt. To XML ma udane kodovani jako UTF-8, a tak by vsechny znaky (vcetne diakritiky) mely byt kodovany jako nativni UTF-8. Tak to napriklad vyleze pri exportu z Geogetu.

Ale Groundspeak, nejen ze to zakoduje do entit, ale on ten znak zakoduje jako dve samostatne entity:  颁

Tedy tvari se, jako by slo o dva samostatne znaky. Jenze oba ty samostatne znaky maji hodnotu, kterou unicode znak nesmi mit! Na to apliakce reaguji ruzne, od ignorovani, pres chybu ci pad.

A tady je kamen urazu - Drive se Geoget choval tak, ze ty znaky proste vzal a ulozil si je... a pri exportu je vysypal ven, tak jak lezi a bezi. Protoze data byla vadna uz na vstupu, byla vadna i na vystupu. A POIloader se klidne mohl na ty zakazane unicode znaky zachovat tak, ze ten soubor odmitl zpracovat. Nelze se mu divit!

Kdyz jsem vsak zjistil, jakou prasarnu Groundspeak generuje, prizpusobil jsem import tak, ze z takovehle dvojice neplatnych znaku dokaze zpet zrekonstruovat puvodni unicode znak, a ten korektne ulozi do dat. Exportovana data jsou pak formalne validni, a POIloader si nestezuje.

Proto od sameho zacatku rikam, ze jestli ma nekdo s temito znaky problem, je treba ty postizene kese naimportovat znovu novym Geogetem, protoze ten ta vadna data nahradi spravnymi a problem zmizi.