542 odpovědí na toto téma

[HaLuMa]

Tak jsem se na to dneska konecne podival. Jednoduche zjisteni - blbec jsem ja! Povedlo se mi totiz inicializovat objekt s HTTP implementaci driv, nez se mi inicializoval SSL plugin. Takze zrovna geogeti funkce HTTPask tak zustala bez podpory SSL. Oprava je trivialni, zminena makra zacala fungovat. Vydrzte jeste chvilicku, opravim jeste par drobnosti a vydam novou verzi.

[semik75]

Malý update k projektu. Předně se musím omluvit, těm kterým jsem ještě neodpověděl. Pokusím se dnes večer. Pokud se tak nestane - připomeňte se prosím mailem. Odpovídám všem, jen to občas trvá.

Objevil jsem trapný překlep v názvu kraje Moravskoslezského kde mi chybělo s po z a to způsobilo, že v dotyčné PQ pro tento kraj chybělo cca 400 kešek. Byl jsem tam tento víkend a byl jsem po zásluze potrestán.

Dál jsem udělal zběžnou kontrolu docházejících PQ. Zjistil jsem, že pro některé intervaly už víc jak týden nic nepřišlo. Některé byly opušteny protože došlo k překročení počtu kešek - smazal jsem je. Některé jsou opuštěny kvůli podivné chybě na straně GC.COM která způsobuje, že občas PQ přestane chodit. V tom případě je nejsnazší PQ zkopírovat, starou smazat, novou přejmenovat a aktivovat. Dotyčné dotčené jsem obeslal.

Prosím všechny aby občas mrkli na seznam PQ které posílají. Já kontroluji jen když PQ přestanou docházet úplně anebo pro danou PQ vypadnou všichni.

Taktéž prosím všechny kteří sami hlídají přetečení, za což jim patří velký dík, aby také upravovali wiki.

[Osik]

Ahoj, Semikovi patří velký dík ... a mám drobný nápad: Hlavní důvod, proč stahuji ALL.cz, je "disable" stav keší ... Nešlo by vytvářet ještě samostatný GPX pro každou zemi, kde by byly pouze tagy "wpt", "name" a "groundspeak:cache"? Pak to v GeoGetu funguje a stahování by bylo mnohem rychlejší ... Díky...

[semik75]

Osik napsal/a:
Hlavní důvod, proč stahuji ALL.cz, je "disable" stav keší ... Nešlo by vytvářet ještě samostatný GPX pro každou zemi, kde by byly pouze tagy "wpt", "name" a "groundspeak:cache"? Pak to v GeoGetu funguje a stahování by bylo mnohem rychlejší ...
Díky...

groundspeak:cache myslis predpokladam bez tech sub elementu? No slo by to, ale moc se mi do toho nechce. Je tu jeste nekdo komu by tohle pomohlo?

Pokud jde jen o ten stav kese, tak by bylo myslim mnohem efektivnejsi vytvaret nejaky csv soubor kde by byl kod a stav. To ale asi do GeoGetu nejde nijak narvat co?

[semik75]

Vratil jsem se z dovolene a koukam ze se PQ ne pregenrovavaji a do logu mi to pise "Out of memory!". Nemecko bohuzel preteklo 3GB a to je maximum co se da narvat do datoveho segmetnu... pokusim se to co nejdrive vyresit, ale to nejdrive nebude zitra. Prozatim jsem vypnul generovani Nemecka a ostatni staty zase jedou.

[HaLuMa]

semik75 napsal/a:
Pokud jde jen o ten stav kese, tak by bylo myslim mnohem efektivnejsi vytvaret nejaky csv soubor kde by byl kod a stav. To ale asi do GeoGetu nejde nijak narvat co?

Ale narvat jde cokoliv. Pokud to nezkousne samotny import, tak vzdycky jde napsat makroskript, co by to pripadne CSV precetlo, a postupne nahledavalo kese a menilo u nich stav.

Nevidim v tom zadny vetsi problem.

[HaLuMa]

semik75 napsal/a:
Vratil jsem se z dovolene a koukam ze se PQ ne pregenrovavaji a do logu mi to pise "Out of memory!". Nemecko bohuzel preteklo 3GB a to je maximum co se da narvat do datoveho segmetnu... pokusim se to co nejdrive vyresit, ale to nejdrive nebude zitra. Prozatim jsem vypnul generovani Nemecka a ostatni staty zase jedou.

Proc to vlastne cele zpracovavas najednou v pameti? Asi to bude jednou chtit cpat do databaze a zpracovavat tam. Pri vhodnych indexech by to mohlo byt i o neco rychlejsi.

[semik75]

HaLuMa napsal/a:
Proc to vlastne cele zpracovavas najednou v pameti? Asi to bude jednou chtit cpat do databaze a zpracovavat tam. Pri vhodnych indexech by to mohlo byt i o neco rychlejsi.

Pamet a pocetni vykon je skoro zadarmo. Takhle to bylo napsano hodne rychle a kod co to oprasuje nema ani 200 radek. Bohuzel ten DOM hrozne nabotna, kdyz bych to mel jen jako string tak je porad klid.

Ale protoze se tech zaludnych uzivatelskych pozadavku seslo vicero, tak je asi ta spravna chvile na to to prepsat. Eviduju nasledujici prani:

- funkce spravce urcite oblasti - bude dostavat notifikace pri prekroceni limitu 500 u kterekoliv PQ te oblasti
- notifikace pri prijmuti PQ s 500 zaznamy
- export s vice nez 5ti logy u jedne kesky
- optimalizovany export pro TrekBuddy
- export jen stavu kesek pro geoget

Nejspis prestanu generovat agregovane vystupy dopredu a budou se vytvaret az na zaklade pozadavku a pak na nejakou dobu uchovavat. Nejvic casu travi system prave v kompreseni tech vystupu. Ostatni operace jsou narocny spis na tu pamet.

Takze mate-li nejaka prani, ktera nejsou uvedena nahore, tak je prave ta spravna chvile je vyslovit.

[HaLuMa]

Ja mam davne prani, ktere asi nebude jednoduche splnit - GPX, ktere v dane oblasti obsahuje jen ty kesky, u kterych se za poslednich X dnu (kdy X je treba 14) zmenil stav enabled/disabled, nebo se zmenil listing.

[bobrb]

Automaticky import na jedno kliknuti uz s novou verzi GeoGetu kraaaaasne funguje. Ja su tak scastny;o))

[bossno]

bobrb napsal/a:
Automaticky import na jedno kliknuti uz s novou verzi GeoGetu kraaaaasne funguje. Ja su tak scastny;o))

Co používáš za funkci?

[djw]

semik75 napsal/a:

Pamet a pocetni vykon je skoro zadarmo. Takhle to bylo napsano hodne rychle a kod co to oprasuje nema ani 200 radek. Bohuzel ten DOM hrozne nabotna, kdyz bych to mel jen jako string tak je porad klid.

Ale protoze se tech zaludnych uzivatelskych pozadavku seslo vicero, tak je asi ta spravna chvile na to to prepsat. Eviduju nasledujici prani:

- funkce spravce urcite oblasti - bude dostavat notifikace pri prekroceni limitu 500 u kterekoliv PQ te oblasti
- notifikace pri prijmuti PQ s 500 zaznamy
- export s vice nez 5ti logy u jedne kesky
- optimalizovany export pro TrekBuddy
- export jen stavu kesek pro geoget

Nejspis prestanu generovat agregovane vystupy dopredu a budou se vytvaret az na zaklade pozadavku a pak na nejakou dobu uchovavat. Nejvic casu travi system prave v kompreseni tech vystupu. Ostatni operace jsou narocny spis na tu pamet.

Takze mate-li nejaka prani, ktera nejsou uvedena nahore, tak je prave ta spravna chvile je vyslovit.

semiiku, prosimte ja jsem se mozna ztratil v tematu, ale je to tak, ze uvazujes nenechat pocitat ty agregovane all.cz soubory? je fakt, ze je delat kazdou hodinu asi nema smysl, ale zda se, ze vsechny groundspeak pq co prijdou prijdou aktualni nejpozdeji do sesti do vecera naseho casu a apaq by stacilo jen jednou ten soubor schroupnout. nebo reaguji na neco jineeeho? kdyztak sry. jaa jsem totiz pravidelnyy a nanejvyys spokojenyy uzivatel a prdiiiim vzdycky celou CR do gsaku

[bobrb]

bossno napsal/a:

bobrb napsal/a:
Automaticky import na jedno kliknuti uz s novou verzi GeoGetu kraaaaasne funguje. Ja su tak scastny;o))

Co používáš za funkci?

HTTPask - viz par prispevku tomu nazad

[semik75]

HaLuMa napsal/a:
Ja mam davne prani, ktere asi nebude jednoduche splnit - GPX, ktere v dane oblasti obsahuje jen ty kesky, u kterych se za poslednich X dnu (kdy X je treba 14) zmenil stav enabled/disabled, nebo se zmenil listing.

Tohle neni zase az tak komplikovany. Nejvic se meni logy, tudiz je budu od wpt kesky oddelovat a ukladat extra. Pak uz nebude prilis slozity porovnat kanonizovany formy a zjistit jestli se na kesce zmenilo neco jineho a pokud ano, tak zmenit datum posledni zmeny. A diky tomu bude trivialni takovy vystup pripravit. Tohle by mohlo vyhovet i Osikovi, ktery chce vedet o tom ktera keska je ne/aktivni. Bude to sice vetsi ale zase ne nejak extra velky jako cely ALL.zip. Sam jsem zvedavy jak casto se kesky meni.

djw napsal/a:
semiiku, prosimte ja jsem se mozna ztratil v tematu, ale je to tak, ze uvazujes nenechat pocitat ty agregovane all.cz soubory? je fakt, ze je delat kazdou hodinu asi nema smysl, ale zda se, ze vsechny groundspeak pq co prijdou prijdou aktualni nejpozdeji do sesti do vecera naseho casu a apaq by stacilo jen jednou ten soubor schroupnout. nebo reaguji na neco jineeeho? kdyztak sry. jaa jsem totiz pravidelnyy a nanejvyys spokojenyy uzivatel a prdiiiim vzdycky celou CR do gsaku

ALL.zip budou k dispozici porad, ale zvazuju, ze je necham udelat az kdyz je nekdo zkusi stahnout. Prvni by si chvili pockal ale dalsi by to dostali z cache, pokud by to nebylo prilis stary. Ted to pregenerovavam kazdou hodinu a je to docela zbytecne. Jen jednou denne mi to zase prijde malo casto.

[abakus]

semik75 napsal/a:
ALL.zip budou k dispozici porad, ale zvazuju, ze je necham udelat az kdyz je nekdo zkusi stahnout. Prvni by si chvili pockal ale dalsi by to dostali z cache, pokud by to nebylo prilis stary. Ted to pregenerovavam kazdou hodinu a je to docela zbytecne. Jen jednou denne mi to zase prijde malo casto.

No a jak budeš určovat "pokud by to nebylo prilis stary"? Vždyť je to naprosto stejné dilema. Pokud informace zestárnou po 6 hodinách, tak to prostě generuj každých 6 hodin a je to. btw: Těch 6 hodin mi připadne jako rozumný interval.

[Osik]

abakus napsal/a:
No a jak budeš určovat "pokud by to nebylo prilis stary"? Vždyť je to naprosto stejné dilema. Pokud informace zestárnou po 6 hodinách, tak to prostě generuj každých 6 hodin a je to. btw: Těch 6 hodin mi připadne jako rozumný interval.

Poměrně jednoduché je stanovisko, že ALL.gpx je zastaralý když mezitím přišlo něco, co jej mohlo změnit ... Já vždycky koukám ještě na došlé PQ a dotahuji případné "ještě nezapočtené" ...
To Semik: ALL.gpx se generuje vždy nebo jen pokud od minula přišlo něco nového?

[semik75]

Osik napsal/a:

abakus napsal/a:
No a jak budeš určovat "pokud by to nebylo prilis stary"? Vždyť je to naprosto stejné dilema. Pokud informace zestárnou po 6 hodinách, tak to prostě generuj každých 6 hodin a je to. btw: Těch 6 hodin mi připadne jako rozumný interval.

Poměrně jednoduché je stanovisko, že ALL.gpx je zastaralý když mezitím přišlo něco, co jej mohlo změnit ... Já vždycky koukám ještě na došlé PQ a dotahuji případné "ještě nezapočtené" ...

Kdyz v tom sestihodnovem intervalu PQ nikdo nezkusi stahnout, tak se vlastne vygenerovalo zbytecne. Pokud ano, tak ma mozna zbytecne stary data a muze nejakou bednu minout. Proto zvazuju nejaky generovani v okamziku stahovani...

Osik napsal/a:
To Semik: ALL.gpx se generuje vždy nebo jen pokud od minula přišlo něco nového?

Ted se to dela kazdou hodinu a masina to pomalu prestava zvladat. Mas pravdu ze mozna kompromisem to bude delat kazdou hodinu kdyz pro dany region bude nejaka zmena. Az to bude v databazi, tak to bude snadno zjistitelne.

Musim prestat zvanit a zacit mastit ify!

[Osik]

Hledal jsem hledal aktualní data, ale už 48 hodin nic nepřišlo ... To GroundSpeak nic neposlal nebo se to někde zaseklo po cestě? Plný mailbox? Spadlý démon? Dodatek: GS mi píše poslední odeslaný 26.11.2009 ...

[rsc_cz]

Co jsem koukal, tak agregované PQ fungují normálně (minimálně pro ČR)

[semik75]

Osik ma pravdu! Agregovane vysledky se pocitaji ale ze starych dat. Mailer rika:

temporary failure. Command output: .mailfilter(6): Syntax error.

a ve fronte mam

344971 Kbytes in 296 Requests

Hrabal jsem se v tom nekdy vcera rano a takhle to dopadlo Uz je to opraveno ale chvili to potrva nez to protece.