19 odpovědí na toto téma

[McHa]

Super soft trosku programuji, ale tohle bych programovat (tedy spis udrzovat nechtel!) dik za tu odvahu a praci Chtel bych se zeptat, zda premyslis o necem jako nacist primo ZIP s PQ (jako v GSAK), je to hodne pohodlne, ze se caches a waypointy nactou na jeden klick Diky za pekny soft

[HaLuMa]

McHa napsal/a:
Chtel bych se zeptat, zda premyslis o necem jako nacist primo ZIP s PQ (jako v GSAK), je to hodne pohodlne, ze se caches a waypointy nactou
na jeden klick

To ale Geoget uz davno umi. A nejen to, on si ten ZIP s PQ umi i sam stahnout z posty pres POP3. To tu mas na jeden click i s tim stazenim z posty.

Nahravani ZIPu s PQ jde rucne jen v 'batch' rezimu. Tedy ze v datovem adresari najdes podadresar PQ, a do nej umisti libovolne mnozstvi ZIPu s PQ. A v geogetu dej pak volny 'batch PQ GPX import'. Geoget si to sam rozbali a naimportuje. Dokonce si i sam pohlida, ze kdyz tam bude vice verzi stejneho PQ, ze si nikdy neprematla nova data starsimi.

[sobikovi]

HaLuMa napsal/a:
To ale Geoget uz davno umi. A nejen to, on si ten ZIP s PQ umi i sam stahnout z posty pres POP3. To tu mas na jeden click i s tim stazenim z posty.

Narazil jsem na jeden "problém" se stahováním dat z POP3. Jedná se mi o to, že když si nechám na POP3 serveru uchované zprávy s PQ a pustím import znovu a znovu a znovu, tak se mi zase znovu a znovu a znovu vše načte, rozbalí a naimportuje.. Je to šílená ztráta času, datovýho limitu a systémového času Pokud mám v PQ adresáři archiv načtených a naimportovaných PQ, pak je asi zbytečný, aby se znovu a znovu a znovu načítalo a importovalo vše. Teda ideálně když se bude importovat inkrementálně, co už je nechá na pokoji...

[HaLuMa]

A jak mam dle tebe zjistit, jestli to PQ bylo uz naimportovane, aniz bych ten mail stahnul, rozbalil a podival se na to GPX? Takze jedine, co si mohu odpustit, je ten import. A ten si Geoget odpusti, zjisti-li, ze improtovane PQ je starsi nez to v archivu. Spravne reseni je bud si nenechavat PQ v mailu, nebo nastavit Geoget tak, aby tahal jen nove, dosud nezpracovane zpravy. jedine tak si usetris cely ten retezec tahani-rozbalovani-import.

[sobikovi]

HaLuMa napsal/a:
A jak mam dle tebe zjistit, jestli to PQ bylo uz naimportovane, aniz bych ten mail stahnul, rozbalil a podival se na to GPX?

Takze jedine, co si mohu odpustit, je ten import. A ten si Geoget odpusti, zjisti-li, ze improtovane PQ je starsi nez to v archivu.

Spravne reseni je bud si nenechavat PQ v mailu, nebo nastavit Geoget tak, aby tahal jen nove, dosud nezpracovane zpravy. jedine tak si usetris cely ten retezec tahani-rozbalovani-import.

Pokud se nepletu, tak příloha v emailu má jedinečný název shodný z názvem PQ, tudíž pokud již tento název v archivu existuje, je pravděpodobně importován a tudíž není nutné stahovat. Importované PQ ze stejného emailu je vždy novější :-( protože se stáhne později a má tedy novější datum vytvoření... takže si ho neodpustí a importuje znovu to samé.. Pokud dám příznak tahat nezpracované tak se obávám, že to taky nezafunguje, protože když se podívám do emailu i po importu dat, tak všechny zprávy mají příznak nepřečtené, nezpracované...

[HaLuMa]

Priloha neni pojmenovana jedinecne, ani subject neni jedinecny. Oboje je u periodicky zasilanych PQ stejne! Takze podle toho opravdu nezjistim nic.

A tahani nezpracovanych mailu prave pomuze. Je jedno jake priznaky vidis u zprav na serveru, na tom to nezalezi. Geoget si totiz v takovem pripade zapamatovava unikatni identifikatory dopisu v POP3 schrance, takze pak taha jen ty, ktere dosud opravdu nevidel. Takze by to tvuj problem resit melo. (pokud ovsem tvuj POP3 server podporuje prikaz UIDL, ktery neni povinny)

[sobikovi]

HaLuMa napsal/a:
Priloha neni pojmenovana jedinecne, ani subject neni jedinecny. Oboje je u periodicky zasilanych PQ stejne! Takze podle toho opravdu nezjistim nic.

A tahani nezpracovanych mailu prave pomuze. Je jedno jake priznaky vidis u zprav na serveru, na tom to nezalezi. Geoget si totiz v takovem pripade zapamatovava unikatni identifikatory dopisu v POP3 schrance, takze pak taha jen ty, ktere dosud opravdu nevidel. Takze by to tvuj problem resit melo. (pokud ovsem tvuj POP3 server podporuje prikaz UIDL, ktery neni povinny)

Schránka je na Gmailu a stahoval zase všechno...

[drobik]

HaLuMa napsal/a:
Priloha neni pojmenovana jedinecne, ani subject neni jedinecny. Oboje je u periodicky zasilanych PQ stejne! Takze podle toho opravdu nezjistim nic.

Mozno by to slo osetrit, mohlo by stacit si pri importe ulozit nazov suboru + datum_cas mejlu, co by malo vytvorit jedinecnu kombinaciu, dalsia z moznosti filtracie je stiahnut na zaciatku len hlavicky mejlov cez prikaz TOP a podla ulozeneho nazvu suboru+datum_cas odfiltrovat uz importovane PQ :)

Ale je to len cisto teoreticka rovina, drzim palce pri pripadnej implementacii :)

[HaLuMa]

sobikovi napsal/a:
Schránka je na Gmailu a stahoval zase všechno...

Poprve po zmene nastaveni to stahne vsechno, protoze se teprve sestavuje seznam videnych mailu. (viz. obsah souboru uidl.txt v datovem adresari geogetu). Pri druhem a dalsim pristupu by uz vsechno tahat nemel...

[sobikovi]

Tak jsem to schválně znovu testoval při dnešní dávce... načetl jsem nejdřív dnešní PQ z gmailu, načetlo to správně 5 souborů, rozbalilo a naimportovalo, smazalo na POP serveru. Následně jsem z koše obnovil tu dnešní dávku co byla naimportovaná a včerejší dávku co ještě nebyla a znovu spustil. Samo že se stáhlo z POP všech 10! PQ a importovalo se znovu všech 20 souborů.. TEdy nechová se to tak jak popisuješ. Nevím, jestli to není tím, že je GG spuštěn z USB.

[HaLuMa]

USB to urcite nebude, z nestandardnich adresaru poustim GG bezne.

Detekce jis stazenych mailu funguje tenhdy, kdyz tam ten mail na serveru skutecne zustava! Ucel teto volby je takovy, ze kdyz nechci ze serveru dopisy odmazavat, tak aby se mi stale dokolecka netahaly znovu a znovu. To je neco jineho nez jsi udelal!

ted to funguje tak, ze si GG pamatuje unikatni identifikatory zprav, ktere jsou zrovna na serveru viditelne. Pokud zjisti,z e zapamatovana zprava na serveru jiz neni, prestane si ji pamatovat. A naopak, nove zpravy si zacne pamatovat. Pro vyse uvedeny ucel to bohate staci, seznam zapamatovanych zprav kopiruje stav zprav na serveru. (jinak by seznam zapamatovanych identifikatoru ponekud narustal...)

Takze kdyz jsi stahnul vsechno a na serveru smazal, nebylo co by si mel GG pamatovat, takze obnovene zpravy vnimal jako nove. kdybys zpravy ze serveru nemazal, nebyl by problem.

Trosku to cele komplikuje fakt, ze GoogleMail se nechova jako bezny POP3 server...

[sobikovi]

HaLuMa napsal/a:
Takze kdyz jsi stahnul vsechno a na serveru smazal, nebylo co by si mel GG pamatovat, takze obnovene zpravy vnimal jako nove. kdybys zpravy ze serveru nemazal, nebyl by problem.

Trosku to cele komplikuje fakt, ze GoogleMail se nechova jako bezny POP3 server...

No jo, jenže není to tak dávno co jsme spolu řešili otázku PQ uložných v archive. Tam jsi psal, že pokud je PQ v archive, už se naimportuje. Jenže tak se to nechová, prostě to stáhne a naimportuje všechno. Byl bych ještě ochoten oželet čas na stažení PQ z emailu, ale znovu importovat již importované je nesmysl... Pokud tedy stažený PQ má stejné jméno a velikost, tak neimportovat nebo třeba s dotazem.

[HaLuMa]

Ano, importovat jiz naimportovane je skutecne nesmysl. Ale at delam co delam, tak mi to znova neimportuje. Uz jen ten muj rychlostni test importu, zmineny v jinem vlaknu, je dukaz... 10PQ a naimportovalo se jen cca 3500 kesek, tedy jen zhruba 7PQ.

[sobikovi]

No tak nic, nechám to být. Až zase nebudu mít co dělat, tak tomu předhodím pár PQ a budu importovat a budu měřit... Fajn, dorazil jsem domů, a trochu testoval. Do Gmailu jsem předhodil 10 PQ, 5 z toho už GSAK i GG měl načtené.. jak to tedy dopadlo. GSAK poznal a načetl jen 5 nových, staré nechal na webu, GG načítal všechno :-( GSAK stažení, rozzipování, naimportování cca 2min; GG to samé 14min! Teda GG zpracovával jednou tolik informací, protože nepoznal, že už je má načtené :-(

[HaLuMa]

Ach jo. Tak jeste jednou...

Ted jsem doma stahnul denni varku peti PQ. Trvalo to vsechno 50 vterin, z toho jen 28 vterin trvalo samotne stahovani. (preci jen doma nemam zadny vykrik techniky, ani zadne blekove pripojeni...)

S GSAK porovnavat nemuzu, ale kdyz vidim tvuj cas, nemyslim si ze je to spatny vysledek, ani ze by to bylo pomale.

Co kdybys misto hledani much venoval svoji energii patrani, proc to jen tobe bezi tak pomalu?

[HaLuMa]

sobikovi napsal/a:
Tam jsi psal, že pokud je PQ v archive, už se naimportuje.

Nene, to jsem nerekl. PQ je v archivu prakticky vzdycky, pokud si nechacvas PQ posilat periodicky. Ja rikam, ze:
"PQ se naimportuje, pokud se v archivu nenachazi stejne ci mladsi PQ" A toto mi tu funguje. ripominamz, e je jedno co mas v databazi, podstatne je co mas v PQ archivu, a jestli jsi tam nezmenil datum a cas u jednotlivych souboru.

[sobikovi]

Tak problém s rychlostí možná odhalen. Důvodem je podle všeho instalace na USB, jelikož stejná úloha z disku je za cca 2 minuty hotová. Zkusím GG nahrát na jiný USB a uvidíme jestli se to chová na všech stejně... Pokud jde o archiv, pak samozřejmě žádné datumy a časy neměním. Prostě když se podívám do adresáře PQ po downloadu a do adresáře archiv, tak tam jsou stejné soubory...

[HaLuMa]

sobikovi napsal/a:
Tak problém s rychlostí možná odhalen. Důvodem je podle všeho instalace na USB, jelikož stejná úloha z disku je za cca 2 minuty hotová. Zkusím GG nahrát na jiný USB a uvidíme jestli se to chová na všech stejně...

Pockej, pockej... ze je USB vyrazne piomalejsi, to snad neni zadne prekvapeni. USB flash disk je sam o sobe dost pomalejsi nez disk, datove prenosy pres USB jsou take o dost pomalejsi nez z disku, navic datove prenosy z USB hodne konzumuji procesorovy cas.

kldyz jsi tady porad argumentoval rychlosti GG vs. GSAK, tak ten GSAK jsi take spoustel z USB? Jinak by ta porovani byla hodne nefer!

sobikovi napsal/a:
Pokud jde o archiv, pak samozřejmě žádné datumy a časy neměním. Prostě když se podívám do adresáře PQ po downloadu a do adresáře archiv, tak tam jsou stejné soubory...

Koukam se na to co tam delam, a asi jsem nasel pricinu tvych problemu. Tvuj problem by mel nastavat jen kdyz jsou ta PQ uplne stejna. Pokud bys chtel naimportovat starsi PQ, pak by ti jej melo preskocit. Opravim.

[sobikovi]

GSAK tuším z USB spouštět nejde a tudíž nemohu porovnat, ale jak už jsem psal, pokud GG běží z disku, pak je rychlostí srovnatelný s GSAKem, i když na mne působil trochu pomalejší, ale v danou chvíli je to zanedbatelné. Při práci z disku jsou GG a GSAK stejně dobré

To jsem ale říkal od začátku, že naimportuji několikrát stejnou dávku a tudíž jsou soubory vždy stejné. :@ Mám dojem, že hlídat to na datum a čas není šťastné, protože se ti mohou měnit kopírováním atd. atd. a měla by stačit kontrola na jméno souboru a velikost. GS pokud generuje PQ, tak mají vždy odlišný název (ještě se mi za ty roky (2) nestalo, že by byl soubor stejný...)

[HaLuMa]

Kopirovanim souboru se ti ale jeho casova znacka nezmeni. Tady problem nevidim. Navic porovnavanim jmena a velikosti jen zjistis, ze soubory nejsou mozna stejne (protoze i kdyz sedi jmeno i velikost, tak porad mohou byt jine!).

Kdyz budes porovavat jmeno a velikost, jak proboha urcis, ktery soubor je novejsi? Budes se kazdy den nekolikrat ptat uzivatele? To snad ne!

Nemohu si pomoci, PQ nemaji odlisny nazev, to by se ti v archivu hromadily donekonecna. Jedno PQ ma porad stejny nazev souboru. Takze mas najednou dva stejne pojmenovane soubory, velikosti se patrne budou lisit, ale jak chces urcit, jktery z nich je novejsi, abys rozhodnul, jestli jej budes ci nebudes importovat? To muzes udelat jen dvema zpusoby:

- porovnanim casu souboru (protoze je vybaluji ze ZIPu, tak je tam skutecne cas vytvorenim, ne cas rozbaleni!)

- porovnanim casove znaky uvnitr souboru (coz ale zjistim az kdyz ten souibor nactu - tedy az v pribehu importu, a to bys asi nechtel.)

Mas snad nejaky dalsi napad, jak zjistit ktery ze dvou souboru je starsi?