542 odpovědí na toto téma

[bohouscl6]

medwyn_cz napsal/a:
... na jeho programovani Osik podilel....

Výborně, není tedy co řešit, děkuji za upřesnění.

Mě to bylo divný, že by si s parametry wgetu neporadil, ale ted vim, že jsem buď nepochopil co přesně potřebuje, nebo že jím požadované řešení ve výsledku zabírá moc místa na HD a proto ho už nezajímá. No nic, půjdu zkusit najít něco plastového, to mi většinou zvedne náladu

Bohouš

[polerok]

Hickos napsal/a:
No můj rozjetý pokus ukazuje do konce ještě 15 minut a jede to zatím 3/4 hodiny. Nemůže to být třeba tím, že kromě ČR mám v databázi i SR, v další databázi asi 6 kompletních států Evropy a v další pak 2000 virtuálek USA? (kromě toho 2 malé databáze kolem několika desítek keší). P.S. Nepřesuneme tuto debatu do GSAKu?
EDIT: Celkový čas tedy 55minut celá ČR na rok starém netbooku nastaveném na max. výkon

Pochybuji, ja mam v GSAK databaze Norska, Slovenska, samostatne kraje, nalezy a jede....

[M@gic]

U mna je ta pomalost mozno sposobena uz vekom tej databazy. V podstate bezi furt uz 2,5 roka. Hodil som na to teraz purge logs. Odhadovany cas 12,5 hodiny... :-O M.

[Osik]

bohouscl6 napsal/a:
Mě to bylo divný, že by si s parametry wgetu neporadil, ale ted vim, že jsem buď nepochopil co přesně potřebuje, nebo že jím požadované řešení ve výsledku zabírá moc místa na HD a proto ho už nezajímá. No nic, půjdu zkusit najít něco plastového, to mi většinou zvedne náladu
Bohouš

Jojo, buď jsi to nepochopil, nebo jsem to blbě vysvětlil ... Mně jde o mirror jednoho souboru (ALL.zip, případně ALL.gpx+ALL-wpts.gpx) po pomalé lince .... Právě přes rsync, co jsem zkoušel, to ten 150MB GPX synchronizuje tak 10MB, což je 1/4 toho ZIPu ... Že wget umí to, cos mu nastavil, vím, myslel jsem, že umí nějak "malý diff-sync" i jednoho souboru ... Bylo mi to divné, protože mi nebylo jasné, jak by to dělal, ale třeba jsem se mýlil ... nemýlil ...
Konec.

[zde]

semik75 napsal/a:
Přemýšlel jsem o tom co nabídnout místo rsync. Co takhle diff podávaný přes HTTPS? Udělal jsem si kopii z dneška a zítra odpoledne to zkusím porovnat. Udivíme jak to bude efektivní. Má o to někdo zájem? Tohle by bylo poměrně snadné na impementaci.

No, já zjistil že ty PQ vlastně vůbec nepotřebuju, zajímá mne vždy jen blízké okolí, a to si bez problémů stáhnu pomocí GCTOUR, nebo v terénu přes GCz. Ale kdyby mě přepadla potřeba mít u sebe aktuální celou ČR, asi by to řešil wget v cron.daily, takže denní diff nebo rdiff by se dal pěkně využít.

Nápad s filtrováním GPX na úrovni keší je ale asi ještě lepší- řeší současně jak urychlení distribuce, tak import do databáze. Co se týče bázování, s tím myslím žádný problém není. PQ jsou generovány denně, ty předgenerované rozdílové GPX by jen obsahovaly keše změněné oproti předchozímu dnu. Když budu mít 3 dny starou DB, stáhnu poslední 3 soubory s aktualizacemi a ve správném pořadí je naimportuju, to přece není problém.

[M@gic]

M@gic napsal/a:
U mna je ta pomalost mozno sposobena uz vekom tej databazy. V podstate bezi furt uz 2,5 roka.
Hodil som na to teraz purge logs. Odhadovany cas 12,5 hodiny... :-O

Tak velkost db klesla z 1G na 170M. Uvidime, co to spravi :-)

M.

[djw]

krome Purge mi take vyznamne pomohla Repair/Defrag funkce (GSAK)

[M@gic]

Yep, to bolo ono, import CR 10 minut. M.

[h0--]

Ah, to vážně pomáhá. Ale stejně to trvá zbytečně dlouho.

[Osik]

hejhej, děje se něco divného na serveru - nějak se tam opakovaně kopírují došlé PQ ...

[semik75]

Osik napsal/a:
hejhej, děje se něco divného na serveru - nějak se tam opakovaně kopírují došlé PQ ...

WOW! Ty mas tedy prehled. No v patek jsem udelal drobnou upravu a od te doby se PQ nemazaly z fronty postovniho serveru a zpracovavaly se porad dokola. Dneska jsem si toho vsiml, odstranil preklep.

[Osik]

semik75 napsal/a:

Osik napsal/a:
hejhej, děje se něco divného na serveru - nějak se tam opakovaně kopírují došlé PQ ...

WOW! Ty mas tedy prehled. No v patek jsem udelal drobnou upravu a od te doby se PQ nemazaly z fronty postovniho serveru a zpracovavaly se porad dokola. Dneska jsem si toho vsiml, odstranil preklep.

Důvěřuj, ale prověřuj ... Dělal jsem si nějaké statistiky jak chodí data a kdy je vhodné stahovat výsledek, včera mi to začalo selhávat a dneska to bylo už úplně zmatené ...

Díky za Tvoji práci. ... rsync nebo ssh?

[medwyn_cz]

Ahoj,

vysel nam novy GeoJarry 2 plugin pro GeoGet, ktery umi pomerne hodne veci a napadlo me pomoci nej chytre automatizovat stahovani kesi z agregovaneho uloziste.

Pro uzivatele GSAK neni pravdepodobne nic takoveho k dispozici.


----------------------------------------------------------------------------------
************************ Funkce: ************************
----------------------------------------------------------------------------------

Tento archiv obsahuje soubory, pomoci kterych lze na jedno kliknuti provest kompletni aktualizaci GeoGeti databaze s Ceskou republikou vcetne objevovani archivovanych kesi a dotazeni pripadnych nove publikovanych kesi.
Jedna se o automatizovanou davku prikazu pro novy GeoJarry 2

Davka "Geocaches - CZ kompletni aktualizace z APQ" automaticky vykona toto

a) Pomoci makra apq.ggp.pas stahne ze sdileneho uloziste soubor CZ-All.zip.

Naimportuje stazene GPX do databaze GeoGetu.

c) Pomoci GeoJarry Geocaching.com dotazu se podiva, zda nahodou neni v nejnovejsich 200 kesich na Geocaching.com nejaka, kterou jeste nemame v databazi. Toto se muze klidne stat, protoze PQ chodi pouze jednou denne...

d) Pokud nejakou takovou kesku najde, stahne k ni listing. Seznam takovychto kesi ulozi do GeoGetiho listu LastImport-NotIncludedInAPQ.ggt, ktery je umisten v datovem adresari GG. Uzivatel tak ma prehled, ktere kese nebyly doposud v APQ a ktere tedy odchytil GeoJarryho bystry pohled.

e) Pomoci GeoJarry database dotazu prolitne nasi databazi a vyhleda v ni kesky, ktere lezi v Ceske republice a nebyly dnes aktualizovany. Jsou to jasni kandidati na archivaci, protoze potichoucku vypadly z PQ.

f) Pokud nejakou takovou kesku najde, stahne k ni listing. Seznam takovychto kesi ulozi do Geoetiho listu LastImport-ArchiveSuspicious.ggt, ktery je umisten v datovem adresari GG. Uzivatel tak ma prehled, ktere kese byly archivovany. Obcas jsou timto filtrem vyzvednuty i jine nez pouze archivovane kese (napr. kes v pohranici presunuta do sousedniho statu. take se da timto jednoduse odhalit chyba v APQ napriklad kvuli spatne nastavenym intervalum)

g) Naimportuje stazene listingy (Nove publikovane + podezrele z archivace).

h) Pomoci upraveneho makra czgcrefresh.ggp.pas a upravenych maker czdivide.ggp.pas, czgcgetrank.ggp.pas, czgcbestof.ggp.pas a elevation.ggp.pas doplni ke vsem kesim hodnoceni, rozdeli je do kraju, doplni pocet vyskytu v best-of bookmarcich a doplni nadmorskou vysku. Nakonec jeste provede VACUUM databaze, ktere ma vysoce pozitivni vliv na vykon a skutecne se po kazdem takovem velkem zasahu (importu) do databaze vyplati jej vykonat. (Napriklad vykon vizualizacniho skriptu Condition je potom radove lepsi. Stejne tak rychlost nacitani filtru nebo rychlost exportovani)

i) Zobrazi statistiky importu. V jednom dialogu tak vidite pocet nove pridanych kesi, at uz to bylo pomoci APQ nebo vyhledavani na GC.com pomoci GeoJarryho


Uzivatel pote dostane

- Komplet aktualizovanou databazi CR vcetne vsech bezne pouzivanych rozsireni.
- Databazi optimalizovanou pro vykon (po VACUUM)
- Seznam archivovanych ci jinak podezrelych kesi

Jednou za cas je treba rucne provest

- rucni smazani starych neaktualizovanych waypointu. (pomoci menu Databaze - Databazove nastroje - Smazat stare waypointy. Tento krok NEMAZE rucne vyrobene waypointy)



----------------------------------------------------------------------------------
********************** Obsah archivu: *********************
----------------------------------------------------------------------------------



NOVE NAPSANA MAKRA

- apq.ggp.pas - makro pro stahovani dat ze sdileneho uloziste PQ
- apq.config.pas - soubor s nastavenim


UPRAVENA MAKRA

- czdivide.ggp.pas - upravene makro pro rozdeleni do kraju
- czgcbestof.ggp.pas - upravene makro pro pridani poctu vyskytu v best-of bookmarcich
- czgcgetrank.ggp.pas - upravene makro pro zjisteni hodnoceni kesi
- elevation.ggp.pas - upravene makro pro zjisteni nadmorske vysky kesi

(Vsechna 4 makra maji odstraneno volani GeoBusyStart, ktere maze statistiky importu a GeoJarry tak nezobrazoval spravne pocty nove pridanych a zmenenych kesi - tohle mi trvalo snad sto let nez jsem na to prisel Uprava nema zadny vliv na funkcionalitu maker)

- czgcrefresh.ggp.pas
(Pridano vacuum databaze)

FILTRY

- Czech Republic.ggf - filtr, ktery zobrazi vsechny nearchivovane kese v CR. GeoJarry ho vyuziva pro vyhledani dnes neaktualizovanych kesi


GEOJARRY QUERIES

- script\geojarry\query\Geocaches CZ (last 200, listings).gjq - GeoJarry Geocaching.com dotaz, ktery stahne seznam poslednich 200 publikovanych kesi (no, spise poslednich 200 kesi s nejnovejsim datem vytvoreni, ktere je ruzne od data publikace (bohuzel)). Funguje to ale relativne spolehlive

- script\geojarry\query\Geocaches CZ search archived.gjq - GeoJarry GeoGet database dotaz, ktery stahne listingy vsem kesim v CR dnes neaktualizovanym. Potrebuje pro svou funkcnosti filtr Czech Republic.ggf


GEOJARRY BATCHES

- script\geojarry\batch\Geocaches - CZ kompletni aktualizace z APQ.gjb - GeoJarry batch, ktera se stara o celou automatizaci. Zlaty hreb a pohonny motor celeho baliku


GEOJARRY ULOZENE PLUGINY

- script\geojarry\gj2.exec.Geocaches-CzKompletniAktualizaceZApq.batch.plugin.ggp.pas - jedna se pouze o zastupce k GeoJarry batch Geocaches - CZ kompletni aktualizace z APQ.gjb. Ma na starost zobrazovani ikonky na toolbaru GG.



----------------------------------------------------------------------------------
************************ Instalace: **********************
----------------------------------------------------------------------------------


a) Nejprve nainstalujte GeoJarry 2! Ke stazeni na www.mikrom.cz

Obsah slozky GEOGET_DATADIR z tohoto archivu zkopirujte do datoveho adresare vaseho GG a prepiste existujici soubory.

c) V souboru apq.config.pas nastavte jmeno, heslo a adresu serveru

c) Restartujte ci spustte GeoGet, aby se nova makra nacetla.



----------------------------------------------------------------------------------
************************ Pouziti: ************************
----------------------------------------------------------------------------------


V GeoGetu v nabidce Pluginy - GeoJarry byste meli nalezt novou polozku s ikonou CR a jmenem "Geocaches - CZ kompletni aktualizace z APQ". Spustte ji a sledujte postup. Pokud chcete, nechejte si ji zobrazit na toolbaru (menu Pluginy - Spravce pluginu).


----------------------------------------------------------------------------------
************************ Stazeni: ************************
----------------------------------------------------------------------------------


Treba se casem domluvim se semikem, aby to publikoval na serveru. Zatim to bude zde (viz priloha). Testujte, pripominkujte.

[zlicinaci]

Takže situace: vše proběhlo k mému úžasu bez potíží přesně za hodinu. Jediný zádrhel bych viděl v tom, že mi to vnutilo i hodnocení, které nepoužívám, možná bych tedy ocenil nějaké zatržítko, zda to chci nebo ne. LastImport-ArchiveSuspicious mi označil 306 kešek. Bezva práce, smekám klobouk.

[medwyn_cz]

Kolik z tech 306ti bylo skutecne archivovano?

Ohledne hodnoceni: staci si otevrit to czgcrefresh.ggp.pas a na radce 27 zakomentovat

// GeoCallGGP(Geoget_datadir + '\czgcgetrank.ggp.pas');

Jinak hodina je tedy docela dlouho, ja se dostavam tusim nekam k dvaceti minutam. Ale stahuje mi to 2MB/s to GPX. Na cas ma kazdopadne vliv i pocet tech archivovanych kesi. 306 listingu se stahuje dlouho

[medwyn_cz]

Ahoj,
Můžeš mi prosím tě poradit?
Nainstaloval jsem si tvoje makro geoget-1click-aktualizator a po nastavení a spuštění v GG toto se rozběhne, ale na konci je ukončeno touto chybovou hláškou:

Script Runtime Error: apq.ggp.pas
Exception:Cannot create file "E:\Táta\Geocaching\GeoGet\Data\script\geojarry\last\download\CZ-ALL.zip". Systém nemůže nalést uvedenou cestu.
RoutineLUGINSTART

Někde mám zřejmě špatně zadanou cestu, ale nevím kde to v makru nastavit.
Možný problém může být že soubor GG\DATA nemám na disku C ale na E.
Diky za radu

Takovou chybu muze pravdepodobne to makro hazet, kdyz neexistuje slozka E:\Táta\Geocaching\GeoGet\Data\script\geojarry\last\download\.

Je to pravdepodobne proto, ze jsi GeoJarryho 2 nikdy predtim nepouzil a on si jeste nevytvoril tuhle "temp" slozku.

Muzes si ji bud vytvorit rucne, nebo si alespon jednou zkusit neco naimportovat pres GeoJarryho (spustit a nechat probehnout aspon jednu jakoukoliv query). On si je vytvori sam.

Zkousel jsem to, melo by to chodit.

[zlicinaci]

Dík za radu, zakomentuji.

medwyn_cz napsal/a:
Kolik z tech 306ti bylo skutecne archivovano?

Všechny, s výjimkou tří GC21VN0, GC1FEXW a GC1TCK7

[medwyn_cz]

No jasne. Dvakrat preklopena do zahranici a jednou uplne zrusena bez archivace. Super! Tu uplne zrusenou si rucne smazni z databaze, nebo ti tam bude strasit stale.

[zlicinaci]

medwyn_cz napsal/a:
No jasne. Dvakrat preklopena do zahranici a jednou uplne zrusena bez archivace. Super!

Tu uplne zrusenou si rucne smazni z databaze, nebo ti tam bude strasit stale.

A je to. Jinak největší zdržení u mě jednoznačně dělá načtení rozbaleného PQ do databáze. Příčina bude asi v mém pomalém počítači.

[ProKesTom]

Dovolím si připomenout vlákno: http://www.geocachin...390#post_164390

Nebude to makro generovat příliš velkou pozornost ze strany GS?