542 odpovědí na toto téma

[semik75]

Osik napsal/a:
Kdyby Semik zapracoval 'zsyncmake -z ALL.gpx' a 'zsyncmake -z ALL-wpts.gpx' tak by to bylo prima ...

To bych tam ale taky musel nechat povalovat ty nekomprimovany gpx ne?

[Osik]

semik75 napsal/a:

Osik napsal/a:
Kdyby Semik zapracoval 'zsyncmake -z ALL.gpx' a 'zsyncmake -z ALL-wpts.gpx' tak by to bylo prima ...

To bych tam ale taky musel nechat povalovat ty nekomprimovany gpx ne?

Ne, udělá to ALL.gpx.gz (velký jako ten ZIP ) a ALL.gpx.zsync. A po stažení na local je z toho ALL.gpx.

Akorát se to musí aplikovat na ALL i ALL-wpts ... Ledaže by je někdo dal do jednoho souboru... Docela by mě zajímalo, jestli někdo využívá to rozdělení na keše a waypointy v těchto datech ...

[semik75]

Osik napsal/a:
Ne, udělá to ALL.gpx.gz (velký jako ten ZIP ) a ALL.gpx.zsync. A po stažení na local je z toho ALL.gpx.

Akorát se to musí aplikovat na ALL i ALL-wpts ...

Je to tam, zatím jen pro ČR. Ostatní státy se udělají během příští hodiny. Je to zajímavé. Dejte vědět jestli to k něčemu opravdu bude.

Osik napsal/a:
Ledaže by je někdo dal do jednoho souboru... Docela by mě zajímalo, jestli někdo využívá to rozdělení na keše a waypointy v těchto datech ...

No třeba já. TrekBuddy neumí s těma waypointama vpodstatě vůbec pracovat a když je to v jediným souboru tak je to zoufale nepřehledný. Kreslí mi je do mapy stejně jako kešky a vůbec se v tom nedá vyznat. Takže proti sloučení mám vážné námitky.

[djw]

hosi, normaalne si pripadam jak nemocnyyy nekde uprostred konsilia doktoruu, kteri se, nad mou chradnouci telesnou schrankou, bavi o mych smrtelnych chorobaach, a ja nevim ani slovo, co to znamena. desiite me hrozi mi to, ze bych nemel pristrup k tomu kraasnemu CZ GPX, co si skoro kazdy den stahuju?

[brazajar]

djw napsal/a:
hosi, normaalne si pripadam jak nemocnyyy nekde uprostred konsilia doktoruu, kteri se, nad mou chradnouci telesnou schrankou, bavi o mych smrtelnych chorobaach, a ja nevim ani slovo, co to znamena.

desiite me hrozi mi to, ze bych nemel pristrup k tomu kraasnemu CZ GPX, co si skoro kazdy den stahuju?

heh, tohle presne vystihuje me pocity.
Ale je nenasel odvahu se optat.
Mne ale staci stahnout data tak 1x - 2x ytdne.

[polerok]

djw & brazajar

Zadny strach

[Osik]

Tak první pokus se nezadařil, asi je problém v https. Pokusím se něco vygooglit.

[Osik]

Asi tak 2 problémy: 1. zsync 0.5 ... Chtělo by to poslední 0.6.1, tenhle má nějaký problém s tou kompresí. 0.6.1 jsem zkoušel a zdá se, že je OK. Dodatek: A nebo udělat ALL.gpx.gz ručně a pak na něj zavolat zsyncmake ALL.gpx.gz Dodatek dodatku: To funguje nějak divně ... Raději 0.6.1 a 'zsyncmake -z ALL.gpx' 2. zsync neumí https ... Ale jinak by to asi fungovalo ...

[semik75]

Osik napsal/a:
1. zsync 0.5 ... Chtělo by to poslední 0.6.1, tenhle má nějaký problém s tou kompresí. 0.6.1 jsem zkoušel a zdá se, že je OK.

Dodatek: A nebo udělat ALL.gpx.gz ručně a pak na něj zavolat zsyncmake ALL.gpx.gz
Dodatek dodatku: To funguje nějak divně ... Raději 0.6.1 a 'zsyncmake -z ALL.gpx'

Debian Lenny uz neni novinka...

Osik napsal/a:
2. zsync neumí https ...
Ale jinak by to asi fungovalo ...

Vzhledem k tomu ze to neumi https, tak to myslim muzeme prohlasit za slepou ulicku.

I ja jsem delal nejake pokusy. V novem 30-logu-na-kesku systemu ma cela CR 89MB. Kdyz necham vybrat jen ty kesky co se dneska zmenily, tak jich je kolem 2200 a vysledny soubor ma 14MB. Kdyz necham vybrat jen ty kesky co se zmenily za poslednich 7dnu, tak jich je kolem 11000 a vysledny soubor ma 61MB.

Je ale mozne, ze tech zmen je prilis mnoho kvuli GPX 1.0 vs 1.0.1. Mozna jeste nekdo posila jen 1.0, notifikacni automat by nejaky nemocny tak jsem ho vypnul a nemel cas opravit. Ale jen mozna. Z 10ti nahodne vybranych kesek co se mely dnes zmenit jich 10 opravdu nekdo navstivil.

Z dnesniho pruzkumu plyne predevsim to ze ti co chteji setrit pasmem asi nebudou chtit 30-logu-na-kesku, Kdyz jich je jen 5 tak to ma 49MB.

[Sodobar]

semik75 napsal/a:
Z dnesniho pruzkumu plyne predevsim to ze ti co chteji setrit pasmem asi nebudou chtit 30-logu-na-kesku, Kdyz jich je jen 5 tak to ma 49MB.

A co udělat kompromis například na takových 15 lozích? Právě tolik jich mám nastaveno pro export z Gsaku. Pročítat víc logů v terénu už je docela na dlouho. A pokud není drobná nápověda v prvních patnácti záznamech, tak už pravděpodobně nebude vůbec :-)

[Osik]

Počet logů: Pro mě je 5 v pohodě, pokud to dávám pravidelně do GeoGetu tak mi jich tam zůstává "co si v GeoGetu nastavím" včetně všech důležitých. Důležitější je pro mě "rychlá aktualizace" večer doma, a tam mám pomalou lajnu. https: ... asi k tomu máš nějaký důvod, nerozumím ... Slibovaný rsync - aby dobře a efektivně fungoval, tak by potřeboval mít k dispozici nezaZIPovaná data, neboli ALL.gpx ... A z nějaké reakce jsem pochopil, že se moc nechce ... Škoda zsyncu, dnešní aktualizace CZ/ALL.gpx přes zsync je 3.5MB...

[Sodobar]

Osik napsal/a:
pokud to dávám pravidelně

To je ono. Ale když chci jednou za čas vyrazit do kraje, který si nestahuji pravidelně, tak na mě čeká jen 5 logů. Přijde mi komfortnější stáhnout si ad hoc "nabitý" gpx kraje, kam zrovna jedu než si vydržovat ALL databázi.

[semik75]

Sodobar napsal/a:
A co udělat kompromis například na takových 15 lozích? Právě tolik jich mám nastaveno pro export z Gsaku. Pročítat víc logů v terénu už je docela na dlouho. A pokud není drobná nápověda v prvních patnácti záznamech, tak už pravděpodobně nebude vůbec :-)

Zkusime to asi tak. S 15ti logy to ma 61MB, to je furt vic nez puvodnich 49MB, ale zase ne tolik jako 89MB kdyz jich je tam 30 a mas pravdu ze cist 30logu v terenu je opruz. I kdyz potom co clovek rozhrabe vsechny okolni parezy, tak je kazde steblo dobre

Osik napsal/a:
Důležitější je pro mě "rychlá aktualizace" večer doma, a tam mám pomalou lajnu.

Vzpomínám si, kdy jsem domů měl jen ISDN linku, tak se snažím vyhovět. Mám dojem že taky v minulosti padnul nápad aby byly v agregovaném výstupu jen ty kešky kde se něco změnilo. Že by to mohlo urychlit import. S intervalem 7dnů a tím omezením na 15logů je výstup velký 37MB, tedy zhruba poloviční vůči tomu kompletnímu.

Osik napsal/a:
Slibovaný rsync - aby dobře a efektivně fungoval, tak by potřeboval mít k dispozici nezaZIPovaná data, neboli ALL.gpx ... A z nějaké reakce jsem pochopil, že se moc nechce ...

To je mi jasné. Nechce se protože se na disku pak válí spousty souborů a kdoví jestli je někdo používá. Tady je jasné, že o to je zájem tak tam rozbalený výstup zase bude. Jen si na to nikdo nesmí kliknout, můj Firefox 15min přemýšlel a nic nevymyslel

Původně jsem chtěl soubory generovat jen na základě požadavku. To by ale znemožnilo ten rsync a taky to není úplně rychlé takže by stahování asi timeoutovalo. A implementace není úplně triviální, takže tenhle nápad posílám k ledu.

Generovat se bude každou celou, aspoň jsem to ale vylepšil o kontrolu jestli se něco pro daný filtr změnilo. Ušetří to dost počítání v okamžiky kdy žádný PQ nedochází.

Osik napsal/a:
https: ... asi k tomu máš nějaký důvod, nerozumím ...

Profesionální deformace. Nešifrovaný transfery ne. Nechci aby se snad dalo zjistit co tam odtud teče. O kradení přístupu nemluvě.


V tenhle okamžik to mám ve stavu kdy běží dva systémy paralelně. Ten nový umí +- co ten starý. Kvůli změně architektury jsou ale ve výstupech kešky který mohly být od 7/2009 archivovány. Musím napsat něco co je identifikuje, ověří že jsou opravdu archivovány a označí je takto v databázi. Snad milým bonusem pak budou archivované kešky od počátku projektu v extra souboru.

Termín si nedám, jsem známá slibotechna... ale bude to brzo. Doufam.

[Mimon_team]

Tak mě napadá ... pokud zsync neumí SSL/TLS, nedalo by se to obejít pomocí nějaké proxy která by zvládala balit HTTP požadavky do HTTPS?

Něco jako v tomhle článku: http://blogs.sun.com..._in_client_mode?

Ten postup který tam popisují je trochu zbytečně komplikovaný, ale v zásadě by mělo být jednoduché nasměrovat zsync na localhosta a o šifrování přenosu ať se postará SSL proxy ...

Mělo by stačit použít nějaký takovýhle stunnel.conf:

client = yes
pid =

[allpq]
accept  = 8080
connect = ADRESA_KTEROU_VSICHNI_ZNAME:443

a pak spustit stunnel (jednou jedinkrát, pak už poběží na pozadí) a vesele zsyncovat:

zsync -A 'localhost=login:heslp' 'http://localhost:8080/pq/PM/agregovany-PQ/CZ/ALL.gpx.zsync

Akorát to teď nějak neodzkouším, kvůli prehistorické verzi mého openssl

[Osik]

Mám SSL tunel pro zsync! Akorát si to nerozumí s těmi soubory - snazil jsem se to rozchodit na lokálu a jsou nějaké divné ... zsync 0.6.1 ...

[Osik]

Semiku, jak volas ten zsyncmake? Ja schvalne vyzkousel
'zsyncmake -z ALL-wpts.gpx' -> vytvori stejny .gz, ale jiny .zsync:
Tenhle tvuj nefunguje:

zsync: 0.5
Filename: ALL-wpts.gpx
Blocksize: 2048
Length: 6207495
Hash-Lengths: 2,2,4
Z-URL: ALL-wpts.gpx
SHA-1: 13f98913da20c927d16e3e6b886aadf24dbb1db3
Z-Map2: 3035

a tenhle muj funguje:

zsync: 0.5
Filename: ALL-wpts.gpx
Blocksize: 2048
Length: 6207495
Hash-Lengths: 2,2,4
Z-URL: ALL-wpts.gpx.gz
URL: ALL-wpts.gpx
SHA-1: 13f98913da20c927d16e3e6b886aadf24dbb1db3
Z-Map2: 3035

Tak jsem zkusil prejmenovat tvuj ALL-wpts.gpx.gz na ALL-wpts.gpx a zsync funguje ... Je cosi shnileho kdesi ...

[semik75]

Osik napsal/a:
Semiku, jak volas ten zsyncmake? Ja schvalne vyzkousel

  `cd $tmpdir; zsyncmake -z ALL-wpts.gpx -u ALL-wpts.gpx`;
  `cd $tmpdir; zsyncmake -z ALL.gpx -u ALL.gpx`;
  `cp $tmpdir/ALL.gpx.* $tmpdir/ALL-wpts.gpx.* $out_dir`;

Přeložil jsem zsync 0.6.1. A rebuild právě doběhl.

[Osik]

semik75 napsal/a:

Osik napsal/a:
Semiku, jak volas ten zsyncmake? Ja schvalne vyzkousel

  `cd $tmpdir; zsyncmake -z ALL-wpts.gpx -u ALL-wpts.gpx`;
  `cd $tmpdir; zsyncmake -z ALL.gpx -u ALL.gpx`;
  `cp $tmpdir/ALL.gpx.* $tmpdir/ALL-wpts.gpx.* $out_dir`;

Přeložil jsem zsync 0.6.1. A rebuild právě doběhl.

To "-u ALL.gpx" je blbě - je to název výsledného souboru, ale ten není 'ALL.gpx', ale 'ALL.gpx.gz' ... Proto to nejede a když jsem na serveru přejmenoval 'ALL.gpx.gz' na 'ALL.gpx' tak to jelo ... Prostě to u tebe nenajde komprimovaný soubor s názvem 'ALL.gpx' ...

Takže jenom

  `cd $tmpdir; zsyncmake -z ALL-wpts.gpx`;
  `cd $tmpdir; zsyncmake -z ALL.gpx`;
  `cp $tmpdir/ALL.gpx.* $tmpdir/ALL-wpts.gpx.* $out_dir`;

Dodatek: Zdá se, zsync 0.5 za to nemohl ...

[semik75]

Osik napsal/a:
To "-u ALL.gpx" je blbě - je to název výsledného souboru, ale ten není 'ALL.gpx', ale 'ALL.gpx.gz' ... Proto to nejede a když jsem na serveru přejmenoval 'ALL.gpx.gz' na 'ALL.gpx' tak to jelo ... Prostě to u tebe nenajde komprimovaný soubor s názvem 'ALL.gpx' ...

Ale bez -u to prudi s varovanim. Proto me to primelo to tam napsal... Upravil jsem to na -u ALL.gpx.gz ted uz to bude snad OK.

[Osik]

semik75 napsal/a:

Osik napsal/a:
To "-u ALL.gpx" je blbě - je to název výsledného souboru, ale ten není 'ALL.gpx', ale 'ALL.gpx.gz' ... Proto to nejede a když jsem na serveru přejmenoval 'ALL.gpx.gz' na 'ALL.gpx' tak to jelo ... Prostě to u tebe nenajde komprimovaný soubor s názvem 'ALL.gpx' ...

Ale bez -u to prudi s varovanim. Proto me to primelo to tam napsal... Upravil jsem to na -u ALL.gpx.gz ted uz to bude snad OK.

Jóóóóóóoó!!! To je vono! Velký sud piva! Díky.