542 odpovědí na toto téma

[ProKesTom]

Pokud by diff GPX byl dost malý (denní diff asi ano), stálo by za to posílat mailem.

[M@gic]

medwyn_cz napsal/a:
Abych rekl pravdu, na pasmo kaslu. Jsem vecne na > 10Mbit sitich. Zajimave by ale urcite bylo delat nejaka diffovana GPXka - tedy zahrnovat do vystupu jen kesky, ktere byly zmeneny (zato ale kompletni gpx, ne jen diff). Zrychlilo by to ladovani do ruznych tech softu, ktere kese zpracovavaji (hlavne GSAK a GeoGet), protoze by se programy nemusely zabyvat aktualizaci nezmenenych kesi.

Yep, toto je presne to, co potrebujem. Bandwidth neriesim, ale vcelku by som rad riesit tu skoro hodinu, co mi CZ nahrava do GSAK...

M.

[semik75]

mr.mates napsal/a:
Proč by GS sám od sebe měnil nastavení GPX jednotlivých uživatelů, má k tomu mít důvod? Nejde mi to do makovice.

Sem tam přestanou odcházet i PQ, důvod také moc nechápem.

mr.mates napsal/a:
A dále mohl by mi někdo polopaticky vysvětlit, o čem se vůbec bavíte? Myslím tím to "rsync a diff". Co by se změnilo na stahování agregovaných PQ?

rsync je aplikace která kopíruje jen ta data která se změnila. Zvládá pracovat i na binárních souborech. A je oblíbená pro zrychlení synchronizace velkého balíku dat.

diff umožnuje generovat rozdíly mezi soubory a pak přenášet jenom ten rozdílovej soubor. Takže opět ušetření přenosového pásma. Je to primárně používáno na zdrojové soubory programů takže to umožnuje i celkem přijetelnou kontrolu člověkem před použitím.

Pokud nevíš k čemu by to bylo, tak to pro tebe nezmění nic. Kompletní agregované výstupy budou k dispozici nadále.

[h0--]

medwyn_cz napsal/a:Zrychlilo by to ladovani do ruznych tech softu, ktere kese zpracovavaji (hlavne GSAK a GeoGet), protoze by se programy nemusely zabyvat aktualizaci nezmenenych kesi.

Tak tak, presne o tohle by mi slo, protoze lit do databaze desitky tisic dat na tom pomalym pc je zlo. Ona je asi nejaka shnila, ale stejne

[bohouscl6]

semik75 napsal/a:

Osik napsal/a:... pokud .... přes rsync, ...

... rsync neprojde....
Přemýšlel jsem o tom co nabídnout místo rsync.
Co takhle diff ...

Možná by někomu mohl stačit můj způsob - pomocí WGET.

Poprvé se to samozřejmě stahovalo vše, dále pak již jen rozdílné soubory.

časem možná scriptík doplním o mazání starých PQ a uvedení názvu smazaného fajlu do exclude seznamu pro wget, čili se již nebude stahovat i když na zdroji bude. Objem zabraného místa se tedy ještě zmenší ..

Jednoduché, funguje, nastaven cron, správce zdroje s tím nemá žádnou práci a já mám vyřešeno - možná už nejen já?

Bohouš

[Osik]

bohouscl6 napsal/a:
Možná by někomu mohl stačit můj způsob - pomocí WGET.

Poprvé se to samozřejmě stahovalo vše, dále pak již jen rozdílné soubory.

wget používám ... pošli prosím příkazový řádek (klidně bez --http-user a --http-password...)

[bobrb]

jen hlasim, ze rsync bych si nastavit dokazal, ale nevim jestli bych ho vyuzival. Aktualizuju kese jen kdyz citim potrebu (vetsinou 1-3 za mesic) a tudiz bych mel problem s tim urcit od ceho brat ten synchroizacni zaklad. Ale je pravda, ze kratsi import do GG by byl prijemny...

[ToRo61]

Já aktualizuji nárazově/nepravidelně => stažení většího balíku dat mě nezatěžuje. Podobně jako některé kolegy mě spíše brzdí následný import do GSAK. Ale jak píše medwyn_cz ... vymyslet import 'rozdílových dat' by stálo určité úsilí

[bohouscl6]

Osik napsal/a:

bohouscl6 napsal/a:
Možná by někomu mohl stačit můj způsob - pomocí WGET.

Poprvé se to samozřejmě stahovalo vše, dále pak již jen rozdílné soubory.

wget používám ... pošli prosím příkazový řádek (klidně bez --http-user a --http-password...)

Samozřejmě, posláno přes profil.

Bohouš

[rsc_cz]

Yep, toto je presne to, co potrebujem. Bandwidth neriesim, ale vcelku by som rad riesit tu skoro hodinu, co mi CZ nahrava do GSAK...

M.

A jakou verzi GSAKu používáš? Od verze 7.7.0.67 (link) je nějak zoptimalizovaná databáze a práce s ní, takže ČR se mi místo hodiny importuje asi deset minut. Třeba to pomůže...

[Hickos]

rsc_cz napsal/a:

Yep, toto je presne to, co potrebujem. Bandwidth neriesim, ale vcelku by som rad riesit tu skoro hodinu, co mi CZ nahrava do GSAK...

M.

A jakou verzi GSAKu používáš? Od verze 7.7.0.67 (link) je nějak zoptimalizovaná databáze a práce s ní, takže ČR se mi místo hodiny importuje asi deset minut. Třeba to pomůže...

Já jedu GSAK na netbooku, 1GB RAM, rok starý (Asus eee1001h nebo tak nějak), což není žádný dostihový kůň, spíše takový poník, ale celá ČR je rozhodně míň, než na hodinu (ale zase hrubo přes 10 minut ). Mám poslední verzi GSAKu.

[jarlok]

Ten GS mi pije krev, zase mi zmenili GPX 1.0.1 na 1.0

[M@gic]

rsc_cz napsal/a:

Yep, toto je presne to, co potrebujem. Bandwidth neriesim, ale vcelku by som rad riesit tu skoro hodinu, co mi CZ nahrava do GSAK...

M.

A jakou verzi GSAKu používáš? Od verze 7.7.0.67 (link) je nějak zoptimalizovaná databáze a práce s ní, takže ČR se mi místo hodiny importuje asi deset minut. Třeba to pomůže...

Beta verzie nesledujem, takze som mal este volaktoru 7.6. Nahodil som teraz poslednu beta, import CZ ale stale 40+ minut. Este sa s tym pohram a uvidime...

M.

[Osik]

rsc_cz napsal/a:
A jakou verzi GSAKu používáš? Od verze 7.7.0.67 (link) je nějak zoptimalizovaná databáze a práce s ní, takže ČR se mi místo hodiny importuje asi deset minut. Třeba to pomůže...

No tak jsem chtěl vyzkoušet GSAK, ale tohle mě od něj odradilo.

GeoGet mi ALL.CZ importuje na domácím 4 roky starém notebooku 5 minut při spuštění z disku, 1.5 minuty pokud ho pouštím z Ram disku. Nový počítač v práci 1:01 (tedy minutu) ...

[Hickos]

Hickos napsal/a:

rsc_cz napsal/a:

Yep, toto je presne to, co potrebujem. Bandwidth neriesim, ale vcelku by som rad riesit tu skoro hodinu, co mi CZ nahrava do GSAK...

M.

A jakou verzi GSAKu používáš? Od verze 7.7.0.67 (link) je nějak zoptimalizovaná databáze a práce s ní, takže ČR se mi místo hodiny importuje asi deset minut. Třeba to pomůže...

Já jedu GSAK na netbooku, 1GB RAM, rok starý (Asus eee1001h nebo tak nějak), což není žádný dostihový kůň, spíše takový poník, ale celá ČR je rozhodně míň, než na hodinu (ale zase hrubo přes 10 minut ). Mám poslední verzi GSAKu.

Omlouvám se - kecal jsem. Ten PQ do hodiny nebyl celá ČR. Teď testuju celou ČR a hlásí mi (při nastavení na Super High Performance), že bude makat cca hodinu a půl až 3/4 (na Auto mode, tzn. při napájení z 220V asi Normal, to hlásilo kolem 3 hodin).

[Osik]

bohouscl6 napsal/a:

Osik napsal/a:

bohouscl6 napsal/a:
Možná by někomu mohl stačit můj způsob - pomocí WGET.

Poprvé se to samozřejmě stahovalo vše, dále pak již jen rozdílné soubory.

wget používám ... pošli prosím příkazový řádek (klidně bez --http-user a --http-password...)

Samozřejmě, posláno přes profil.

Bohouš

Tak dodatek - jedná se o mirror 23GB dat ... ano, teď už je to jen "co je nového". Ale já standardně stahuji pouze 46MB ALLcz.zip ... Takže díky, tudy já ne.

[polerok]

Trochu nechapu co s tim delate..... GSAK mi nikdy neprekrocil v importu cele CZ 5 minut a to k tomu jelo milion dalsich operaci.... Schvalne to jdu zkusit kolik to bude mit ted kdyz nic nejede.... EDIT: 13:13 start stahovani 13:15 stazeno a zacinam natahovat 13:18 natazeno 13:19 prirazeny okresy a kraje

[Hickos]

No můj rozjetý pokus ukazuje do konce ještě 15 minut a jede to zatím 3/4 hodiny. Nemůže to být třeba tím, že kromě ČR mám v databázi i SR, v další databázi asi 6 kompletních států Evropy a v další pak 2000 virtuálek USA? (kromě toho 2 malé databáze kolem několika desítek keší). P.S. Nepřesuneme tuto debatu do GSAKu? EDIT: Celkový čas tedy 55minut celá ČR na rok starém netbooku nastaveném na max. výkon

[bohouscl6]

Osik napsal/a:
Tak dodatek - jedná se o mirror 23GB dat ... ano, teď už je to jen "co je nového". Ale já standardně stahuji pouze 46MB ALLcz.zip ... Takže díky, tudy já ne.

Pro automatické stahování jediného souboru wget jistě také vyhoví, jen je třeba upravit parametr co má stahovat?

Pokud se jedná o stahování "pouze v případě potřeby" a nikoliv pravidelného mirroru (třeba i více adresářů), není nic jednoduššího, než kliknout na *.bat ve kterém se wget postará o stažení aktuálního ALLcz.zip s uložením přímo do pq adresáře v GeoGetu, funkční i na windows.

Nejsoíš jsem přesně nepochopil tvůj požadavek. Chceš-li, zkus mi to popsat, klidně přes SZ, obratem pošlu požadované v ALL_CZ.bat

Bohouš

[medwyn_cz]

Pro GeoGet existuje skript, ktery se o vsechno postara sam a staci mu jen zadat jmeno a heslo do PQ systemu. Dokonce se na jeho programovani Osik podilel. Skript je k dispozici na webovkach systemu.