Historická data - rozdíly mezi poskytovateli dat

[xzajic]

zdravím, už jsem z toho dosti zoufalý, takže pokud by měl někdo vysvětlení nebo tip jak přijít ke "správným" historickým datům, tak uvítám jakékoliv postřehy. O co jde? V zásadě potřebuju testovat nějakou strategii, třeba gapy, ale to je úplně jedno, a stačí mi k tomu EOD data. Pro jedoduchost dále předpokládejme, že potřebuju pouze data pro jediný symbol, a to je SPY (chci toho zatraceně tak moc?) Ví někdo, proč se data mezi jednotlivými poskytovateli tak brutálně rozcházejí? Tak například EOD data ze včerejška, viz obrázek. Ta jedna setina u OPEN nebo CLOSE - to dokážu pochopit, ale jak to, že se rozchází údaj HIGH o skoro 40 centů mezi takovými veličinami, jako je InteractiveBrokers nebo IQFEED? To tam někdo cpe nějaké údaje z obchodů mimo regular trading hours?

[Jiří S.]

Měl bych jeden důvodový typ - někdy se cena pohybuje ale neprovede se na ní žádný obchod což se na vrcholcích a dnech viditelně stává. Otázka by pak byla kdo z nich co zobrazuje.

[xzajic]

Počkej, ale 40 centů na SPY, což je jeden z nejobchodovanějších instrumentů na trhu vůbec? To se mi nezdá. Navíc já žiju v domění, že HIGH a LOW jsou nejvyšší a nejnižší cena, za kterou byl v daném období (tzn. v našem přpadě v daný den) [bold]realizovaný[/bold] obchod. Jsem mimo mísu?

[Jiří S.]

Když už to mají dva, tak na to nějaký důvod být musí.

Mě ještě napadá že se občas dělají obchody mimo mísu, něco jako pražskej veksl - cross a třeba jen jeden kus a pak ještě je možný že se někde započítává Premarket a někde ne a v něm jsou občas také pořádné úlety a hlavně na otočkách.

[xzajic]

Ty brďo. Tzn. koukám, že denní data budu muset tvořit z dat minutových, abych se na to mohl alespoň trochu spolehnout. Já chápu, že když to mají dva, tak to nějaký důvod má, ale já projížděl i minutová data - i mimo RTH a na tato čísla jsem se fakt nedostal ;-(

[Jiří S.]

Já si takhle v Praze dělám denní svíčky sám (ručně) a obchody které jsou mimo násobek lotu a cross do ceny neuvažuji, z objemu je ale neodečítám. Protože tam kde je např. lot 5000 ks a proběhne obchod 10 ks na ceně o půl procenta jinde v tom dělá akorát bordel. Burza ty pidiobchody však do ceny počítá a objevuje se to jako min/max. Jednou jsem byl v kokosu dokonce i, zřejmě v premarketu, vyplněn na mnohem lepší ceně (ale limitní, ale už si nezpomínám zda-li na lepší nebo stejné co jsem chtěl) než byla potom během dne a i v kokosu jsem si všiml výrazné úlety denních min/max než v normální obchodní hodiny skutečně bylo. Jak se to ale děje na jiných burzách nevím, pouze odhaduji podle mých zkušeností.

P.S. ještě jeden a změním barvu na zlatou:).

[xzajic]

že se to děje v Praze bych věřil, ale v Njú Jorku, to jsou věci... mno nic, řadu věcí budu muset prostě nova nabacktestovat a dám vědět, jak moc to ovlivnilo výsledky...

[Jiří S.]

V Njú Jorku na těch datech ještě může sedět nějaký pan Filtr a pak to ještě ani nepůjde zjistit přestože se to v Hi/Lo denní svíčce objeví. Kdo ví, odpoví...

[Honza K.]

138.48 platí, pokud se započítávají hodnoty pouze main session (9:30 - 16:00). Pro denní grafy se posléze zřejmě použijí oficiální hodnoty poskytované burzou, v tomto případě tedy NYSE: www.nyse.com/about/listed/lcddata.html?ticker=SPY. Je možné, že burza započítává některé obchody z předobchodní fáze, které se ale vypořádají v rámci hlavní seance, to nevím. Nicméně bych vám doporučil ze zcela praktických důvodů vybírat ta data, kde jsou hodnoty z hlavní seance, protože ta se vás bude v realitě týkat.

[3ddi3]

Vím, že ladíš strategii, ale ber data toho u koho obchodujes.
Ten nikdy nebude brát jiná data v potaz.

[xzajic]

Jaksi InteractiveBrokers poskytuje pouze rok historických dat, tzn. když chci udělat backtest řekněme 5 let zpátky, tak mám smůlu ;-(

[3ddi3]

A jak to mají s daty oni ? Odkud je berou ? Třeba by šli získat od jejich zdroje.

[xzajic]

3ddi3 - já Ti vůbec nerozumím. IB je broker, který poskytuje nějakou množinu historických dat. Tato množina dat je jiná než množina dat pro stejné období a stejná aktiva od IQFEED, je jiná než od YAHOO a je jiná než od GOOGLE. Můj původní dotaz zní: "Ví někdo, proč se data mezi jednotlivými poskytovateli tak brutálně rozcházejí?"

Pokud to někdo ví, ať mi dá vědět, nejspíš je to asi tak, jak říká Honza.K, podle něj jsem se taky zařídil. Jinými slovy, ve své databázi nahrazuji všechna EOD data (open, high, low a close) minutovými daty (tzn. například že denní cenu OPEN nahradím minutovou cenou OPEN z 9:30 amerického času daného dne, obdobně to řeším s cenami HIGH, LOW a CLOSE).

Pokud má Honza.K pavdu (a asi má), pak se na EOD data z YAHOO naprosto nedá spolehnout, protože úplně všechny backtestovací softwary předpokládají, že neprve nastane pro daný bar událost "OPEN", pak nastane buď HIGH nebo LOW (kde pořadí není dáno, pokud jej software nedokáže zjistit z jemněji granulovaných dat, některé programy to prý umí, nevím, nezkoušel jsem) a konečně nastane CLOSE.

Čili můj závěr je, že EOD data na yahoo jsou moc hezká, ale pro backtesty úplně k ničemu. Může mi to někdo potvrdit / vyvrátit?

[gizmo]

> xzajic

V minulosti jsem se s podobnou veci taky setkal. Sam pro sebe jsem z toho vyvodil zavery takove, ze na poskytovatele dat, kteri jsou zadarmo, se neda spolehnout (napr. Yahoo a Google - ikdyz Google byl vzdycky mnohem bliz realite/placenym datum nez Yahoo). Ale to, ze jsou data rozdilna i mezi IB a IQFeed je docela zarazejici, to jsem driv nezaznamenal (ale koukal jsem jenom na akcie).

[Honza K.]

xzajic Napsal: > Čili můj závěr je, že EOD data na yahoo jsou moc > hezká, ale pro backtesty úplně k ničemu. Může mi > to někdo potvrdit / vyvrátit? Ano je to tak. Ale všeobecně jakákoliv nekompletní nebo nepřesná data jsou pro určité případy backtestů zavádějící a to zejména tam, kde je z hlediska vstupu/výstupu důležité znát vývoj v rámci daného baru. Pokud máte pouze OHLC(V), tak neexistuje způsob, jak zjistit, co se mezi H a L dělo. To je zásadní zejména pro příkazu typu Trailing stop (% nebo $ traily), které se v reálném obchodování aktualizují podle vývoje na trhu každý tick (podle brokera a jeho datafeedu), kdežto v backtestu se musí software rozhodnout, jak bude vývoj kalkulovat, zda po openu následuje vzestup na H baru pak na L a následně ke close nebo jinak a podle toho simulovat exit. Rozdíl můžete vidět na přiložených obrázcích, jeslti se mi to podaří vložit.. Ziskový obchod ukáže backtest, který neví, jak se bar vyvíjel a ztrátový obchod ukáže backtest, který "vidí" do reálného vývoje ceny. Jak vidíte, rozdíl je zcela zásadní a v případě denního grafu to může být naprosto FATÁLNÍ pro jinak pěkný backtest. Je to jedna z věcí, které si začínající trader neuvědomuje a žel ani většina prodávaných strategií, resp. jejich tvůrců, si toho není vědoma a přesto se nebojí prodat něco, co sice krásně vypadá na obrázcích, ale v reálu to nevydrží víc jak několik desítek obchodů.