Backtesting

[arronax1876]

Dobrý den, pracuji na MAE/MFE analýze trhu YM, zatím jsem dokončil 2009 a 2010, od 15:30 do 18:00. Patterny 0/100, Extremcross a 0/v. Ještě bych rád nějaký přidal, zřejmě Big V. Používám Petrův deník z posledního workshopu, kde poté zadávám různé hodnoty PT a SL, v deníku mi průměrný obchod nadělil za rok 2009: 38usd , za rok 2010: 41usd. Zaboha se ale nemohu dostat na lepší výsledek. Při zpracování dat v MSA3, po započítání 10usd skluzu plnění (komise jsou započítány již v Excelu) mi vyjde tento výsledek /viz. screenshot/. Patterny jsem zatím testoval najednou, možná bude zkraje daleko efektivnější začít s každým patternem zvlášť a vyladit si je postupně? Jsem konzervativní povaha, jde mi o malé drawdown a na jiný systém než fixní PT a SL si netroufám.

[Muse]

Zdravím všechny, začínající jako já či poročilé. Chci Vás požádato radu. Mám live účet u IB a bucu používat pro Backtest Sierru. Vše mám nainstalovaný a vše běhá bez problému. Zaměřuju se na trh TF 3 min. červnovej a zářijovej kontrakt se mi grafy zobrazují bez problému. Ale nemohu zjistit jak si vytáhnu hystorický intradení dat pro jakejkoliv trh. Například pro trh TF od ledna do června 2009. Můžete mi prosím někdo poradit, vím, že se jedná o naprostý základ, ale visím na tom. Prostě se mi nechce zobrazit ani březnovej kontrakt letošního roku pro TF. V Sierre to hlasí už neznámý symbol. Má prosím někdo zkušenost jak ty data z IB přes sieru vytáhnu? Moc děkuji předem za Váš případný čas s psaním odpovědi. Díky tomuto se prostě nemůžu pustit do Backtestu. Mnoho úspěchů všem!!!

[PetrKp]

Před půlrokem se zde jeden uživatel ptal na něco ohledně FinWin Backtesteru. Byl odkázán na diskusi k workshopu bactestování. Narazil jsem na shodný problém a rád bych si k tomu něco přečetl, ale ono vlákno k workshopu se mi nějak nedaří najít. Jsem absolventem workshopu a diskusi k němu bych čekal mezi ostatními VIP diskusemi. Poradíte prosím?

[SanchezP]

Zdravím všechny,
měl bych dotaz ohledně backtestingu. Snažil jsem pročítat různé články a diskuze tady na finančníku, ale stále jsem nenalezl odpověď. Začínám s backtestingem v ninja traderu 7 a nejsou mi jasné tyto věci:
1, musím nutně pro backtesting používat replay data ntm a nt2, když se dají stáhnout ruzná jiná data (ntd), ale ty boužel nejdou pro replay ? nebo jakou má to replay vůbec výhodu a jakou?
2, ten proces backtestingu děláte tak, že si na obrazovku nahodíte graf s historií, a pak to ručně posouváte po jednotlivých svíčkách dopředu a všecky signály, resp vstupy a výstupy zapisujete do excelu a následně staticky vyhodnocujete jakou mají úspěšnost?
3, vůbec nechápu jak to mám dělat s kontraktními měsíci....jestli si mám nahrát jen 1 kontinuální měsíc a ten vyhodnocovat, nebo se mám snažit backtestovat po jednotlivých kontraktních měsících??
4, jak velikou historii bych měl tak zhruba vyhodnocovat...rok? dva? pět?

Díky za odpovědi, je mi jasné že už to tady někde muselo být, ale tady už je toho tolik, že je docela těžké se k tomu dopracovat...díky za pochopení :)

[michal-administrator]

SanchezP:

1. backtest se zpravidla provádí na statických datech, tj. ne přes replay. Výhoda replay jinak spočívá v dynamičnosti grafu.

2. lze sledovat signály na odkrytém grafu, což je rychlejší, nebo posouvat po úsečkách, což je zase víc reálné a člověk si nemůže lhát do kapsy. ano, obchody se mohou zapisovat do tabulkového procesoru.

3. pokud máte data spojená do kont. kontr. měsíce, pak můžete pracovat s ním (pouze pozor na přechod na letní a zimní čas, který se např. v USA liší od českého), ale můžete klidně pracovat s každým kontr. měsícem zvlášť.

4. na toto není obecná odpověď. záleží na strategii, stylu. obecně pro intradenní trading je ok historie dat cca 6-12 měsíců, pro poziční minimálně několik let. ale toto je opravdu hodně obecné.

michal

[karelk]

to arronax :

Co by jsi jeste chtel pri techto vysledcich : Zhodnoceni 602 %
Uspesnost : 61 %
RRR :1,4
Drawdown : 9,6%
z 3 000 udelat 18 000 za dva roky = docela slusny vykon
Nehledej svaty gral(nejspis zadny neexistuje,alespon ze sve zkusenosti) na YM se prumer obchodu takto pohybuje na Tf bude vetsi ...........pokud funguje system na becktestu ,delej paper - pokud ok , tak pote live.......hodne uspechu
;)

[Honza K.]

Navázal bych na Michala admina:

1. Nejlepší backtest je pomocí algoritmů, tj. dát svůj nápad pokud možno do kódu a nechat platformu, aby spočetla výsledky. Ty jsou totiž za určitých předpokladů objektivní narozdíl od manuálního procházení a vyhodnocování grafů, které je podle mých měření dost subjektivní. Správné vyhodnocení backtestu je kapitolou samu pro sebe a jistě je tu spousta informací, od kterých se dá odrazit.

2. Odpověď je vlastně v bodu 1. tj. pokud možno nedělat backtest ručně a pokud už tedy není jiné zbytí, jet jak doporučuje Michal, tj. posouvat podobně jako se to děje v reálu. Je třeba si uvědomit, že v reálu jsou i tak jiné emoce než při posouvání historických grafů, protože v historii chybí na daném grafu pohyby v rámci barů.

3. Surová data, tj. za jednotlivé kontraktní měsíce jsou vždy ty nejspolehlivější, brokeři a poskytovatelé dat obvykle spojují data kontraktních měsíců tak, že jsou předcházející kontrakty tzv. adjustované pomocí různých metod na aktuální kontraktní měsíc a tudíž nemusí jít o zcela důvěryhodná data. Je třeba si zejména dávat pozor na období, kdy kontrakty navazují (tj. v době rollover), pokud jsou zde obchody, je třeba si zkontrolovat, jestli je kontinuální kontrakt navázán v den, kdy i vy sám měníte obchodovaný kontrakt (např. 8 dní před LTD), jinak by se mohlo stát, že např. graf ukáže vstup do obchodu na starém kontraktu, ale vy už v reálu byste obchodoval nový, na kterém vám třeba podmínky pro vstup nevznikly apod.

4. Jak velikou historii - doporučil bych statistický přístup, tj. nejde o to, jestli je třeba mít aspoň měsíc nebo dva, ale o počet obchodů, osobně za dolní hranici důvěryhodnosti považuji cca 600 obchodů s tím, že tyto obchody proběhly v rozmanitých fázích trhu, abyste vyloučili vysokou míru korelace např. s trendy nebo sideways. Jde o to, že úspěšnost naprosté většiny strategií je závislá na fázi trhu, např. trendové strategie budou dobré logicky v trendech a tudíž je důležité mít v backtestu dostatečný počet obchodů v době, kdy trh netrendoval.

Při vyhodnocení je velmi dobré znát míru závislosti úspěchu vaší strategie na změně vstupních parametrů, typicky např. pokud máte nějaký profit target, tak jak se výkon strategie změní při PT třeba 20 ticků vs. PT 30 ticků, podobně SL. Na to už je však prakticky nutné mít nějaké nástroje, dělat znovu celý backtest ručně je s prominutím pakárna se spoustou omezení. Jestli chcete obchodovat a myslíte to vážně, tak zainvestujte a pořiďte si dobrou platformu (tipy opět zde) a objednejte si placená ale zároveň spolehlivá data.

[Architekt]

Honza K.:

1. Automatizovaný backtest je k ničemu, protože se při něm obchodník nic nenaučí. Backtestovat se musí ručně, aby si přitom obchodník uvědomil rozmanitost trhu a naučil se rozpoznávat signály v různých nestandardních situacích. Při backtestu se přitom učí obchodovat, je to základ pro papertrading. A dle mých zkušeností si obchodník při backtestu všimne spousty věcí, které mu mohou pomoci zlepšit systém. Jako například špatné situace v trhu, které produkují falešné signály, ale lze je snadno poznat.

Na MAE/MFE analýzu hodnot SL a PT není třeba drahé sofistikované nástroje, stačí Excel. Sofistikované nástroje ještě nikomu nepomohly. Obchodníci vydělávali i v dobách, kdy si grafy museli sami kreslit na milimetrový papír.

[Honza K.]

Názor střídá názor :-) Nic proti tomu, jenom nabízím svůj pohled. Já se nejvíc naučil ne backtestem, ale obchodováním a sledováním reálného pohybu trhu. Každý má svoje metody jak na trh a to je dobře, aspoň je tu nějaká rozmanitost ne? :-)

[Jardat]

Ze svého úhlu pohledu máte pravdu oba:-)
Každý v jiný fázi vývoje a každý se svojí pravdou. Zajímavé by bylo, kdyby byla zkušenost přenositelná, nebo ještě lépe kdyby byla uložitelná a my si ji mohli vyvolat. Pak by ti, kteří jsou ve fázi vývoje dál chápali ty níže a opačně:-). No jen jsem se tak zamyslel, ale k tématu a s dalším pohledem:-).
Pokud bych měl začínat od začátku, tak bych si asi ušetřil roky strávením nekonečných bactastů, které mě až tolik nedali, ale vzal bych jednoduchý plně mechanický systém, kterých je i zde na fóru hodně a ten si testnul ručně. Zjistil bych si základní parametry systému a skočil bych do paperu. Až by se moje výsledky srovnali se souběžným bactastem po určitou dobu, nebo po určitém zhodnocení při zachování první podmínky, přešel bych na live a případně kolečko opakoval dokud bych nedospěl do další fáze, nebo zůstal spokojen s mechanickým systémem a vydělával s ním.

[mdas]

Architekt Napsal:
-------------------------------------------------------
> Honza K.:
>
> 1. Automatizovaný backtest je k ničemu, protože se
> při něm obchodník nic nenaučí. Backtestovat se
> musí ručně, aby si přitom obchodník uvědomil
> rozmanitost trhu a naučil se rozpoznávat signály v
> různých nestandardních situacích. Při backtestu se
> přitom učí obchodovat, je to základ pro
> papertrading. A dle mých zkušeností si obchodník
> při backtestu všimne spousty věcí, které mu mohou
> pomoci zlepšit systém. Jako například špatné
> situace v trhu, které produkují falešné signály,
> ale lze je snadno poznat.
>
> Na MAE/MFE analýzu hodnot SL a PT není třeba drahé
> sofistikované nástroje, stačí Excel. Sofistikované
> nástroje ještě nikomu nepomohly. Obchodníci
> vydělávali i v dobách, kdy si grafy museli sami
> kreslit na milimetrový papír.
>
> Honza
>
> „Nic není tak obtížné a nedostupné, aby to lidský
> duch nepřekonal.“ Seneca




Dovoluji si také zareagovat. Souhlasím s Architektem, sám jsem během backtestu upravoval OP podle toho co jsem viděl a co mě napadalo. Je fakt, že musíš pak začít znova, ale já jsem na změny přicházel hned ze začátku, takže doba vrácení nebyla tak kritická.

Co se týče analýzy MAE/MFE, tak bohužel to co je zde na webu popisováno (v manuálu nebo samotných článcích) mě osobně nefungovalo tak, abych z výsledné tabulky získal optimální SL a PT. Nakonec jsem to vyřešil taky v Excelu, ale tak, že na backtestované obchody jsem pustil dávku, která otestovala všechny kombinace SL a PT (celkem 500 kombinací) a tím jsem zjistil, jaké kombinace jsou nejvýkonnější. Z těchto jsem pak vybral tu, která mě vyhovovala.

[Honza K.]

V pohodě pánové, je to součástí studia, jenom mi přijde, že to, co vlastně děláte, je tzv. curve fitting, který málokdy vede k slušným výsledkům v realitě. Dochází pak k tomu, že i když jste si systém na základě backtestu nastavili na optimální hodnoty, tak v reálu tyto optimální hodnoty selhávají. Obzvláště, pokud jsou fixní hodnoty PT a SL, ty jsou totiž vhodné jen pro určitou volatilitu trhu, která se pochopitelně v čase mění. Doporučuji si alespoň každý systém otestovat na tzv. out of sample datech, nebo zobchodovat na SIM účtu apod. alespoň tak 200 obchodů než se to pustí do reálu.

[mdas]

Souhlasím s tím, že zároveň se vstupem do obchodu umisťovat i PT je mnohdy kontraproduktivní. Analýzou MAE jsem si pouze otestoval jaká je jeho optimální hodnota. Když jsem v pozici a trh jde líně mým směrem, tak ručně končím na této hranici. Když je trh živější, nevystupuji ihned po dosažení a snažím se vzít více a následný výstup je už podle jiných kritériích než po dosažení PT. Co ale vždy umisťuji se vstupem je SL.

[Kamco003]

Dobry den,

ja budem mat otazu kusok od momentalnej debaty ale chcel by som zacat backtestovat no neviem kde by som si mohol stiahnut intradenne data e mini S&P 500 popripade aj kupim problem nieje len neviem kde, nasiel som nieco o stranke opentick.com ale tam som sa nedopatral nic nakolko ma stale odkaze niekam inam. ak by mi niekto vedel pomoct budem vdacny. A vynara sa mi este jedna otazka v akom formate sa tieto udaje stahuju a a ci su kompatibilne s kazdym SW alebo pre ninja trader musi byt iny format ako pre siera charts?

Dakujem.

[marcossoft]

To Kamco003

Veľmi jednoducho pre začiatok ti postačia data do Ninja Traderu. Máš tu plno videotutoriálov, ktoré p. Nesnídaj a p. Podhajský vložili a ja som sa presne podľa nich riadil a začal som backtestovať pomocou nich. Zbytočne zdlhavé by bolo rozpisovať čo kde ako nájdeš. Pozri si tutoriál a zaroveň so sledovaním rob to, čo tam je

marcossoft