Jak velký vzorek dat pro backtest?

[xmms]

Vytvořil jsem na první pohled perfektní strategii funkční za posledních 12 měsíců založenou na CCI, druhou strategii na klouzavých průměrech, počet obchodů za rok asi 250. Přidal jsem další 2 kontrakty za rok 2007 a tam to už nefunguje. Jsou to intradenní obchody TF (ER2) a ES. Zřejmě je poslední rok málo, i když zde v článcích píšou, že rok by měl pro intradenní obchody stačit. Starší data zatím nemám.

Je tu nějaký doporučený objem dat pro backtest?

[Airmike]

je pravdepodobne ze svoju strategiu budes tak ci tak v riebehu obchodovania menit, to ze mas nejake fixne hodnty SL a PT a tie nefunguju s podobnou vykonnostou nieje zas tak podstatne. dolezita je robustnost strategie a aby fungovala v principe. logicke signaly pre vstup a vystupi podla situacii na trhu. v podstate sa ako trader budes musiet trhom prisposobovat.

[Lucínek]

xmms: Podle mne je to doba moc dlouhá. Optimální je něco jako klouzavý průměr MAE a MFE - tzn.mít test za posledních cca 100 obchodů a přidáním nového nejstarší ze statistiky vyhodit. Pak máš šanci se podle téhle analýzy držet alespoň trochu up-to-date.

[xmms]

Není to trochu málo? To jsem zkoušel a s takovou strategií otestovat další měsíc, který byl ihned ztrátový.

[mira_k]

to xmms,
osobně taky považuji 100 obchodu na pattern, jako dostatečný statistický vzorek, samozřejmě všechny obchody dle plánu ...

pokud Vám to přijde málo, tak udělejte víc, nic neni dogma, celý je to jen o tom, aby trader získal statistikou oporu pro další počínání. Nikde neni samozřejmě psaný, že když uděláte backtest na 1000 obchodech na pattern, že další měsíc nemůže být ztrátový ... pak je otázka se na ten měsíc podívat odděleně, proč byl ztrátový ...


M.

[Lucínek]

Pokud s takovým nastavením pojedeš nový měsíc a budeš parametry měnit za běhu, jak ti bude nejstarší obchod vypadávat a nejnovější zahrnovat do statistiky, tak máš daleko větší šanci, než když provedeš výpočet PT a SL na nesmyslně velkém vzorku dat, které obsahuje měsíce s naprosto odlišnou charakteristikou.
Také nesmíš brát nejoptimálnější výsledek, to zavádí přeoptimalizací. Pokud to děláš přes tabulku závislosti MAE a MFE, jak je to v tom deníku, který jsem tady někde postoval, pak musíš mít kolem dokola tebou zvolených hodnot stejné nebo jen lehce horší výsledky. Pokud zvolíš nastavení, že pro tuhle kombinaci SL a PT máš zisk jako bejk a při posunu SL nebo PT o jediný tíck se dostaneš do ztráty, je to velmi špatné nastavení, se kterým je další období ztrátové téměř jistě.

[xmms]

Právě testuju strategii CCI, překročení linky 20. Mám 290 obchodů za rok na 3min grafu, přičemž jako filtr používám EMA34 a EMA204. Equita jde pěkně vzhůru za minulý rok až dodnes. Jiné nastavení SL a PT má za následek malé zploštění equity, trochu se prohne (ne moc), ale zisky jsou pořád zajímavé při průměrném zisku $100 na kontrakt na jeden obchod. Jenže mi dělá starosti, že přidáním dvou kontraktů za rok 2007 to jde ihned do ztráty a to s jakýmkoliv SL a PT.

Můžete mi poradit, jak používat hodnoty MAE, MFE? Moc jsem nepochopil, jak to funguje a jak tyto hodnoty používat ve své strategii.

Ninjatrader ukazuje tohle:

Average MAE $189
average MFE $314
Average ETD $219

[Lucínek]

Na to, co ukazuje NT, se vykašli. NT to bere jen z obchodů, kdy jsi v pozici. Navíc z těchto třech čísel se nedovíš prakticky nic.Analýza MAE/MFE vypadá jinak, ale to se tu už řešilo, takže hledej.

[Tomassino]

To xmms:
Úplně nerozumím tomu, proč by mělo mít vliv na ziskovost/ztrátovost přidání kontraktu. RRR přece zůstane stejné. Pokud Ti systém funguje s jedním kontraktem, není důvod proč by neměl fungovat se dvěma. 100 obchodů podle mně stačit může, ale taky nemusí. Záleží na tom, kolik obchodů denně Tvůj systém vygeneruje. Jestliže je Tvůj průměr 250 obchodů ročně, pak by 100 obchodů pro nastavení MM mohlo stačit, pokud by ale systém generoval například 3 - 5 obchodů denně, 100 obchodů je určitě málo, protože pokryje maximálně dva až tři měsíce. Takže obecně bych se spíše než absolutním počtem obchodů řídil tím, jak dlouhé časové období pokryjí. Pokud jsi natestoval více než rok, je to zcela určitě dostačující. Osobně bych natestoval pro TF(ER2) rok 2008 celý a pak bych porovnal jak se mi změní nastavení MM za poslední půlrok a tím bych se řídil. Po přechodu ER2 na TF se trh zcela určitě změnil natolik, že je potřeba řídit se především nastavením za posledního půl roku, ale to neznamená, že by to poředchozí testování nemělo žádnou statistickou váhu a smysl. Navíc je třeba brát v úvahu určité cyklické chování systému. Například natestuješ - li si dostatečně dlouhou časovou periodu zjistíš, že obvykle červenec a prosinec jsou nejslabší měsíce každý rok. Chování trhu se změní natolik, že se to projeví asi u každého systému. Otázka pak je jestli si v tyhle měsíce drásat nervy obchodováním nebo si udělat dovolenou. Podebně je to se dny v týdnu. Na kurzu emini například Tomáš s Petrem říkají, že v pondělí se nevyplatí obchodovat. Po té, co jsem si vyhodnotil statistiky svého backtestu, zjistil jsem že pro můj systém je zdaleka nejhorší pátek. Úspěch tradera do značné míry závisí i na tom, aby dokázal svůj systém dostatečně flexibilně modifikovat a přizpůsobit aktuální situaci na trhu. Ale na druhou stranu, každý systém, který se rozhodneš obchodovat by měl být natolik robustní natolik, aby byl ziskový i když se optimální nastavení od Tvého aktuálního bude o pár ticků lišit. Pokud systém reaguje tak, že při sebemenší změně charakteru trhu ztrácí ziskovost, neobchodoval bych ho a hledal jiný, nebo se ho snažil nějak optimalizovat.

[xmms]

Tomassino, možná jsem se špatně vyjádřil. Mám otestovaný celý rok 2008 s počtem 299 obchodů (to se mírně mění podle parametrů), tedy průměrně 0.79 obchodů denně. Skoro každý den mám obchod. Neměl jsem ale na mysli přidat kontrak, ale další kontraktní měsíce do mého backtestu. Pokud ještě přidám další dva kontraktní měsíce roku 2007 (tedy druhou polovinu roku), je strategie za toto období 2007 ztrátová. Přitom strategii jsem původně tvořil za rok 2008 až do dneška a pak vyzkoušel, co udělá v roce 2007. Tak mě napadlo, že když je ztrátová zpátky mimo původně backtestované období, že možná není funkční a do budoucna bude taky ztrátová. Data z kontraktních měsíců jsem pospojoval podle jejich nejvyšší likvidity. Starší data nemám. Přikládám ekvitní křivku. Tady je součet zisků za jednotlivé dny v týdnu: Po Út St Čt Pá 8080 5820 2530 8820 1690 Pátek a středa jsou tedy nejslabší, ale stále ziskové.

[metamp]

Ak tvoj system bol ziskovy 1 rok a druhy rok nie je to pravdepodobne curvefit
Ber tiez na vedomie ze system ktory bezi na malom timeframe je velmi citlivy na prcisnost exekucie a slipage
1 tick slipage na vstupe a jeden na vystupe moze zmenit velmi ziskovy sytem na krach ...moja rada je testni svoj system a zahrn 1 tick slipage ... ak planujes obchodovat s volatile instrumentami ako TF FDAX a YM tak aj 1 tick je aj malo

vela novacikov testuje s limit orderami snaziaci sa vyhnut slipage
tieto backesty nie su realisticke .... predstav si ze mas ziskovy obchod a cena dosiahne tvoj Profit Target ale nepresiahne ho ani jednim tickom v backteste by to bol ziskovy obchod ale realita moze byt ze len 1 ale 2 coracty si vymenily ruky za tu cenu a tvoja objenavka nebola naplnena a teraz sa cena otocila a ide to proti tebe a mas namisto zikoveho obchodu stop loss alebo break even

Tak ako us Airmike spomenul tvoj problem bude asi s robustnostou
Je extremne komplikovane skostruhovat realisticky vykonny system na malom timeframe

[Tomassino]

xmms :
To je opravdu problém. Jeden ztrátový měsíc za rok, by mně asi nerozhodil, pokud by ty ostatní byly dostatečně ziskové, tzn. alespoň 3500 - 4500 $/měsíc. Potíž je totiž v tom, že asi málokdo dokáže 100% obchodovat podle plánu, takže pokud Ti vyjde v Backtestu zisk třeba 4500$, v reálu uděláš třeba jen 2 - 3 500. Ze začátku budeš rád i za to. Pokud tvůj systém ale generuje měsíční zisky v průměru do 1500 - 2000$ a pak má ještě ztrátové měsíce, hledal bych jiný systém, neb z toho kouká akorát průser. A mezi náma na Tvém místě bych si akorát modifikovl finwin tak aby vyhovoval mé povaze (přizpůsobení timeframe atd). Přidal bych si maximálně jeden filtr a neobjevoval bych Ameriku. Má to totiž jednu nespornou výhodu, můžeš konzultovat svůj přístup z ostatními kteří obchodují stejný, nebo podobný systém a můžeš tak jít rychleji kupředu.

Ať se daří

[Airmike]

No pravdu povediac mna by rozhodil aj stratovy tyzden pokial by som mal testovany system na papieri ako backtest a bol by na kratkych TF. ale kedze som prehliadol na akom TF xmms robi tak neviem posudit. ale pri jednom obchode denne sa to da prezit.

[Lucínek]

Tomassino: Řekl bych, že je to naopak.Pokud jsi na malém TF a generuje ti systém mnoho obchodů denně, pak bych se snažil mít testy tak, aby pokrývaly max. 1-2 měsíce. Potřebuješ něco, co lépe odráží aktuální dění na trhu, ne situaci před půl rokem nebo starší.

[Tomassino]

To Lucínek:
Tak tom se asi neshodnem. Pokud budeš upravovat systém byť každý týden, stejně budeš vždy o krok pozadu za trhem. Trhy se mění to je samozřejmě pravda, ale jestli máš systém který Ti za dva roky (npříklad) každý měsíc generuje zisk při stále stejném nastavení je mnohem větší pravděpodobnost, že takto nastavený systém přežije úspěšně i změny trhu v budoucnosti. Jinými slovy robustnost celého systému na malém vzorku dat neotestuješ. Drobně korigovat systém jsem schopen velice pohotově, když mi cena třikrát, čtyřikrát po sobě mine PT, nebo naopak protne SL o jedniný tick, posunu si PT a SL na lepší úroveň. Navíc asi stejně jako Ty směřuji čím dál více k tomu že pracuji se SL a PT průběžně v každém právě otevřené obchodě raději ručně než automatikou.