Jak velký vzorek dat pro backtest?

[xmms]

Těžko říct, třeba se ten trh opravdu dost mění. Možná bych se měl zaměřit hlavně na poslední období. Jinak ten slippage 1 nebo 2 nemá na ekvitu moc vliv, ale samozřejmě se tím snižují zisky. V praxi je třeba počítat s tím, že slippage může být proti mně, ale také občas půjde i mým směrem a zisk občas zvýší a jindy zase sníží. Zatím testuju systém na demo účtu a čas ukáže.

[Airmike]

v prvom rade neviem ci uplne spravne chapeme slovo robustnost. strategia je robustna vtedy ked na tu istu formaciu ci signal alebo pattern dostavame statisticky percentualnu vyhodu vo vstupoch. to ze manazment pocas obdobia menim je viacmenej prirodzene. podla mna dobra strategia na kratkom TF bude fungovat uplne rovnako dnes a takisto pred fungovala pred 5 rokmi ale to neznamena ze ju budem testovat na datach s 5 rokov. otestujem si to na datach s dneska pretoze to co ma bude zaujimat je ako aktualne postavit manazment. na momentalnu situaciu v trhu.
preto myslim ze nema vyznam testovat strategiu postavenu na 1M grafe cele rocne obdobie. uplne v pohode postaci ked si vyberiem kontraktne mesiace roznych rokoch prebehnem na datach 1-2 mesiace a mam predstavu. testovanie 2-3 rocne obdobia je zdlhave a v principe je dobre len na to aby som utvrdil sam seba ze system funguje. ale ak viem ze system funguje je to zbitocne.

dolezite je ale dat pozer aky system tstujem.

[xmms]

Airmike Napsal:
-------------------------------------------------------
> No pravdu povediac mna by rozhodil aj stratovy
> tyzden pokial by som mal testovany system na
> papieri ako backtest a bol by na kratkych TF. ale
> kedze som prehliadol na akom TF xmms robi tak
> neviem posudit. ale pri jednom obchode denne sa to
> da prezit.
>


Ty máš strategii s konzistentními zisky každý týden po dobu několika měsíců?

[Tomassino]

Airmike Napsal:
v prvom rade neviem ci uplne spravne chapeme slovo robustnost. strategia je robustna vtedy ked na tu istu formaciu ci signal alebo pattern dostavame statisticky percentualnu vyhodu vo vstupoch.

Přesně tak a tom přesně mluvím. Za 1. Procentuální výhoda je přece přímo závislá na MM. Kdybych si například u mého OS změnil SL ze 150$ na dejmetomu 50$, mám rázem ze ziskového systému ztrátový. Stejně tak pokud mi nějaká formace dává statistickou výhodu pouze 4 měsíce v roce, nemůžu hovořit o robustnosti. Ale to nezjistím, pokud nemám dostatečný vzorek statistických dat. Právě proto mi nemůže pro ověření robustnosti stačit natestovat dva měsíce. Souhlasím s tím, že testovat trh několi let dozadu je nesmysl a ztráta času, ale pár měsíců je opravdu málo. Optimální bych viděl opravdu cca rok. Pokud si myslíš Ty a Lucínek že pár měsíců stačí OK, this is your way, ale já si to prostě nemyslím. Navíc mi přijde že zaměňujete dvě věci. Budu - li chtít upravit svůj MM pak ano, můžu vycházet z výsledků posledních dejmetomu 2 - 3 měsíců, ale tyto údaje by měly být spíše vyýsledkem z obchodního deníku a live, případně sim tradingu, nikoli backtestingu. Navíc v takovém případě upravuji svůj MM minimálně (o pár ticků) Ale základní nastavení MM by mělo být výsledkem natestování alespoň 500 obchodů. V případě, že mám systém jako XMMS (malá frekvence), bude mi jich stačit třeba jen 300 pokud pokryjí jeden rok. Testuji přece proto, abych 1. Ověřil robustnost systému 2. Nakoukal grafy, poznal dobře trh, viděl jak se dokáže měnit a jak na tyto změny můj systém reaguje, abch se s trhem zžil a viděl co všechno dokáže jak často mi nadělí víc než 3, 4 ztráty po sobě. Ale jak říkám, je to vaše cesta. Pokud je váš trading úspěšný a ziskový, je všechno v pořádku.

[Tomassino]

Airmike Napsal:
-------------------------------------------------------
> No pravdu povediac mna by rozhodil aj stratovy
> tyzden pokial by som mal testovany system na
> papieri ako backtest a bol by na kratkych TF. ale
> kedze som prehliadol na akom TF xmms robi tak
> neviem posudit. ale pri jednom obchode denne sa to
> da prezit.

A co se tohoto týče, záleží v jakém jsou ztráty a zisky poměru. Jestli 11 měsíců jsou mé zisky vyšší než 2 - 3000$ na kontrakt a jenen měsíc budu mít 500$ ztrátu ,tak mně to opravdu nerozhodí. Když bych ale měl 11 měsíců zisk 500$ na kontrakt a ten dvanácký ztrátu 3000$ tak to by rozhodilo i mně.

[xmms]

Asi bych se přiklonil k tomu, že ty trhy se oproti roku 2007 dost změnily. Na trh ES mám jinou strategii - jen dva klouzavé průměry a tam se to chová podobně jako u CCI strategie na TF trhu. Navíc jsou oba trhy dost podobné a hodně korelují. Uvidím, jak to bude fungovat na demo účtu, jaký výsledek z toho bude za dva měsíce. Po dvou týdnech je zatím kladný.

[Airmike]

je to strasne individualne . kazdopadne si nemyslim ze robustnost je priamo zavisla na MM, uz len s toho dovodu ze ja mam pri kazdom obchode rozne hodnoty SL akoj PT/ vsetky hodnoty MM dostavam az s podrobnejsieho backtestingu ked uz mam urcene signaly.

sposob testovania ze si urcim SL a PT a potom hladam signaly sa mi vidi neefektivny. ja najprv najdem signaly a potom zistim aky SL potrebujem v priemere, aby som ho v realnom obchodovani mohol upravovat podla potreby a formacii

co sa tyka vykonnosti. ja by som nebol zrejme schopny tradovat system ak by bol system stratovy coilen tyzden. prave preto ze je velmi narocne system aplikovat do realneho trhu. system musi byt perfektny aby ho obchodnik svojou nedokonalostou nepoznacil tak aby bol sratovy.

kazdopadne system ktory ma vykonnost 3000 USD na kontrakt je pre mna len velmi tazko obchodovatelny.

[Tomassino]

Airmike Napsal:
-------------------------------------------------------
>kazdopadne system ktory ma vykonnost 3000 USD na kontrakt je pre mna len velmi tazko obchodovatelny.

Tomu nerozmím, můžeš to nějak rozvést ? 3000 USD na K/měsíc málo, nebo hodně, nebo proč je pro Tebe těžko obchodovatený ?

[Airmike]

Tomassino

no mna hlavne zaujima pocet bazickych bodov . takze az tak velmi ma nezaujimaju dolare. pretoze na Fx mas menove pary kde je tick pri niektorych paroch odlisny. a kedze primarne obchodujem EURUSD a GBPUSD kde je 1 bod 10 USD. tak po preratani mi tovychadza na 300 bodov mesacne. 300 bodov = 3000 USD na Lot/kontrakt

takyto Gain je pre mna neprijatelny, je to strasne malo. denne urobim 4-8 obchodov. a cakam denny zisk aspon 50 bodov. ked to preratam na dolare, mesacne chcem byt na 1000 bodoch po odratani vsetkych poplatkov to je asi 10 000 USD na lot. ale toto je skutocne spodna hranica, ked to mesacne nezvladnem a nespravim minimum, zacinam skumat kde je problem. takisto nastava problem ked mam minusovy tyzden, albo 2-3 minusove dni po sebe. vtedy skumam kde je problem, ale nastastie take veci sa nestavaju moc casto

[Tomassino]

Airmike:
>no mna hlavne zaujima pocet bazickych bodov . takze az tak velmi ma nezaujimaju dolare.

Tak to jsi asi vyjímka. Většina lidí tady obchoduje, nebo se snaží obchodovat pro dolary a ne pro body.
A co se týče měsíčního průměru na K: Mně forex nezajímá, takže vůbec nevím kolik se ti na 1 lot zablokuje margin a kolik % z účtu riskuješ na obchod, ale myslím, že se forex a komodity nemůžeš tak jednoduše směšovat. A taky přece záleží jaký trh obchoduješ a kolik času u toho strávíš. Z TF za 2,5 hodiny denně 10000 $/měsíc na K prostě nevytáhneš. A z ES už vůbec ne. Chceš - li 10000 $ musíš prostě jet víc K. Myslím že xmms zbytečně pleteš.
Ale nic ve zlým.

[Airmike]

Tomassino

Vobec niesom ziadna vynimka. akurat ma nezaujimaju scalpy. nic nezrovnavam. iba mi pride trosku zvlastne ze stale citam o nejakych umelych backtestoch . takto trhy proste nefunguju a tlacit do trhu system ktory nieje dynamicky ale pocita stale s nejakymi fixnymi premennymi je holy nezmysel. a este to napasovat na obdobie rokov tak to uz vobec nie.

ked nerozumies forexu, tak si natiahni futures eura alebo libry , je to to iste. myslim ze nikoho nepletiem ked dam priklad toho ako ako sa to da robit inac.

Btw: vobec nerozumiem co ma spolocne debata o datach s tym kolko denne clovek obchoduje. alebo kolko kontraktov ide. ale co viem urcite je ze nemusim sediet za kompom ani tie 2,5 hodiny aby som vedel kam mam posadit objednavky.
o tom ze 1 000 bodov, sa da urobit len s viacerimi kontraktmi je tiez nezmysel.

ak chces popis staci robit toto. zacni sa orientovat na vyssie TF pre urcenie trendov. preber si priemerne denne pohyby trhov ktore obchodujes, sleduj High a Low dni a na obchod sa pozeraj s hladiska denneho potencialu, a hned ti bude vsetko jasnejsie. kazdopadne nikomu nechcem radit a nikoho nechcem pliest alebo zavadzat. ide len o to ze mi poslednych par prispevkou prislo ako keby niekto testoval scalpovaci system , kde som v trhu 3-4 minuty a zoberiem si drobne. treba pripustit ze trading je len o tom kde si hranice postavis ty. ak chces 3000 USD na kontrakt, tak ich dostanes ak chces 15 000 tiez ich dostanes. je to len na tebe

[Tomassino]

Nevím proč mluvíš o skalpingu ale je to jedno. Vůbec se mi nelíbí kam tato debata došla, ani způsob jakým se vede. Jisté je že máme zcela jiné přístupy a oba obchodujeme něco jiného. Snad se shodneme alespoň na tom, že natestovat je potřeba tolik obchodů a takovým způsobem, aby člověk získal sebejistotu a důvěru ve svůj systém. Tímto bych za tím udělal tečku.

[Lucínek]

Tomassino: Mě teď naopak přijde jako velmi zajímavá. Je velmi inspirující číst příspěvky typu Airmika, které mohou posunout zase o kousek dál - od hledání krátkodobých obchodů, de facto třeba na jeden swing, na úroveň zobchodování denního range. Pokud máš jako obchodní plán např obchody pro 50 pips (ticků), jeví se ti systém založený na PT 10 ticků jako nezajímavý skalping. Sám jsem z tohoto úhlu pohledu spíše ten skalper, ale je to právě tento rys obchodování, který se snažím nejvíce změnit - snažit se vykašlat na "skapling" a chodit pro delší profity v delším časovém horizontu.

Ale o tom tahle debata opravdu být neměla, takže zpět k původnímu tématu. Ano, máš hodně pravdu s tím nastavením parametrů již "hotového" systému na základě kratší periody testování. Mě osobně ale přijde extra dlouhé statické testování problematické i z jiného úhlu pohledu. Sám nejsem zastáncem rozsáhlých backtestů (ačkoli význam BT nepodceňuji), ale raději se zaměřuji na papertrading a praktické ozkoušení zvolené metody. Pokud někdo začíná, stejně pojede paper většinou alespoň půl roku a získá tak mnohem lepší statistiku, než z backtestu. Také dříve přijde na to, že mu ten systém, jehož backtestem strávil dva měsíce, třeba vůbec nesedí. Já jsem v začátcích zdlouhavě backtestoval FinWin. Pak jsem ho začal jet live - a zjistil jsem, že mi ten systém (ačkoli netvrdím, že je špatný, mnohým může vyhovovat dobře) nesedne k mému způsobu obchodování. A měsíce BT byly k ničemu - protože měsíc live obchodování ukázal, že tohle pro mne není.
Teď když dělám nějakou změnu OS, provedu krátký BT a co nejdříve nasadím systém alespoň paper. Teprve "za běhu" se ukáže, co je reálné a co nikoliv a jestli tedy vůbec má smysl se tímhle systémem zabývat dlouhodobě a nasazovat jej live.

Sám bych tuto cestu doporučil každému začátečníkovi - krátký backtest a dlouhý papertrading. Je to rohodně lepší cesta než opačná, kterou jsou prošel já. Dlouhý backtest, krátce paper a pak hned live.

Podle mého totiž není ani tak důležitá kvantita, ale kvalita backtestu. Pro každý obchodovaný pattern - je jedno, jestli je to 2v, extrem cross nebo třeba double top či role reversal - mít vzorek cca 100 obchodů (to toho času nezabere zase tolik), vybírat je tak, aby obchody co nejvíce odpovídaly realitě mého obchodování (např. chci jet každý večer od 20:00 do 22:00, testuji tedy jen obchody z tohoto období a nepletu do toho obchody z jiného časového pásma, v případě range bars se dívám na time histogram, zda nejde o pattern ve skutečnosti neobchodovatelný (protože se třeba celý vykreslil po fundamentu za 5 vteřin, takže bych ho v praxi nestihl ani zaregistrovat, natož zobchodovat) a soustředím se na trh "bar po baru", protože tak snáze nepřehlédnu ztrátové signály systému (ty ziskové z trhu přímo křičí, ale ty ztrátové někdy člověk vidí opravdu jen tehdy, když má na monitoru úplně vpravo právě vstupní bar a nic dalšího ještě nevidí). A samozřejmě brát MFE ponížené o spread mezi ask a bid obvyklý na daném trhu - jinak mohu mít přehnané nároky na PT, pokud jedu na pevné PT - často by to pak mohlo "skoro dosáhnout" na PT a pak se otočit, protože kombinace skluzu v plnění a právě spreadu by mohla příliš optimalizovaný PT často míjet.
A jestli je pak optimální PT 15 ticků nebo 35, SL 10 tick nebo 14 ... to jsou věci, které jsou velmi závislé na aktuální volatilitě a z dlouhého období je prostě přesně nezjistíš.

[LiP]

Airmike napsal: "a cakam denny zisk aspon 50 bodov. ked to preratam na dolare, mesacne chcem byt na 1000 bodoch po odratani vsetkych poplatkov to je asi 10 000 USD na lot. ale toto je skutocne spodna hranica, ked to mesacne nezvladnem a nespravim minimum, zacinam skumat kde je problem. takisto nastava problem ked mam minusovy tyzden, albo 2-3 minusove dni po sebe. vtedy skumam kde je problem, ale nastastie take veci sa nestavaju moc casto"

Samozřejmě by se k A taky slušelo říct B, tj. s jakými stop lossy těchto hodnot chce dosahovat, ale podlu počtu obchodů jde o intradenní obchodování a tedy pravděpodobně malé SL.

Nicméně, již delší dobu mám podezření na to, že Airmike buď neobchoduje live, nebo obchoduje jen velmi krátkou dobu. Každopádně bych chtěl důrazně varovat zejména nováčky, aby brali jeho příspěvky s velkou rezervou. Od jeho bagatelizování backtestů, až po jeho výsledky obchodování. Dle mého názoru tady šíří nebezpečné nesmysly, které mohou mnoho obchodníku poslat špatným směrem.

Ce se týče backtestu i reálných výsledků, tak se k oběma vztahuje volatilita trhů. Obojí totiž může vycházet značně odlišně v různých obdobích, a to na všech trzích. Například Forex je od druhé polivny loňského roku nadprůměrně volatilní a "velmi dobře" se v něm obchoduje. Ovšem pamatuji i taková období, kdy byla volatilita dlouhodobě mizerná, například první pololetí roku 2007. Troufám si tvrdit, že v té době by Airmike zůstal u těch 1000 bodů jen s tím slovem "chcem". To samé platí například pro indexy, první pololetí roku 2008 mělo řádově jinou volatilitu než to druhé. A to má vliv na počet obchodů, možné ztráty i možné profity.

Airmike se tady ve fórech chlubí v drtivé většině jen povedenými obchody a může u začátečníků vyvolávat nerealistické představy a očekávání. Na základě jeho příspěvků si troufám tvrdit, že neobchoduje live dlouhodobě (řádově roky), jestli live obchoduje vůbec. Takových "obchodníků" jsem viděl spousty a při prvních změnách na trzích vždycky rychle utichli. Hlavně prosím neberte nikdo vážně to, že pokud by vám systém nedával 1000 pipsů za měsíc, nebo vykazoval ztrátový týden, tak že je nutné někde hledat chyby. To může tvrdit jen člověk, který obchoduje max. pár měsíců. A o tom trading není.

Nemám v povaze jen tak někoho kritizovat a dlouho jsem se při čtení Airmikových příspěvků držel, ale myslím, že skutečně nastala doba na toto upozronění, protože jeho "příspěvky" jsou skutečně nebezpečné pro nováčky.

[Airmike]

LiP

ospravedlnujem sa za budenie verejneho pohorsenia. :)

ale mam na veci trosku iny nazor;

1) apsolutne neodradzam nikoho od backtestov, ide len o sposob backtestovania. prave naopak backtest je zaklad, ale treba donho vniest aj trosku zmysluplnosti. nielen na niekolkorocnych datach otestovat system , ale vniest do toho aj trochu logiky

2) nikdy som netvrdil ze system kde urobis 300 bodov nieje dobry pre novacika , hovorim len o tom ze to nieje zrovna cesta ktorou chcem ist ja

3) podarene obchody davam do vlakna PA preto lebo mozu byt inspiraciou, ale nevidim zmysel davat tam obchody stratove. to ze s 8 obchodov denne mam zisk 50 bodov mi pride uplne normalne, a keby sme sa tu nedelili na forexakou a komoditakou pochopili by ste ze to nieje nic nerealne