Výsledky backtestingu

[PET]

Ahoj,
už nějaký čas si pohrávám s backtestingovým programem a výsledky různých strategií a nastavení.
Protože nejsem žádnej programátor mám zatím úpně jednoduchý prográmky a výsledky cca na 3 měsíčních datech(už objednádávám komplet u SGMagic).
Ale k mýmu postřehu. Zatím nejlepší výsledky mám se zcela opačným RRR než je všude doporučováno a to 300$ SL a PT 100$ (v EURu intradenně).
Úspěšnost se mi pohybuje kolem 80%.
Pohrával si někdo s takto kacířskou myšlenkou - vykašlat se na všechny poučky a obchodovat i s negativním RRR, když Vám to takhle skvěle vyplivne mašina?
Dík za postřehy a názory aktivních intradenních obchodníků.

Mějte se
PETr

[viki]

Dobrý den PETře

Asi bych zkusil otestovat mnohem delší období, pokud máte takhle vysokou úspěšnost tak to asi může fungovat, ale v období kdy se trh bude chovat opačně Vám to asi nadělí pořádný DD. Obchodoval by jste diskréčně nebo automaticky? Je ten SL minimální hranice?

[PET]

Určitě otestuju komplet historii, jen co ji dostanu, i když si myslím, že 3 měsíce není až zase tak málo.
Tento systém má max drawdown -850$ což se mě zatím u žádnýho jinýho nastavení nepovedlo a navíc si lze pohrát s výstupy, který jsou někdy hodně předčasný, ale to spíš s multikontrakty později. Zatím pracuju jen s jedním kontraktem protože už mi na víc na účtě nezbylo :D. Můj program (AmiBroker) navolit na automat nejde(asi) - bohužel. Tím bych vyřešíl svůj neposedný ukazováček na myši, který klikne většinou na špatnou stranu.
SL 30b v EUR je maximum. lepší to není s větším a už vůbec ne s menším SL. Jiný nastavení třeba s SL 200$ mě taky funguje, ale ne s PT a s daleko menší úspěšností cca 65%.
Jen mě zajímalo, jestli nejdu zcela špatnou cestou (záporný RRR), kterou už pár lidí vyzkoušelo a ..... pohořelo.
Jo rozhodně bych nerad zažil sérii 10 ztrát v tomto systému - to by bylo :((td)

PETr

[tomnes]

PET,

skutečně je "košér" cesta jak dosáhnout vysokého win ratio pracovat s negativním RRR. Jenom dle mého názoru je to vaše RRR již příliš vysoké. Osobně bych toleroval maximálně 2:1, připadá mně už docela dost těch 3:1. Tam pak vážně stačí nějaké horší období a už můžete dosahovat hodně nepříjemných DD. Též doporučuji otestovat delší historii a převážně pak "horší" období, třeba červenec-srpen, kdy Euro často nic moc nedělá a kdy bezpečně poznáte chování systému v horších podmínkách.

Tomáš

[PET]

Po otestování na delším časovém úseku sem pro zajímavost napíšu výsledek. Z mého pohledu bude rozhodující pro rozhodnutí o nasazení systému jeho max drawdown a % úspěšnosti.

Zdraví
PETr

[viki]

Nejedná se přímo výsledky, ale týká se to backtestingu. Chtěl bych se zeptat, jak vyhodnocujete výseldky a jak je zpětně používáte. Vyhodnocujete časový úsek, počtu např. 300 obchodů, nebo provádíte nové testy? Tzn. aby měli výsledky statistickou vypovídající hodnotu, myslím, že by vstupy měli být na stejném místě, takže pokud chci otestovat nějakou novou skutečnost, tak se můžu jenom vrátit a znovu projít výsledky s touto ůpravou. Je to tak? Jenom pro zajímavost zkoušel jste někdo zobchodovat stejný časový úsek dvakrát? Jak sme se tu už několikrát vyjadřovali tak třeba 20% systému může být cit pro trhy, takže výsledky s tímto vyvýjejícím se citem budou jiné...

[tomnes]

Já osobně to dělám takto:

Pokud vyvíjím nový systém, pak neprve backtestuji na značné historii obchodů. Po té začnu paper-tradovat a výsledky z paper-tradingu analyzuji jak samostatně, tak spolu s backtestovanou historií. Pokud začnu naživo, tak jak správně píšete, výsledky se pak díky citu a částečně diskréčnímu přístupu mohou lišit. Řeším to tak, že pravidelně porovnávám obchody tak, jak jsem je reálně zobchodoval s variantou kdy bych bral obchody přesně podle plánu, t.j. obchodoval na sto procent mechanicky. Každý měsíc takto mohu vidět, jestli byl můj částečně diskréční přístup lepší, nebo horší, než kdybych obchodoval jenom totálně "slepě" mechanicky.

Tomáš

[viki]

Dobrý den Tomáši,
díky za reakci, takže jestli dobře rozumím, tak při backtestu obchodujete (pokud tedy simulujete obchody, nebo hledáte vstupy na otevřeném grafu?) zásadně podle mechanického plánu. S tím, že si zapisujete výsledky předpokládaných variant, které chcete otestovat. Tím, že je to podle mech. plánu můžete nové nápady testovat na již otestovaném období a cit do toho poušťíte až při papertradingu a samozřejmě vyhodnocujete. Je to tak?

[PET]

Slíbil jsem, že sem dám svý výsledky, - takže - hodně špatný.
Nějak tomu nemůžu přijít na kloub. Koupil jsem si data nahrál do PC a testoval to o čem jsem byl přesvědčený, že funguje. Výsledkem byla velká ztráta. To by nebylo až tak divný - jeden měsíc se daří druhej ne...že? Divný bylo, že když jsem testoval koupený data (SGMagic)na stejným časovým úseku jako data postupně nahrávaný(IB), diametrálně se výsledky rozcházely a i graficky to není stejný a to jsem to ještě srovnával se svoji FSXtrou, kterou si ještě platím a světe div se taky trochu jiný. Takže moje resumé - opustil jsem svůj primitivní systém, který mě někde fungoval a někde ne a testuju ten, který mě funguje všude. Nechce se mi zjišťovat v kterých datech je zakopanej pes a proč ta či jiná svíčka je někde delší a někde zase začíná jinde - to bych zblbnul už uplně.
Mějte se
PETr

[bolija]

To: PET

Z těch různých dat si vůbec nic nedělejte. Já když s někým srovnám graf, tak máme téměř vždy mírně rozdílné svíce. Např. o "doji" nemá v ID vůbec cenu mluvit. Tam se nesejdete velmi často. Zkoušeli jsme i pustit z IB data do dvou různých softů on-line a svíce se také lišily, tím i signály ke vstupu. Čas srovnávám každou půlhodinu, aby to bylo aspoň trochu přesné. Ale dlouhodobě by to podle mě nemělo mít velký vliv na výsledky. Jen mě to taky mírně překvapilo.

[marbie]

To PETr

Mohu jen potvrdit podobnou zkušenost. Data od SGMagic mi přijdou místama dost zašuměná.
( Mimochodem strejda od SCMagic je prej z Indonesie a PayPal má v D :D ).

Jen namátkou a jen z obchodních hodin:

date;time;open;high;low;last;volume;trades

1) na ten čas divné Volume
2002-12-19;21:42:00;8331;8335;8331;8331;4000;12
2002-12-19;21:43:00;8330;8335;8328;8335;6600;15
2002-12-19;21:44:00;8339;8339;8335;8338;7400;25
2002-12-19;21:45:00;8333;8337;8331;8332;6800;11

2) tohle jsou asi hodnoty MA :-)
2005-01-04;16:16:00;10769.9990234375;10770;10763;10763;315;61
2005-01-04;16:17:00;10764;10764;10754;10755;494;72
2005-01-04;16:18:00;10753.9990234375;10760;10754;10758;265;66
2005-01-04;16:19:00;10759;10762;10759;10759;197;45
2005-01-04;16:20:00;10758.0009765625;10760;10757;10760;164;77
2005-01-04;16:21:00;10760;10761;10759;10760;83;27

3) a tohle maj být přesný data 1min TF
2005-06-20;18:31:02;10616;10616;10615;10615;6;4
2005-06-20;18:32:24;10615;10617;10615;10616;45;17
2005-06-20;18:33:02;10616;10616;10615;10616;39;10
2005-06-20;18:34:08;10616;10617;10616;10617;21;8

2005-06-22;17:33:00;10628;10628;10625;10625;88;32
2005-06-22;17:34:06;10625;10630;10625;10628;262;45
2005-06-22;17:34:08;10625;10630;10625;10628;233;43
2005-06-22;17:35:00;10628;10632;10628;10629;157;49

Tak a s takovou historií má člověk pracovat. :-(

Navíc je mi hodně velkou záhadou a tímto bych rád poprosil o názor Tomáše, Petra a kohokoli dalšího zkušeného:
Jak je možné, že se můj první jednoduchý nedodělaný AOS na těchto datech od 2003 do 03/2005 jen tak plácá a dál již začíná vykazovat Profit F. 1,4 a Recovery F. 5,5?
Ty starší data jsem tak nestudoval, jednak z důvodu viz mé ukázky o kvalitě dat a jednak již zde řečeného, že se trhy časem mění, ale že by tento přechod nastal prakticky s otevřením nového kontraktního měsíce ???!!!
To mi až přijde jako taky zde již diskutované
[ital] (Re: Psychologie davu
Vloženo uživatelem: Jaroslav Patocka
Datum: January 28, 2006 08:32PM) [/ital]
že si Big Boss hrají s malými a nasadili v té době nějakej novej AOS. :D

[petr]

Marbie,
SCMagic podle mě ukládá na server data streamovaná z IB, tj. měla by být velmi podobná datům, které získáte od IB.
Petr

[PET]

Po mých zkušenostech už výsledky backtestu beru opravdu orientačně, zvláště pak to období kdy se přechází z jednoho komtraktního měsíce na druhý - mimochodem nevíte někdo jak to mají SGMagic vyřešený v tom jednolitým grafu? Kterej den si řeknou, že navážem další měsíc a podle čeho?
PETr

[Pavel73]

Dobry den vsem, Minuly patek jsem uskutecnil papirovy obchod cislo 103. Zacal jsem papertradovat mini DJ v breznu a to systemem, ktery popisuji v jinem vlaknu (stochastic POP). Prumerne tedy vychazi 1-2 obchody denne. Rad bych predstavil vysledky a to proto, ze si myslim, ze system ma potencial (vystupy na profit target= 2,8 x hodnota stoploss byly se znacnou rezervou. Obchodu uskutecneno 103 profitove: 50 48,5% Ztratove: 51 49,5% 2x obchod skoncil na 0. Prumerny zisk na obchod: 108,6 Prumerna ztrata: 52,5 RRR: 2,1 Max drawdown: 230 Max stoploss 100 Aktivni obchodni dny celkem: 52 (dny bez signalu 12) Ztratove dny: 19 Zisk 2240 (po odecteni komisi) Pro zajimavost dokladam equity krivku pro dane obdobi Uvitam veskere nazory a porovnani s uz fungujicimi systemy v realu. Samozrejme, pokud mate take nekdo zkusenosti s indikatory Stochastic, velmi rad se podelim se svymi.

[Pavel73]

Dobry den vsem, Minuly patek jsem uskutecnil papirovy obchod cislo 103. Zacal jsem papertradovat mini DJ v breznu a to systemem, ktery popisuji v jinem vlaknu (stochastic POP). Prumerne tedy vychazi 1-2 obchody denne. Rad bych predstavil vysledky a to proto, ze si myslim, ze system ma potencial (vystupy na profit target= 2,8 x hodnota stoploss byly se znacnou rezervou. Obchodu uskutecneno 103 profitove: 50 48,5% Ztratove: 51 49,5% 2x obchod skoncil na 0. Prumerny zisk na obchod: 108,6 Prumerna ztrata: 52,5 RRR: 2,1 Max drawdown: 230 Max stoploss 100 Aktivni obchodni dny celkem: 52 (dny bez signalu 12) Ztratove dny: 19 Zisk 2240 (po odecteni komisi) Pro zajimavost dokladam equity krivku pro dane obdobi Uvitam veskere nazory a porovnani s uz fungujicimi systemy i treba v realu. Samozrejme, pokud mate take nekdo zkusenosti s indikatory Stochastic, budu velmi rad.