Backtestování: ne příliš málo, ale také rozumně hodně

Na posledním semináři emini II, který jsme pořádali na začátku tohoto měsíce, jsem si opět uvědomil několik zásadních chyb, kterých se studenti během backtestů dopouští. Jednou z nich je nepoměr mezi backtestem a praxí - tyto dvě složky je totiž třeba v rozumné míře neustále doplňovat. Pojďme se dnes na téma backtestu a častých chyb podívat trochu blíže.

Na jednu stranu je pravda, že backtestovat je třeba na rozumně dlouhém vzorku dat (pokud možno co nejdelším). Takže svým způsobem není backtestu nikdy dost. Na druhou stranu jsem si všimnul, že řada nováčků propadá falešné iluzi, že nekonečné backtestování a "pitvání se" v každém mikro detailu už od začátku maximalizuje efektivnost obchodního systému a připraví obchodníka na kontinuální zisky s minimálním draw-downem. Jinými slovy, řada začínajících obchodníků realizuje backtest a hlavně jeho různé úpravy a nuance nad úroveň toho, co koresponduje s praktickými zkušenostmi daného obchodníka.

Pojďme se na to podívat trochu od začátku.

Backtest: od "nástřelu" po zkušenost

Zcela na začátku máte ideu nebo systém, ale nemáte žádné zkušenosti. Potřebujete si tedy alespoň ověřit, že idea nebo systém (FinWin), který máte, není úplná pitomost a máte šanci s takovým vydělat v trzích nějaké peníze. Uděláte tedy základní backtest (minimálně 100 obchodů, u intradenního obchodování doporučuji i u "nástřelových" backtestů alespoň 3-6 měsíců, často vidím u studentů jako "nástřel" pouhý měsíc, což je skutečně velmi málo) a z něho máte nějakou představu, jak systém může/nemůže fungovat.

Nyní, již během samotného backtestu, tj. několika nekonečných hodin hledění do grafů zjistíte, že některé patterny/vstupy/výstupy vidíte lépe, některé hůře. Něco rozpoznáváte s přehledem, něco rozpoznáváte s obtížemi. Už během prvotního backtestu se tedy ukazuje individualita každého obchodníka a vy si můžete po "nástřelovém" backtestu lépe definovat, co konkrétně vám na první dojem vyloženě sedne, a co vyloženě nesedne. Můžete například zjistit, že vám sednou protitrendové patterny, ale už ne trendové. Při opakovaných "nástřelových" backtestech na několika trzích a time-frame (striktně doporučuji!) můžete také zjistit, že vám lépe vyhovuje jistý time-frame oproti ostatním, nebo už od začátku cítíte silnou preferenci určitého trhu.

Po sumarizaci preferencí na základě řady "nástřelových" backtestů tedy máte představu o tom, do jaké variace daného systému byste se rádi pustili v absolutním začátku. Vrhnete se tedy do opravdu podrobného backtestu takovéto variace (u intradenních traderů doporučuji alespoň 1 rok nazpět) a provedete analýzu MAE/MFE, případně srovnání různých dalších alternativních technik výstupů, abyste našli kombinace, které vypadají jako nejzajímavější. To je prakticky vše, co byste v tomto bodě měli udělat. Nyní, už zde se většina obchodníků dopouští několika kritických chyb:

1) Optimalizují posouvání SL a tím vytváří nereálné a velmi přeoptimalizované equity křivky; je nutné si uvědomit, že reálný efekt posouvaného SL zjistíme pouze tak, že budeme "nahlížet" do tickových dat tick po ticku, abychom viděli, jak se trh na "jemné" úrovni hýbal vůči našim posouvaným SL. To tedy znamená, že funkce posouvání SL v nejrůznějších řešení Excelu, které je možné na našem serveru různě postahovat, jsou sice hezké, ale zcela mimo realitu. "Vypiplané" posountí 1 a 2 (tj. simulace rovnou dvou posunutí SL), navíc po velmi malých částkách, vytváří možná equity, které chcete vidět, nikoliv však robustní nastavení, které by fungovalo i v reálu. Opravdu dobrý systém by měl ukazovat zajímavé výsledky už bez jakéhokoliv posunutí a například u trhu e-mini Russell 2000 bych neposouval v Excelovské simulaci více, než při otevřeném profitu 150 USD a více maximálně na BE-5, tj. snížení základního SL na -50 USD. To je tak maximum, které může dát robustní a realistický pohled v prostředí Excelu.

2) Přeoptimalizovávají hodnoty PT a SL. Robustní nastavení vypadá tak, že máme pokud možno stejné hodnoty SL a PT, pouze s rozdílností na stranu long a na stranu short. Můžeme ještě posoudit jiné PT u trendových a u protitrendových patternů, i tyto hodnoty by však měly být v rámci jedné "skupiny" velmi podobné. Pokud například vidím, že optimalizované hodnoty pro PT v případě 6ti různých patternů jsou 18, 24, 11, 25, 33 a 41, pak se opravdu nejedná o robustní nastavení. Pokud vidím, že 3 trendové patterny mají hodnoty 33, 35 a 33 a protitrendové 21, 19 a 22, pak vím, že jsem alespoň v podobné dimenzi. Systém by pak měl bez problémů fungovat i v případě, že na trenodové patterny aplikujeme PT 33 na všechny patterny a na protitrendové patterny PT 20. Takové nastavení už je mnohem vzdálenější od přeoptimalizace a vypadá podstatně rozumněji.

Další věc je, že to, co shledáme jako "vhodné a zajímavé" při backtestu, nemusí být pro nás ve skutečnosti ještě vhodné a zajímavé u živého obchodování. Takže jakákoliv další snaha a práce na backtestu ztrácí v tento moment smysl, dokud neuvidíme, jak reagujeme v rámci "pohyblivých" trhů. Je tedy třeba vzít naši první podobu systému a jít na paper-trading, kde si budeme vstupy a výstupy simulovat live. Teprve po nějaké době uvidíme, zda-li jsme schopni brát signály tak, jako v backtestu. Pokud ne, musíme najít co naše jsou slabé stránky, co silné, kde se přibližujeme backtestu reálněji, a kde nikoliv - a dle toho opět modifikovat systém, vrátit se na backtest, řádně zbacktestovat modifikovanou variantu, a pak opět přejít na paper-trading, abychom viděli, zda-li se již více paper přibližuje backtestu.

Backtest a paper: hledáme synergii

Jinými slovy je naprosto nezbytné, aby teorie backestu šla ruku v ruce s praktickými zkušenostmi z reálných trhů a případné rozdíly byly neustále srovnávány. Tento proces může trvat i několik měsíců, tj. je často třeba několik modifikací, než zjistíme, že jsme schopni backtestovat jenom to, co zároveň dokážeme i rozpoznávat a na co dokážeme reagovat i v živých trzích a naopak - že dokážeme v živých trzích brát to, co simulujeme ve statickém backtestu. Teprve až se tyto dva světy "střetnou", jsme připraveni na live obchodování - samozřejmě v případě, že dokážeme na paper-accountu již vydělávat.

Mnoho obchodníků (těch, kteří už naštěstí pochopili, že je backtest potřeba - a tak se do backtestování konečně pustili) bohužel v počáteční fázi přeceňuje backtest (ano, neustále říkáme, že je to alfa-omega tradingu, ale říkáme to především proto, že 90% nováčků se vůbec neobtěžuje nějakým backtestem zabývat) a naopak zcela podceňuje zkušenosti z reálně se hýbajících trhů - byť na paper účtu. Dynamika pohyblivých trhů je jiná než statický backtest, a proto je třeba rovnoměrně obojího, abychom našli takovou variaci systému, která zcela padne naší povaze.

Pokud nováček věnuje backtestu více času, než je na začátek zdrávo, například různým vymýšlením dalších hypotéz a analýz, atd., pak je to samozřejmě velmi hezké cvičení, které bez debat může přinést i mnoho nových postřehů a vylepšení, ale ještě nezaručuje, že nasazení do praxe bude úspěšné. Než tedy začneme vyvíjet další hypotézy a zlepšení v rámci backtestu, musíme mít především jasno v tom, co jsme schopni v reálu úspěšně exekuovat a v pokročilých hypotézách backtestů pracovat už jenom se základem, o kterém víme, že nám nečiní problém úspěšně exekuovat - jinými slovy, umíme již obchodovat tak, jak backtestujeme.

Pozor tedy na rozumnou váhu mezi backtestem a praxí a na výše zmíněné nejčastější chyby začínajících obchodníků v oblasti backtestování.