Vyhodnocování obchodních systémů z pohledu dostupných metrik

Úspěšnost obchodovaného systému poměřuje většina začínajících obchodníků skrz vydělané peníze zobrazené v historických obchodech, tj. nejčastěji v backtestu. To však není zdaleka optimální přístup. Jaké nejběžnější metriky máme k dispozici a na které se zaměřovat?

Jakmile se pustíme do systematické práce na obchodních strategiích, získáme k dispozici mnoho statistických ukazatelů o jejich historické výkonnosti. A je jedno, jestli pocházejí z ručně vytvářeného backtestu analyzovaného pomocí Excelu, nebo z automatizovaného backtestu.

Přehled může vypadat jako ten publikovaný na obrázku:

Jde o report historické výkonnosti testované intradenní strategie a na první pohled máme k dispozici spoustu informací (a to ještě na screenshotu nejsou zobrazeny všechny). Není divu, že začínající obchodníky mohou podobné statistiky vystrašit a raději se jimi příliš nezabývají.

Dobrou zprávou je, že pro vyhodnocování systémů nepotřebujeme sledovat všechny publikované informace. Je ale potřeba si vybrat ty nejrelevantnější, což bohužel většina obchodníků nedělá.

Pojďme si projít postupně nejběžnější metriky a popsat si, jak je interpretovat.

Důležité je začít u počtu obchodů. Pro jakékoliv analýzy potřebujeme dostatečně reprezentativní vzorek dat. Minimálně bychom měli pracovat se sto obchody. V případě intradenních strategií ale rád analyzuji systémy, které mají nejméně několik set obchodů. Na publikovaném screenshotu je vidět, že daná strategie má 723 historických obchodů (365 na dlouhou a 358 na krátkou stranu), což je již solidní počet. Jinými slovy – pokud máme k dispozici jen několik málo desítek obchodů, tak nemá smysl se ani snažit je nějak statisticky analyzovat.

Hodně začínajících obchodníků upírá pozornost k procentuální úspěšnosti obchodů. Ta udává poměr ziskových a ztrátových obchodů. Na první pohled se zdá, že čím vyšší úspěšnost, tím lépe. Vždyť co může být lepšího, než obchodovat například s 80% úspěšností. Ta přeci znamená, že z deseti obchodů budeme mít průměrně osm zisků a jen dvě ztráty. Bohužel ale úspěšnost obchodů zisky nezaručí. V praxi totiž záleží na tom, jak velké budou průměrné zisky a jak velké průměrné ztráty. Vesměs platí, že systémy s vysokou úspěšností mívají ohromné množství malých zisků a občasné velké ztráty. Procentuální úspěšnost tak v důsledku nepředstavuje moc důležitý údaj. V praxi je dobré nezacházet v úspěšnosti do extrémů. Sám nejraději obchoduji systémy s úspěšností někde kolem 40 – 70 %. Ale jak jsem uvedl – konkrétní úspěšnost nemá souvislost s tím, kolik budeme vydělávat. Spíše se pojí s různými obchodními styly. V některých obchodujeme aktivněji pro častější menší profity, a tudíž vyšší úspěšnost (a musíme se tedy připravit na občasnou vyšší ztrátu), v jiných obchodujeme pro větší, ale méně časté zisky (a musíme se tak připravit na dlouhé série období, kdy systémy nebudou vydělávat).

Studujeme-li procentuální úspěšnost, je potřeba se ještě dívat na velikosti průměrného risku vůči průměrnému zisku. Tyto tři hodnoty nám již dokáží poskytnout určitou představu, kolik vyděláme. Ovšem stále je to spíše jen orientační popis cesty, jak se dostaneme ke konkrétnímu zisku vycházejícímu v daném systému.

Mnohem důležitější jsou pro mne informace týkající se risk profilu strategie. Pro jeho sledování používám nejvíce tzv. sharpe ratio. Pokud jste se zatím ve světě obchodování příliš nepohybovali, patrně jste o něm vůbec neslyšeli. A je tak dobré, že jste se o něm dozvěděli již nyní. Až s překvapením sleduji, kolik obchodníků, často již riskujících reálné peníze v trzích, nemá o významu této metriky ani potuchy. Často je to proto, že jim přijde příliš vědecký už samotný název (který se moc často nepřekládá do češtiny, byť se občas používá označení sharpeho poměr) a z principu používají metriky, které jim přijdou srozumitelnější, byť nemají příliš vypovídající hodnotu – jako třeba výše uvedená procentuální úspěšnost.

Síla sharpe ratia je v tom, že posuzuje výkonnost strategie v kontextu dosaženého risku. Konkrétně tak, že je ve výpočtu zohledněna historická volatilita strategie. Tedy to, jak hodně kolísal stav účtu strategie v průběhu roku. Představte si strategii A, která dosáhne zhodnocení 30 %, v průběhu roku bude ale účet strategie běžně lítat nahoru a dolu o 50 %. Oproti tomu můžeme posuzovat strategii, která dosáhla stejného zhodnocení, ale s mnohem nižší volatilitou – účet strategie například běžně lítal jen o 15 %. Strategie B bude mít mnohem vyšší sharpe ratio než strategie A. Sharpe ratio tedy do velké míry vypovídá o stabilitě obchodních výsledků strategie, což je jeden z hlavních parametrů, který by nás měl v obchodování zajímat.

Konkrétní výpočet sharpe ratio není důležitý, neboť jej většina programů dělá za nás (byť některé to dělají zvláštně a je dobré se vždy zajímat, jak konkrétně je výpočet prováděn – viz poznámka na konci článku). Pokud se chcete ponořit v pochopení této metriky trochu hlouběji, zde je stručný popis výpočtu. Počítáme-li denní sharpe ratio, použijeme průměrné denní zhodnocení a vydělíme jej standardní odchylkou denních zhodnocení. Hodnotu anualizujeme tak, že výsledek vynásobíme odmocninou z 252 (protože rok má přibližně 252 obchodních dnů). Občas se pracuje s trochu přesnějším výpočtem, který místo dosahovaného absolutního průměrného zhodnocení používá dosažené zhodnocení mínus běžná úroková míra dluhopisů. Sharpe ratio se také často používá na měsíčních datech. Tuto metriku používám zejména při posuzování systémů v portfoliích, kdy mě zajímá nejenom průměrné měsíční zhodnocení systémů, ale také jejich volatilita. A o tom přesně sharpe ratio vypovídá.

Výše uvedený způsob výpočtu jsem uvedl skutečně jen pro ty obchodníky, kteří chtějí metrice lépe porozumět. Z počátku stačí používat samotný výstup metriky. U sharpe ratio platí, že čím vyšší číslo je, tím lepší. Nicméně pokud je číslo až moc vysoké, je velmi pravděpodobné, že naše testy nejsou příliš realistické a jsou přeoptimalizované. Sám mám rád, když se sharpe ratio dlouhodobých výsledků pohybuje přibližně v rozmezí 0,9 a 2,5. Pokud tedy zbacktestuji systém a ten má velmi hezké zhodnocení, ale sharpe ratio 0,3 tak jej obchodovat nebudu. Jednoduše proto, že cesta k dosažení výsledků bude velmi kostrbatá (volatilní).

Samozřejmě existují i další ukazatele, které u statistik obchodů sleduji. Důležitá je hodnota průměrného obchodu. Číslo by mělo být dostatečně vysoké na to, aby schovalo různé chyby a zejména skryté náklady obchodování. Ty se projevují skluzy v plnění. V reálném světě nebudeme obchodovat za ceny, které nám vycházejí v testech. Často například vystoupíme z pozice o trochu hůře než nám ukazuje logika systému na statistických datech. Průměrný obchod musí být dostatečně velký na to, abychom podobné extra náklady na obchod dokázali vstřebat a stále vydělat.

Velmi důležitým parametrem je drawdown. O tom jsem podrobně psal v článku Drawdown v obchodování. Drawdown představuje pokles kapitálu strategie od nejvyššího stavu našeho účtu. V reálném obchodování jsme v nějakém drawdownu prakticky neustále, neboť žádná strategie netvoří neustálé nové přírůstky účtu, ale prochází i sériemi ztrát. Při posuzování drawdownu nás ale vesměs zajímají největší drawdowny. Byť vždy platí, že nejvyšší drawdown strategie je ten, který nás teprve čeká. Ve svých analýzách sleduji pět historicky nejvyšších drawdownů. A to jak z pohledu jejich procentuální hodnoty, tak délky trvání. Drawdown 50 % o délce 260 obchodních dnů například znamená, že obchodní účet dané strategie spadl ze svých maxim v určitém okamžiku na polovinu a trvalo více než rok, než systém začal tvořit nová maxima. Pokud analyzujeme historickou výkonnost systému před jeho nasazením do živého obchodování, tak tato informace také znamená, že po spuštění strategie můžeme přijít o polovinu peněz, strategie bude rok prodělávat a to vše bude v intencích historicky zbacktestovaných pravděpodobností. Drawdown tak představuje velmi důležité vodítko obchodovatelnosti strategie. Sám se snažím obchodovat strategie s očekávaným drawdownem do přibližně 30 %. Zde je dobré připomenout, že historická výkonnost se nikdy nebude zcela přesně opakovat v budoucnu a u všech parametrů musíme počítat s možnými odchylkami. Podrobněji jsem na toto téma psal v článku Nejistota a trading.

Výše uvedené parametry představují ty nejzákladnější, které sám při posuzování obchodních systémů používám. Nejprve se tedy podívám, jestli statistiky dávají smysl z pohledu počtu obchodů, letmo shlédnu také průměrnou velikost obchodu. Dále se zajímám o hodnotu drawdownu a především o stabilitu obchodního systému interpretovanou pomocí sharpe ratio.

Pokud vypadá vše nadějně, zajímám se samozřejmě i o další, podpůrné parametry. Zajímá mě průměrné roční zhodnocení, a to zejména ve vztahu k expozici kapitálu (tedy jak často byl obchodní kapitál umístěn do trhu). Zejména u pozičních systémů zkoumám průměrný počet dnů v pozici. Do živého obchodování se snažím upřednostňovat ty systémy, které držely pozici kratší dobu. V neposlední řadě je vhodné podívat se i na nejvyšší velikosti ztrát a zisků. Není moc dobré, pokud byl některý z pěti nejvyšších drawdownů způsoben jediným obchodem a stejně tak nejsem rád, pokud byla výrazná část ročního profitu vytvořena jediným ziskem.

Výkonnost systémů lze posuzovat s použitím dalších různých metrik. Nicméně pokud začnete s výše uvedeným výčtem, tak budete mít jednoznačně základní potřeby velmi dobře pokryté.

TIP: Pracujete-li s Amibrokerem, tak při vyhodnocování sharpe ratia narazíte na to, že hodnoty jsou u některých systémů nezvykle nízké. Je to z důvodu, že Amibroker počítá sharpe ratio z obchodů a nikoliv stavu účtu (equity). Sám tak v Amibrokeru počítám denní i měsíční sharpe ratio pomocí CBT právě z equity systémů a ve svých analýzách se orientuji pomocí takto získaných hodnot. Pokud jste zapojeni do skupiny "technické asistence", tak v průběhu týdne publikuji do TechLabu video tutoriál, jak konkrétně si podobný kód v Amibrokeru nastavit.