Diskuze k článku: Backtest: ano, či ne?

[paulus]

Zdravím,
backtest a určité statistické povědomí o tom jak se trh běžně i vyjímečně chová, mi pomáhá zachovat klid, není pak problém vystoupit dle plánu a nelitovat ikdyž trh dále jede:) apod.

Hodně zdaru všem!

[echeck]

Všechny systémy co jsem kdy backtestoval (nebylo jich mnoho), tak vždy byly profitabilní. Ale když jsem je začal obchodovat, tak jsem profitabilní nebyl nebo jen krátkodobě. Určitě mi backtesty pomohly a myslím, že moc. Ať už v poznání toho jak velký SL má smysl, jak velký PT má smysl, tak nějak se v trzích orientovat. Backtesty my pomohly posouvat se dál v tradingu, ale ne v tom, zda-li budu profitabilní či nikoliv. Je to dobrý základ pro začátečníka se odpíchnout. Ale nečekat že čím víc budu backtestovat tím víc poté budu vydělávat, jak tady už několikrát padlo. Takže já jsem pro backtestování, ale zbytečně to nepřeceňovat.

Zdravím ;)

[LUKY]

Dle mého názoru backtest smysl a cenu má. Jde o to najít a otestovat svoji edge,posílit důvěru v to co dělám.To, že nemohu 100% porovnávat backtest a live je prostě realita. Vše nám bude komplikovat psychika. To je ale přece problém trader a ne backtestu.Takže smysl to má a bez backtesu mi to příjde jako šlapání vody.Pokud vidím, že back test funguje, musím systému, strategii věřit. Stejně ale systém znehodnotím o x %. Pak mi příjde vše ok.

[krakra]

[bold]Kde je teda největší problém ? [/bold]
Když všem vychází backtest, funguje papertrading, ale live to jde od 10-ti k 5-ti, tak řešení nebude další backtest ani další papertrade. Ale [bold]psycholog ! [/bold] - ani vyhledejte odbornou pomoc, jděte k psychologovi.

[shany]

krakra,

aj to je možnosť. Poznám ľudí, ktorí s tým nemajú problém a skúsia aj pomoc psychológa. Ale sme na Slovensku (Česku), tu sa takmer nikto pre tento krok neodhodlá. Našinec by si pripadal ako blázon, keby mal riešiť psychologické problémy, alebo skôr bariéry u lekára. A pritom väčšina z nás má nejaký blok, ktorý nás brzdí.

Takže keď to nejde po vlastných, treba skúsiť pomoc iných. Ako povedal Bill Cosby: "Rozhodnite sa, že to chcete viac, ako sa toho bojíte." To je prvý krok.

Dovolím si však povedať, že 99% ľudí začína s mylnými predstavami a očakávaniami ohľadom tradingu a 95% z nich tieto predstavy a očakávania nikdy nezmení, ani po osobných a trpkých skúsenostiach. Potom je zbytočné očakávať úspech. Ale v čom je to odlišné od iných oblastí života...?

[patas]

shany:

Tyhle výkřiky z knih o "sebevzdělávání" nemají vůbec žádnou váhu. Jsou to bláboly lidí, co chtějí budit dojem nadprůměrné vzdělanosti!
Pokud někdo nemá na trading nervy, tak to nikdy nepřekoná! Jako se nestane lékařem někdo, kdo při pohledu na krev omdlívá. Maximálně může potlačit ješitnost a připustit si, že nato nemá.

[PetrPavel]

patas,
netuším co seš zač ty, ale zmíněného Crosbyho jsem si našel:

William Henry „Bill“ Cosby, Jr. (* 12. července 1937, Filadelfie) je americký herec, komik, spisovatel, televizní producent, hudebník a aktivista. Za své herecké a hudební počiny mu byla udělena řada ocenění, včetně ceny Emmy, Zlatého glóbu, Grammy Award a prezidentské medaile svobody. Rovněž tak je nositelem mnoha čestných doktorátů.


Zde má občas někdo docela problém s citáty významných lidí. Tak se prostě staňte sami významnými a budou vás citovat druzí. Mě není zatěžko si poslechnout větu od lidí co něco dosáhli, ovšem obchodovat musím samozřejmě sám za sebe.

Dobré obchody,
P.

[Honza K.]

Možná by stálo za to autorům článku udělat ještě druhý díl, pojmenoval bych ho "Jak na správný backtest". Nebylo to totiž zmíněno, ale na stole neleží pouze otázka zda backtest ano či ne, v tomto směru se domnívám, že rozhodně ano, jestliže máte nějaký nápad, je zkrátka užitečné a dobré si ověřit, nakolik by fungoval na trhu, který sice už proběhl a který se dost pravděpodobně změní, ale je to to nejlepší, čeho se dá chytit.
Druhá věc je ta, že podle mého upřímného přesvědčení je cca 90% backtestů těch, kteří si nejsou vědomi všech záludností, naprosto bez užitku a mají pouze malou vypovídací hodnotu. Nemluvím teď o testování ve stylu "projdu si grafy růčo a tak nějak si zhodnotím situace a pak budu v reálu stejnak hodnotit individuálně danou situaci", v tomto případě bude asi opravdu zásadním předpokladem dobrá psychická odolnost a jiné než "exaktní", "statistické" veličiny.
Pokud budujeme AOS, tak už stojíme na půdě, kde vyhodnocení výsledků backtestu je exaktní nebo alespoň exaktnější věc. Mnohokrát se pak stává, že backtest vs. reál se totálně rozcházejí, že trader backtest zavrhne jako kravinu a bude tvrdit, že to nefunguje. Jenomže chyba bývá jinde, tedy mezi monitorem a židlí.
Mezi hlavní příčiny bych označil zejm.:

1. Malý vzorek dat a dělání špatných závěrů na jejich základě. Viděl jsem už hodně reportů, kde bylo cca 50 - 100 obchodů, krásné výsledky, trader nadšený, že veme drawdown, zvětší ho o 50% pro sichr, nastaví počty kontraktů a hurá do vyluxování účtu. Typická chyba, která se brzo ukáže.

2. Špatná data. Řada dat, především ze zdrojů "zadarmo", webu apod. je zkreslená, upravovaná, adjustovaná atd.
Problém, který může napáchat opravdu hodně škod a dá se vyřešit pouze opravdu masívním vzorkem obchodů, aby se minimalizovaly případy, kdy jde o tzv. outliers, např. nějaký hodně dobrý obchod jenom díky gapu, díře v datech ovlivňující celkové výsledky.

3. Omezení platforem pro práci s daty nebo nesprávné nastavení testu. Typický příklad jsou minutové svíčky a použití trailing stopů, limit příkazů (např. limit PT). Platforma se musí nějak vypořídat s faktem, že vůbec neví, jaký byl skutečný vývoj v rámci baru a tak obvykle předpokládá jednoduchou cestu - z Open na high, pak low a pak na close baru. Tudíž výsledky jsou zkreslené a někdy i naprosto zásadně.

4. Skryté chyby v kódu. Kolikrát jsem už mlátil hlavou do zdi, proč se mi ta blbá chyba neukázala při SIM obchodování, ale až v reálném obchodování... Asi nejsem sám, komu se tohle stalo, že? :)

5. Optimalizace a curve fitting. Tak tohle je na celou samostatnou knihu, je opravdu mraky zrad a slepých uliček, které na vás číhají jakmile uděláte sebemenší úpravu kódu, jenom abyste se vyvarovali nějaké konkrétní situaci nebo spustíte optimalizaci na velikost range, profit targetu, stopu, délku nějaké MA atd. atd. Je hodně lidí, kteří si myslí, že když si vyladí equity křivku do krásné rovné čáry, která vede až na půdu, tak tomu pak budou i odpovídat reálné výsledky. A pak si spokojeně řeknou "kéž by reálné výsledky byly aspoň z poloviny takové jako vidím tady". Chyba lávky vážení. I kdyby tomu bylo opravdu tak, což je vzácnost, tak to ale znamená, že je někde chyba! Výsledky zkrátka mají odpovídat distribuci dosavadních výsledků, jakmile je to jinak, strategie má problém.
Často se také stává, že i walk forward analýza je zkrátka příliš ovlivněná samotným kódem, takže její výsledky mohou být do značné míry zavádějící. Nalezení problémů a zjištění kde je chyba bývá často velmi bolestivý a drahý proces...

Je toho více, ale teď mě nic nenapadá, musím se soustředit na obchodování, tak zdar a "pijte beer, posílíte mír" :)

[shany]

patas,

nemám potrebu sa s Vami hádať na danú tému - verte, čomu len chcete. Ale z toho, ako ste napísali príspevok, sa zdá, že s tradingom nie ste tam, kde by ste chceli byť. V takom prípade Vám asi neostáva nič iné, len potlačit ješitnost a pripustiť si, že nato nemáte.

[Luciferius]

Zdravím,

rád bych se zeptal na praktický začátečnický dotaz.

Vyvíjím si poziční systém na komodity (vycházím z fundamentu v COT a poté filtruji přes asi 5 technických indikátorů) a nejsem si jistý, jak ho správně zdarma backtestovat.

Napadají mě 3 varianty:
1. TrackNTrade nebo Ninjatrader (je ve free verzi možno tahat historická EOD data a podle nich si nechat automaticky počítat Return pozic déle jak jeden den?)
2. Interactive Brokers TWS demo (je toto v demu možno? chci u tohoto brokera obchodovat, tak bych si zvykal na platformu)
3. Ruční backtesting pomocí Barchart.com Portfolio funkce a Excelu (takto dělám momentálně live papertrading)

Varianta 3 mi osobně přijde na backtesting nepraktická a moc zdlouhavá, pořád vše ručně přepisovat do Excelu. Ideálně bych uvítal software, ve kterém si můžu procházet historická data a otevírat pozice s tím, že se mi finální Return až po stoploss/profittarget dopočítá automaticky).

Budu moc rád za jakékoli tipy, rady a zpětnou vazbu.

[DaveF]

Zdravim vsetkych,

Presne podobne problemy mam ja - ako keby tento clanok bol presne o mne. Som zaciatocnik ktory sa venuje tradingu uz 1 rok, kazdy den, vsetok svoj volny cas ktoreho mam dost aj ked chodim do roboty (do ktorej chodim len preto, aby som ziskal kapital na trading). Niekedy sedim za pocitacom 10 hodin denne, niekedy 5 - 6. A stale len backtest. Nenazval by som to symptomom svateho gralu, nazval by som to symptomom ,,tabulkovej utopie a dokonalosti". Vyplnil som asi tak 20 tisic riadkov v exceli, vsetko rucne. Najprv som testoval FinWin - 3 rozne varianty (co sa vstupnych pravidiel tyka) a na kazdej z tejto variant som otestoval cca. 8 roznych variant vystupov pre cely rok 2011 TF (TFH1 - Z1 + este marec 2012), dalej to boli TDM a TDW analyzy a jemne rozdelenie patternov OT, TNG (nie neabsolvoval som ziadny zivy kurz, na zaklade pozorovania som si tieto patterny nejako odvodil sam) a testoval som rozne vystupy a MM pre rozne patterny typu 2v, 0v a pridal som jeden svoj vlastny pattern ktory som nazval 0/100 Famir (ktory je mimochodom najsilnejsi z celeho ,,mojho,, finwinu) atd atd atd....... Vsetko som kombinoval jedno cez druhe az som nakoniec po tisicoch hodinach sledovania grafov zistil, ZE SOM NIKTO A NEVIEM ABSOLUTNE NIC, a moja verzia finwinu bola taka komplikovana, ze pre mna ako pre zaciatocnika by bola v reale neobchodovatelna.

Preto som si postavil vlastny system - nazval som ho Swingovy obchodny system a jedna sa o maximalne jednoduchy PA system bez indikatorov, ktory momentalne testujem a v blizkej dobe ho na financnikovy zverejnim. Ano uz aj pri tomto systeme som mal nutkanie testovat, testovat, testovat - moje tabulky su vseliako prespekulovane, funkcia cez funkciu, same if, countif, sumif, ale uz som si povedal: KONIEC.
Preto som si dal target do konca augusta dokoncit backtest a zaciatkom septembra sa pustit do paperu, ci uz to stihnem stestovat alebo nie - JE CAS POHNUT SA DALEJ

[shany]

DaveF,

možno že práve to je symptóm svätého grálu a ani si to neuvedomujete. Vaša situácia je mi veľmi známa, pretože som na tom bol presne tak isto. Plno tabuliek, krásne graficky spracovaných, testy od výmyslu sveta, všetko filtrované a pod. a po mnohých mesiacoch tejto práce som si uvedomil, že to bolo hľadanie dokonalosti v trhu. Bolo ťažké si to priznať, keďže od prvej chvíle, čo sa tradingu venujem, som vedome vedel, že nič také neexistuje, ale hlava to ešte nechcela prijať. Keď dnes testujem nejakú myšlienku, tak zapisujem všetko ručne na papier a na konci to všetko hodím do excelu, ktorý mi veci vyhodnotí. Je to jednoduché, zaberie to menej času a hlavne mi ostáva čas na veci, ktoré ma niekam posunú. Pekné tabuľky vo mne iba vyvolávali pocit, že sa naplno venujem biznisu, aj keď v skutočnosti to tak nebolo...

[geniepage]

To Honza K. :
Nasel jsem Vas paradni prispevek. Ted jsem prave ve fazi kde jsem prisel na tezkou nekonzistenci mezi hledanim edge v grafu, backtestem a overenim a relaite pomoci Market Replay. A musim rici, ze zde mi nepomaha zatim zadna znalost programovani a jedine co vidim jako schudne je se tim prokousat a ziskat cit na to co je moc optimalni a co ne. Rozhodne equity hladka jak zadecek decka to neni. To vede do pekel a udelat takovou equity je prace na par minut.
Vidim, ze s timhle bodem se prokousava hodne lidi. Tak jdu kousat dal. Hold jako bulldog to nechci vzdat :-)
Jen doufam, ze chyba neni i v Ninja traderu :-) Ovsem uz par peknych chyb jsem mu nasel i v posledni verzi.

[gizmo]

> geniepage

Na to je podle me docela jednoducha odpoved - pouzit co nejlepsi rozliseni historickych dat vzhledem k vlastnostem systemu, ktery testuji. Pokud mam system, ktery je vetsinou v obchode 10 - 30 minut, 3-minutovy TF by mel byt dostatecny. Pokud ale chodim pro mensi targety a v obchode jsem v radu minut, 3-/5-minutovy TF uz je nevyhovujici, protoze muze dochazet ke zkresleni, o kterem jsi psal (v jinem vlakne). Pokud mas pristup k tickovym historickym datum, tak je to samozrejme idealni situace.

[afreb]

To Honza K.

"2. Špatná data. Řada dat, především ze zdrojů "zadarmo", webu apod. je zkreslená, upravovaná, adjustovaná atd.
Problém, který může napáchat opravdu hodně škod a dá se vyřešit pouze opravdu masívním vzorkem obchodů, aby se minimalizovaly případy, kdy jde o tzv. outliers, např. nějaký hodně dobrý obchod jenom díky gapu, díře v datech ovlivňující celkové výsledky. "

Dobrý den, považuji se za nováčka, chtěl bych se proto zeptat, jak moc adjustovaná data mohou ovlivnit testování automatické strategie, respektive jaká politika by měla být zvolena při testování AOS? Měla bych testovat s merge non-backadjusted data? Děkuji za odpověď