Diskuze k článku: Automatické obchodní systémy: životnost a risk-management (1/3)

[xzajic]

Totiž ... já s tvrzením, že kvalitní AOS musí fungovat na více trzích a více timeframes taky nesouhlasím. To je přece stejné, jako říct, že správný intraday trader musí být schopný podle svých "nakoukaných" patternů zobchodovat cokoliv.

Naopak, AOS které dělám mají vždy konkrétní trhy a konkrétní timeframes, protože na jiných to prostě nefunguje. Ale nepovažuju to za chybu, ale za vlastnost.

[kuzmic]

Heron:

Pekne inspirativne prispevky, aj vo vlakne "suvislosti". Myslim, ze mam podobny pohlad na vec.
Pozeram na tie tvoje body, a v podstate suhlas. Ale mozno by som doplnil (z vlastnej skusenosti), ze v bode 2 treba byt obozretny, t.j. interpretacia vysledkov a pochopene "edge" nemusi byt spravne. Proste clovek lahko podlahne a interpretuje si to nespravne. Tu je potom problem, ze clovek si mysli, ze ma "2" a ma "3". Myslim, ze to asi nebude uplne vzacnost :)

[Olympusko]

Heron,

Tvé úvahy jsou správné. Nicméně na některé věci bych reagoval (redukoval, podpořil, rozvíjel myšlenku dále). Tak se těš na větší příspěvek :)

[Heron]

kuzmic:
Souhlasím s tebou. šlo jen o hrubý nástřel - ukázat nad čím by se taky mělo trochu pouvažovat. Rozhodně můj příspěvek nebyl míněn jako souhrn životní moudrosti a ani jsem nad ním 20 let nepřemýšlel. Prostě jsem napsal co mě zrovna napadlo bez snahy o úplnost, exaktnost atd. Sebedelší příspěvek bude obsahovat jen konečný počet slov a myšlenek a vždycky najdeš něco, co tam nebude a mělo by, nebo to lze pojednat nějak jinak atd. O to myslím tak nějak neběží. To ať si každý vyřeší sám pro sebe jak hluboko a široko se nad tím chce nebo nechce zamýšlet a jak se na to bude dívat. Cokoliv co jsem napsal berte jen jako případnou inspiraci a ne pokus o konečnout teorii všeho a vrchol věškeré moudrosti :)

Olympusko:
Těším se :)

[Heron]

Rob99:
> To vase vlakno jak stavite atomovou ponorku na obezne draze vam necham...

Robe, to vlákno není moje, jen jsem ho založil - a to nikoliv z důvodů, abych stavěl ponorku (mimochodem hezké přirovnání) :) Hlavní důvod byl abych pořád někomu nenabourával jeho vlákno svými dlouhými příspěvky nebo abych pořád nemusel hledat vlákno, kam by se případný příspěvek hodil.

pro všechny:
Berte prosím vlákno "Střípky souvislostí" jako vlákno "Různé" a dávejte tam klidně svoje příspěvky, které buď nikam nezapadají nebo naopak zapadají kamkoliv a nechce se vám kvůli tomu zakládat další vlákno.

[Rob99]

2 Heron:

Jak jsem rekl, na pohudku. Ja sem se mozna vyjadril pred tim nedokonale. Kdyz jeste probereme furt ten samy prispevek o nahodnych datech... Ja souhlasim s tim, ze generovana data a vysledky AOS dopadnou tak jak rikas (coz je zase na druhou stranu pri vsi ucte nad slunce jasne), ale primo v tomto "az clanku" mi chybi to rozuzleni v podobe pridaneho edge (jestli tam je, tak se omlouvam, hned jak to dopisu si to prectu znova) tykajici se psychologie davu. Takze vicemene shoda. A na to jsem navazal dotazem, jestli lze povazovat za AOS v tom smyslu v jakem se o nem vedou reci (vcetne spratelenych vlaken o TA...) a to, ze kdyz vezmu diskrecni system a naprogramuji si ho jako strategii (tech 22 parametru ber s rezervou, je jich tam samozrejme mnohem vic :) ) Neni to moje priorita resit nejaky AOS, jen bych rad vedel jak nazvat to co mam a s cim pracuji :)

To druhe vlakno uz je pro mne extrem, kam se asi nikdy nechci dostat, protoze ad1) rozumim jen malo vecem co tam probirate a tudiz nechapu jejich smysl a tim padem celou filozofii), cimz jsem podle Olympuska odsouzen k zahube :) ad2) zustal jsem u takoveho toho klise... Kup kdyz je cena dole, prodavej kdyz je nahore, kdyz je pohyb u konce vystup a kdyz se to nehybe tak do toho nelez :)

Kdyby ty prispevky nebyli tak strasne dlouhy, tak bych je i cetl vsechny, ale to by musel byt asi na zacatku obsah... ;)

Tak at se dari
Rob

[Olympusko]

Ale především k článku a k autorovi...

Samozřejmě mohu mluvit jenom za sebe a respektuji jak zkušenosti Tomáše, tak i Martina, nepochybně v tom máte dobrý přehled, který je výsledkem především dlouholetých zkušeností. Mnoho věci jsou všeobecně známé a pochopitelné, na jiné mám odlišný názor. Já jsem měl štěstí pracovat s těmi nejmodernějšími automatickými obchodními systémy, když jsem pracoval v týmu na zakázce pro Societe Generale a tyto zkušenosti považuji za nejcennější, které můj pohled, pohled skromného tehdy vědeckého pracovníka posunuli do jiného prostoru. Především do kategorie tvrdých zastánců AOS-obchodování. Bohužel, na úrovni čísel nebudu mluvit, to vnímají tradeři jak jsem pochopil špatně, tak jinak, lidsky:

1. Dobře, statistika úspěšnosti pro AOSy není příliš dobrá. Ale objektivita vyžaduje dívat se též i na statistiku efektivity traderů nevyužívajících AOSy. Všech traderů, talentovaných a ne příliš, nejenom vynikajících, ale i obyčejných. Je podezření, že rozdíly dvou skupin budou statisticky nevýznamnými.

2. Efektivitu AOS technicky je dost jednoduché vyhodnotit na historii. Je možné, že ta hodnocení nebudou přesná, ale minimálně je můžeme získat. Vyhodnotit efektivitu tradingu podle slabě formalizovaných pojmů a intuice je o hodně složitější. Nemůžete přinutit tradera bezplatně provádět stovky a tisícovky obchodů jenom kvůli tomu, abychom mohli vyhodnotit jeho efektivitu. Pokus o formalizaci některých znalostí reálného světa nevyhnutelně vede k určitému zhrubnutí, ztrátě části znalostí. Ale zato dostáváme možnost testovat formalizované znalosti, dostávat objektivní hodnocení. Není to tak jednoznačné.

3. Pokud je AOS dobře promyšlen, má teoretické předpoklady, pak využití WFA umožňuje AOS fungovat mnohem déle, než se předpokládá.

4. Podle standardů nejkvalitnějších AOSů musí již mít zabudovaný risk-management a monitoring efektivity. Z AOSu se stává složitý programový komplex obsahující velké množství různých komponentů, fungující na specializované TP (technologická platforma, pro vybudování vlastních AOSů např. používám KXEN Analytic Framework a placený data-server v nepřetržitém non-stop provozu). Model trhu je pouze jeden z komponentu podobného systému, které může snadno vyměněn specialistou. Právě "spojení" automatického systému a odborníků pozorujících "práci" tohoto systému dávají maximální efekt. Je očividní, že ne všichni disponují příslušnými zdroji a znalostmi pro vybudování podobného systému.

5. Nemyslím si, že se mýlým, když řeknu, že většina vývojářů AOSů jsou asi dobří programátoři, ale dost slabí matematici. Mezi celkovým počtem traderů málokdo ví o důkazech statistických hypotéz, intervalech důvěry, kombinatorice atd. Je potřeba v jedné tváři dobrý programátor, matematik, který si přeje a má možnost pracovat na otázkami tradingu. Je potřeba hodně současných událostí, které jsou sami o sobě vzácné. Není dívu, že dobré AOSy potkáváme zřídka.

6. "Přehodnotit systém každé 3 měsíce a nekompromisně vypnout, pokud v daném kvartálu progresivně nevydělával" - je lepší vyhýbat se fixaci určitých období. Je třeba se dívat, jak se systém choval na období testování a jak se chová teď. Pokud systém dříve nepřipouštěl více než 3-měsíční absenci ziskovosti, pak i teď není třeba panikařit. Zde lze použit pravidlo 2*x, kde x - bude maximální počet řadou jdoucích bezziskových měsíců na historii. Pro automatizaci lze do AOSu naprogramovat automatickou samo-kontrolu a přechod k jiné strategii (ze seznamu strategií určovaných specialisty), snížení rozměrů lotů, nebo již přechodu do pasivního režimu (dokud se situace nezlepší) při výstupu parametrů za "pracovní hranice".

7. Velmi špatně ovlivňuje situaci běh za vysokou ziskovosti. Jakýkoliv rozumný a zdravý člověk bude pochybovat, že lze stabilně dělat 100% ročně, když obyčejná norma ziskovosti v jiných legálních odvětvích a industriích je 5 až 15%. Ale agresivní reklama dokonce i 1000% ročně pořád nachází své oběti. Víra v dosažení podobných výsledků posouvá pozornost od pečlivé práci ke hledání grálu a způsobu "zapůsobit" na publiku (např. využití martingalu).

8. Vždy je třeba si pamatovat na multitest problem. Lidé testují stovky různých strategií na údajích za 1-2 roky na 1-3 nástrojích a pak se diví, proč nejlepší na historii strategie v reálu nefunguje.

9. Trochu filosofie. Lidský intelekt je samozřejmě to nejintelektuálněšjší co je :) Ale dodatečné nástroje nikomu neuškodí. Nikdo nenutí počítat "v hlavě" diferenciální rovnice :) nebo koukat na mikroby v podrobnostech obyčejně okem. Chci říct, že člověk umí vytvářet nástroje, které mohou dělat NĚKTERÉ ÚLOHY lépe, než jejich tvůrce. Ale definice úlohy je prerogativa člověka, aspoň dokud nebude vytvořen skutečný AI. Lidský intelekt je univerzální a může řešit jakékoliv úlohy reálného světa včetně pomocí nástrojů, které on vytvořil. Trh je samozřejmě komplikovaný (ale možná, že i jednoduchý), ale svět je vcelku složitější. Proto je ospravedlitelné pro speciální cíle používat speciální nástroje. A samozřejmě člověk vždy může vyměnit používaný nástroj.

Závěrem, problém není v AOSech, ale v jejich vývojářích.

S pozdravem,
Zbygnev

[Olympusko]

Heron,

"...Řekněme, že bych ti dal časovou řadu..."

Opakuješ myšlenku, kterou jsem popsal v článku "Proč nefungují populární metody TA?" s tím rozdílem, že já jsem jí popsal čísly. Pro hledající grál je užitečné se potrenovat pro začátek na náhodných datech. To je jedná z cest k pochopení skutečného stavu věci a komplikovanosti úlohy.

"...A teď druhá varianta...Klíčová otázka: Jak poznáš, jestli tyhle nové patterny a pravidla nevychází také pouze z náhodných statistických fluktuací a že skutečně využívají část informace, obsažené v backtestovací množině?..."

To je spor emperiky s teorii. Nikdy nebývá čistá emperika a čistá teorie. Co víme o trhu? Velmi podrobně fungující model trhu není a není na horizontu. To je problém řady sociálních jevů. Ale i pokud bys takový model měl, vždy bys měl odchylku změření proměnných modelů, řada proměnných není vůbec známá. Nabídka-poptávka, spekulativní hry, prognózovatelnost chování významné skupiny lidí. To je asi to nejzákladnější co víme. Klíčová je tady možnost prognózování (dokud není důkaz opaku, tak považujeme, že prognózovat lze). Proč pak nevyužit industriálních metod statistického opracování dat. Vždyť statistika je také teorie a byla úspěšně použitá k vyřešení řady nejrůznějších úloh.

Otázka 100 garanci úspěšnosti není korektní, protože v reálném světě tyto garance nejsou. Podobné garance existují pouze ve světě abstraktních matematických objektů. Ale je korektní ptát se, co byste mohli udělat pro boj s falešným nalezením závislostí? WFA, cross-testing, intervaly důvěry, Monte Carlo modelování, VC-dimenesion estimation na řadu. Pokud kroky jsou skutečně podnikány a statistické metody se používají korektně pak lze tvrdit, že vaše šance na úspěch jsou lepší. Tvrdí se jenom a pouze nerovnost.

[Heron]

Olympusko: > Ale je korektní ptát se, co byste mohli udělat pro boj s falešným nalezením závislostí? Já se domnívám že ano, a že nalezení odpovědi změní tvůj pohled na svět (nejen) tradingu. Jak už jsem několikrát zmínil, tak rozumím tvému úhlu pohledu a přístupu, protože jsem měl dříve velmi podobný. Nemám nic proti použití různých statistických metod, ale to že šplháme po žebříku rychle nahoru ještě neznamená, že jsme ho opřeli o správnou zeď. Mám takový velmi vtíravý dojem, že všechno tohle souvisí s tím, jak vnímáme kauzalitu a jak jí rozumíme. V příloze přikládám jeden článek na toto téma. Je sice o ekonomii a je bez statistických vzorců, ale jsem přesvědčen, že ti nebude dělat problém pochopit pointu a jak se to vztahuje k tradingu a přístupu k tvorbě OS. Mířím k něčemu takovému, co George Soros chtěl říci svou teorií reflexivity. Osobně jsem to od Sorose nepobral, protože jeho styl výkladu byl pro mě zmatený (nebo jsem se tenkrát moc nesoustředil). Věnoval tomu kousek v knize Soros o Sorosovi a mnohem více v knize Nové paradigma pro finanční trhy. Za nějaký čas jsem narazil na totéž (nebo něco velmi podobného), ale vysvětlené někým jiným z jiného úhlu pohledu a na 2 stránkách A4 (plus několik stránek omáčky). To mě posunulo vpřed mnohem více, než cokoliv jiného a od té doby na to jdu jinak a s mnohem lepšími výsledky. Ohledně přínosu statistiky se shodujeme - používat ano, ale korektně a především na správném místě. Jen se trochu neshodujeme na tom co je správné místo, ale to je OK. Totéž platí i o tom ostatním - metody atd. Asi vnímáme kauzalitu každý trochu jinak nebo jsou jiné naše znalosti kauzality na trzích. Nebo je to všechno nesmysl, ale to nevadí, hlavně když mi to sype prachy :)

[Olympusko]

S problematikou kauzalit jsem seznámen, nic šokujícího na tom není. Myslím, že jsme v diskuzi trochu ztratili definici úlohy - řeč šla o tvorbě dlouhodobě profitabilních AOSů. Přístup je věc užitečná, ale automatika vyžaduje mnohem více technické aplikované discipliny a metodologie. V tomto ohledu přístup může pomoci k vybudování OS diskrečního nebo k rozšíření (změně) pohledu na celkový model trhu. Ale k vybudování plně automatických OSů ne příliš.

[Honza K.]

Zbygnev alias Olympusko - jeden z nejlepších příspěvků, co jsem tu na finančníkovi vůbec četl (23.11.). moje zkušenosti s budováním AOS jsou prakticky totožné a všem bych rozhodně doporučil nepodceňovat, co zde bylo napsáno. Přidám snad jenom pár dodatků, které budou víceméně souhlasit s tím, co už tu je napsané. 1. Životnost AOS systému se odvíjí podle mého názoru zejm. podle jeho robustnosti a stylu, jak je definován model trhu. Pokud např. dejme tomu definujete hodnoty stop loss, profit target atd. jako "fixed", tj v počtu pips, ticků, bodů, je váš AOS výrazně náchylný na změny a tudíž bude mít výrazně kratší životnost než systém, který je už od počátku psán jako "market based" model. S tím také úzce souvisí i použitý position sizing (kruci to je samé anglické slovo, já už úplně zapomněl české výrazivo :S ). Výrazně lepších výsledků dosahuji se složitějšími modely risk a money managementu a naprosto souhlasím s bodem 4. příspěvku Zbygneva. 2. K bodu 6 - ano naprostý souhlas, je podle mne blbost fixovat hodnocení efektivity na nějaké konkrétní období nebo počet obchodů. Osobně pro hodnocení jednotlivých AOS používám statistické metody (nesnáším to ale nezbývá nic jiného, pokud chci vidět pravdu), dřív jsem se snažil o co největší počet ziskových obchodů, honil se za co nejvyšším profit factoru, ale to je cesta do pekel, nyní chci vidět především, jak vypadá distribuce statisticky významného vzorku obchodů, zda se tento vzorek nevychyluje z definovaných "hranic" na základě backtestů. Podle mých zkušeností většina strategií, které považuji už za dobré a obchodovatelné, se po cca 1000 out of sample nebo reálných obchodech dostane na PF kolem 1.3 nebo se mu začne blížit, přestože na backtestu mohou ukázat výrazně lepší výsledky s PF nad 2 - 3. Pokud i distribuce obchodů zůstává v reálu v intencích daných předchozími ne-reálnými výsledky (nejsou výrazné vyšší drawdowny apod.), je to známka toho, že jsme na správné cestě. Ty opravdu dobré strategie si umí poradit i s vyššími timeframes (delšími grafy) a také méně korelovanými trhy. A ještě pár obrázků na dokreslení - distribuce obchodů a equity curve jedné z mých strategií, používající market based vstupy/výstupy a jistou variantu fixed risk position sizingu. Třetí graf pak ukazuje performance této strategie při přechodu z 5 min timeframe na 15 min.

[Jogo]

Honza K: Mam podobne equity krivky obchodneho systemu(co sa tyka drawndownu a celkoveho zisku) a kupodivu aj PF je u mna 1.29, co sa blizi k tebou udavanej hranici 1.30. Zatial mu velmi neverim,lebo realne ho obchodujem kratko,ale hadam som na dobrej ceste...
-Ako dlho uz dany system realne obchodujes?
-Je to aj "diskrecne" obchodovanie alebo "len" system?
-Ten graf je za obdobie od 25.1.2001 do 22.11.2010?

[Honza K.]

Jogo tohle je pouze jeden systém z 4 - 6, které jsou součástí AOS balíku, který se obchoduje. Naživo se tento konkrétní obchoduje od obchodu 1710 na 5 minutovém timeframe (vpravo nahoře) s variabilním počtem kontraktů (počet na každý obchod se mění a je určen systémem, který má na starosti pouze position sizing pro každou instanci AOS, která běží). Vývoj AOS byl vcelku typický si myslím, začal jsem ideou, otestoval a naladil na menším vzorku dat cca 300 obchodů, PF paráda nad 3, DD malé prostě idylka. Po zkušenostech si nicméně říkám, hmm to by snad mohlo být profitabilní a jak to tak bývá, bylo s tím ještě hodně práce ;) Ten 15 min graf jsem dal jako příklad pro ty, co tvrdí, že strategie napsaná na konkrétní graf nebude fungovat na jiných. Zkusil jsem to pustit ještě např. na plyn, aby to bylo totálně mimo akciové indexy a upravil základní nutné parametry pro přechod na jiný symbol, výsledky jsou tyto (úprava pouze na cca polovinu celého časového úseku, abych viděl i out of sample periodu): Ještě k dalším otázkám - toto je čistě technické obchodování, manuální zásahy nejsou povoleny za účelem ovlivnění vstupů/vástupů, pouze v případě nouze. A ano, dolní graf jsou výsledky 2001-2010, horní graf je od roku 2006.

[BobSk]

Honza K - klobuk dole.
Aky pripustny/normalny DD ten AOS vykazuje?
Podla mierky equity znacny, ci zle vidim/chapem?

[BobSk]

Honza K. Napsal:
-------------------------------------------------------
> který je už
> od počátku psán jako "market based" model.

Čo je to "market based" model?