Predikce časových řad

[sals3r0]

Vliv periody pretrenovani vyplyne z testu. To je take jeden z duvodu, proc jsem prepisoval cely framework - s tim predchozim bylo velmi obtizne tyto veci zkoumat (protoze vstupni CSV soubory jsem musel generovat manualne). To v novem odpada, protoze potrebna data si nacte sam pres Dukascopy branu a technicke indikatory si take sam generuje.

[flakac]

Podívejte se jak predikují profici...
www.kaggle.com/view-postlist/forum-4-informs-data-mining-2010/topic-190-methodstechniques-used-by-the-top-three-competitors/task_id-2439
(Dole jsou odkazy tři vítězné prezentace...)
Jinak pokud se zajímáte o SVM či SVR jak tady čtu, tak menší sajtík s nějakým tím oddechovým čtivěm je na cscs.umich.edu/~crshalizi/notebooks/kernel-classifiers-for-time-series.html
No a pro více zvídavé: www.cscs.umich.edu/~crshalizi/notebooks/

[sals3r0]

Pekny clanek o svickach:

intelligenttradingtech.blogspot.com/2010/06/quantitative-candlestick-pattern.html

[flakac]

Jo, ten článek jsem před nějakou dobou taky viděl. Myšlenka je to dobrá, nicméně já když jsem si hrál s HMM tak jsem moc velký úspěch neslavil. Pravděpodobnosti v přechodových maticích byly blízké náhodě. Ten první grafík, jak se mu to tak krásně rozklastrovalo je fakt impozantní. Škoda že k tomu nepřibalil zdrojáky...
Taky mám pro vás jedno zajímavé čtivo:
cscs.umich.edu/~crshalizi/notebooks/non-stationary-forecasting.html
Přece jen.., časové řady s kterými pracujeme nestacionární jsou.., takže ono čtivo na dobrou noc na které zde upozorňuji zase tak od věci není, že....

[Marigold]

Promin, asi jsem natvrdly, ale muzes mi rict, kde jsou ty prezentace z INFORMS? Nikde jsem je tam nenasel (ani registrovani nepomohlo). Diky moc.

[mmorster]

Pekne blogy o data miningu, machine learningu v souvislosti s tradingem:
intelligenttradingtech.blogspot.com/
- tohle tu jiz bylo zmineno v souvislosti se svickami, nicmene doporucuji procist vsechny prispevky v tomto blogu.

tr8dr.wordpress.com/
www.adaptivetradingsystems.com/blog/

mmorster

[Marigold]

Temna strana tradingu (prevzato od Max Dama):
hlt.posterous.com/prologue
pathdependent.com/articles/i-may-be-a-complete-failure

V tom druhem vidim desivou podobnost se sebou samym...

[Marigold]

Ha, hned jak jsem tu napsal tak to umrelo. Zkusim to zabit jeste vic...

Zajimal se nekdo z vas o "online portfolio selection"? Papery o tomto tematu se sice objevuji uz dost dlouho a zadnou velkou pozornost zatim nepritahuji, ale jednou za cas se objevi nejaky, ktery si urcite stoji za to precist...

Je to fakt zajimave cteni, tak kdyby nekdo chtel, tady je strucny prurez tech co me zaujaly:
www.stanford.edu/~cover/papers/paper93.pdf
... timhle to zacalo, prakticky nejsou UP k nicemu, ale je to teoreticky skvost
www.cs.technion.ac.il/~rani/el-yaniv-papers/BorodinEG03.pdf
... ANTICOR algoritmus, da se vygooglovat spoustu paperu kolem toho. Jejich vysledky jsou trochu nadhodnocene.
gauss.upf.es/papers/NNSD.pdf
portal.acm.org/citation.cfm?id=1961193
... vylepseny algoritmus z minuleho paperu, testujou i na soucasnych datech a vychazi jim to dost slusne (muzu poslat kdyz mi napisete)
jmlr.csail.mit.edu/proceedings/papers/v15/li11a/li11a.pdf
... heuristika inspirovana machine learningem, je sice velmi pekna, ale bez modifikaci prakticky nepouzitelna (jejich publikovane vysledky jsou uplne mimo misu)

Sam jsem si naprogramoval vetsinu z tech algoritmu a na nekterych datech to vychazi fakt neuveritelne. Bohuzel na jinych datech to uz takova slava neni a poplatky sezerou vetsinu zisku, ale myslim, ze to ma slusny potencial.

[sals3r0]

Diky za odkazy...ja sem ted moc nestiham psat, aktualne se zabyvam pripravou podkladu pro parove obchodovani akcii (zahrnuju do sveho frameworku podporu pro vyber akciovych paru, backtester, etc...)
Az budu mit tohle hotove, vratim se zase k FOREXu a SVM, potrebuju implementovat online learning a dokoncit podporu WMV (weighted majority voting). Zjistil jsem, ze single SVM expert (ani v kombinaci se SOM jako preprocessoru) se statickym nastavenim a trenovanim bohuzel neni pro predikci forex rad dostatecne robustni nastroj.

[sals3r0]

Velmi zajimava aplikace online SVR + WMV algoritmu na statistickou arbitraz akcioveho indexu:

onlinesvr.altervista.org/Research/Data%20mining%20for%20algorithmic%20asset%20management%20(Montana%20G.,%20Parrella%20F.)%20%5B2008%5D.pdf

[Marigold]

Ja jsem na tom s FOREXem a SVM podobne. Z mych zkusenosti jsem ziskal nazor, ze pouze s cenou jako inputem to bude hodne, hodne tezke... Takze pokud se k tomu nekdy vratim, tak zkusim predikovat z fundamentu a ekonomickych indikatoru. (Uprimne se mi zda, ze jediny clovek, komu se to povedlo, je mikkom z forexfactory... a stejne bud keca nebo tam ma bug:)).

Ten paper je fakt vyborny, takhle by se melo pouzivat SVM. Dost me prekvapilo, jak jim zlepsilo vysledky WMV. Kdyby jsi k tomu mel nejake postrehy, velmi rad si je poslechnu!
Pokud ten paper budes programovat nebo si napises autorum o zdrojak, urcite sem napis jak si dopadl. Meli to testovane jen do 2007, tak by me zajimalo, jak to drzi v krizi od 2008.
(pozn. kdo by to chtel delat, tu je zdrojak k online SVR www2.imperial.ac.uk/~gmontana/onlinesvr.htm)

Jeste k tomu parovemu obchodovani jak jsi zminil... Jednoduche modely (najit kointegrovane pary -> obchod pri vychyleni od prumeru -> zavrit pri navratu k prumeru) mi nefungovaly. Musis vymyslet bud chytrejsi algoritmus nebo vybirat pary, ktere maji alespon trochu stejny zaklad (stejny sektor, produkt, ...).

[sals3r0]

Co se tyka modelu SOM+SVM na forexu, mam obecne problemy se stabilitou reseni na out-of-sample mnozine. Na validacni mnozine (ktera jse out-of-sample pro SVM, ale in-sample pro GA), mam vysledky dobre, i pro nekolik takovych to mnozin v pripade walk-forward, jsem schopen najit dostatecne dobre nastaveni SVR ktere ho predikuje. Bohuzel, na nasledujich datech to obecne neplati. Nekdy je vykon predikce velmi dobry i na takovych datech, nekdy je spatny. Zatim se mi nepodarilo objevit klic k tomuto problemu (jak poznat, kdy bude dobry a kdy spatny, aspon s odhadem).
Kdyz vezmu tu out-of-sample mnozinu treba jako dalsi in-sample mnozinu, opet se mi podari najit nastaveni SVR, ktereho predikuje, ktere se urcitym zpusobem lisi od toho predchoziho.
Zrejme plati, ze jde o jeden ze dvou scenaru:
1) tzv. concept drift - to znamena, ze nastaveni SVR (tim myslim C, gamma, epsilon a vstupni mnozinu dat) neni dostatecne dlouho optimalni...
2) ne vsechny "market states" na forex trzich jdou modelovat dostatecne dlouho a konzistentne
Pripadne muze jit i kombinaci obou tezi, coz je asi nejpravdepodobnejsi.

Mam uz implementovane WMV uvedene v paperu nahore pro muj out-of-sample test (GA mi poskytne mnoho ruznych reseni, takze vezmu treba 50 z nich a implementuju WMV jen na predikci) a muzu rict, ze vysledky v out-of-sample se mirne zlepsily. Je jasne videt, jak se optimalni reseni propadaji (snizuje se jim vaha), aby se zase za par tydnu probublaly zpatky:)

Na potvrzeni 1) musim implementovat online learning (bud pouziju onlineSVR nebo prejdu na klasifikaci a pouziju LASVM), navic system bude o dost pomalejsi, protoze se pro kazdy bar musi implementovat minimalne stovky volani SVM s ruznymi nastavenimi. Mam to v planu, ale rozhodl jsem se, ze ted chci spis rozbehnout parove obchodovani akcii, ktere neni az tak experimentalnim projektem.

Takze pokud by mi online learning+WMV znatelne zlepsil performance, dalo by se to pouzit - strategie by byla adaptivni a robustni, nemodelovatelne useky by se pak daly prezit s defenzivnim position sizingem....

Ad mikkom - ten urcite SVM nepouziva, zabyva se ciste genetickym programovanim. Na to se chci taky casem podivat, ale je to uz dost casove narocne...jinak byl jsem s nim v kontaktu ohledne aplikace SVM a doporucuje mi prijit na to, jak poznat ve kterem "market state" se trh nachazi a najit system jak odhadnout, ze v nasledujici periode bude trh modelovatelny, nebo ne. Coz je ovsem otazka za milion (=predikce uspesnosti predikce?).
Ma ale pomerne dobrou poznamku - trh se obecne nechova tak, ze jde nejakym smerem protoze N baru pred aktualnim se chovalo nejak - muze, ale nemusi. Casto se chova nejak, protoze aktualni cena protnula nejaky support/rezistenci, coz SVM neodhali, protoze pracuje jako rozpoznavac vzoru (k projeti nejake urovne samozrejme dochazi v pulce baru, zvlast na vetsich timeframech). Proto mikkom pouziva GP na minutovem timeframu.

Co se tyka paroveho obchodovani - chci se vydat podobnou cestou, jakou doporucuji autori SW Neuroshell:
traders.com/Reprints/PDF_reprints/WS_NEURAL.PDF

To znamena, najit pary ktere k sobe maji co nejlinearnejsi vztah a postavit strategii na odchylkach od predikce. To znamena, neomezovat se na pary s dobrou korelaci, proste vezmu N akcii (napriklad z jednoho sektoru), k nim najdu pro kazdou akcii najdu jinou akcii ktera ma k ni "linearne nejbliz" = minimalizace MSE trivialni linearni predikce jedne akcie druhou akcii.
Vznikle pary se projedou backtesterem ktery zaroven optimalizuje parametry strategie (prahy pro vstup a vystup). Pro vysledky navic test na out-of-sample period. Tim je screening hotov, pak na to kouknu a rucne to proberu...
Zni to slozite, ale za 3 odpoledne uz mam vetsinu naprogramovanou :) Ted dodelat omacku kolem a hlavne to musim drsne zoptimalizovat, pac to neni zrovna rychly...pak tenhle screening pustim na par CPU naraz a uvidim co z toho vyleze..

[flakac]

Zdar sals3r0
Nějaká SVM nebo SVR metoda, nejlépe online learning by se mi hodila, nicméně to neumím naprogramovat bohužel. O něčem vhodném co by bylo v Matlabu asi nevíš, co? (Ten standardní SVM co je v bioinformatic toolboxu v Matlabu je s prominutím nanic..)

[sals3r0]

flakac: staci zkusit google :)
1) libsvm mam matlab interface primo "included"
2) online svr: onlinesvr.altervista.org/

[flakac]

Teda google jsem projížděl ale tudle stránku sem minul. Díky...