V rámci minikurzu Datová analýza pro tradery jsme publikovali druhou lekci: Zpracování a stažení očištěných dat

Lekce je přístupná všem účastníkům TechLabu. Naleznete ji zde: https://www.financnik.cz/forum/topic/5307-minikurz-datova-analyzy-pro-tradery/
Pokud nejste členi skupiny, využijte formulář na stránce Registrace do TechLabu.
 

Obsah:
Proč jsou základy datové analýzy důležitější než kdy dřív Kurz postavený na Pythonu Proč absolvovat kurz Datová analýza pro tradery Osnova kurzu Jak kurz probíhá Zapojení do kurzu Obchodování na finančních trzích se obvykle spojuje s představou klikání do grafů a intuitivního vyhodnocování různých ukazatelů. Dnešní svět ale vyžaduje mnohem preciznější přístup: většina profesionálních traderů pracuje s daty – sbírají je, čistí, zpracovávají a analyzují. Následně na jejich základě dělají rozhodnutí, která stojí na pevných základech místo pouhých dojmů a emocí. Pokud chcete coby retailoví obchodníci posunout svůj trading na vyšší úroveň, je nezbytné osvojit si, jak s daty pracovat. A právě proto nyní v TechLabu spouštíme nový kurz Datová analýza pro tradery.
Cílem kurzu je ukázat i naprostým začátečníkům ověřené taktiky zpracování tržních dat, které profesionální obchodníci využívají prakticky denně. Naučíte se data stahovat, třídit, čistit, interpretovat a využívat je k vytváření efektivnějších obchodních strategií.
Proč jsou základy datové analýzy důležitější než kdy dřív
I když se necítíte na to, abyste se pustili do klasického programování, dnešní doba nabízí stále víc „AI“ nástrojů, které umožňují pracovat s daty bez nutnosti psát vlastní kód. Přesto se podle našich dlouholetých zkušeností vyplatí rozumět základním principům, na kterých tyto nástroje fungují. Jen tak nad nimi získáte lepší kontrolu a jistotu, že reálně chápete, jak (a proč) vytvářejí určité výstupy.
Kurz Datová analýza pro tradery vám proto přinese základní datovou gramotnost – takovou, abyste uměli data získat, zkontrolovat jejich správnost, očistit je či je zadat do AI nástroje a následně poznat, zda jsou jeho výstupy relevantní a použitelně interpretované.
Kurz postavený na Pythonu
Celý program je vystavěný na skriptovacím jazyce Python, který dnes tvoří jádro obrovského množství „AI“ i standardních datových nástrojů. Díky know-how, které v kurzu získáte, budete moct následně své dovednosti rozšířit do mnoha směrů.

Proč absolvovat kurz Datová analýza pro tradery
Praktické zaměření
Kurz je navržen tak, aby každý krok ilustroval reálné obchodní situace. Nejde o akademické teorie. Na konci dvanáctitýdenního programu se budete umět postavit k reálným datům, provést jejich úpravu a vyvodit z nich užitečné závěry pro vlastní trading. Dva komplexní projekty
V rámci kurzu nebudete jen pasivně naslouchat, ale rovnou si vyzkoušíte dva samostatné projekty. Díky tomu se učíte nejúčinněji – praxí. Vstřícný výklad
Mnoho lidí odrazuje představa „datových tabulek“ a „programování“. Postupujeme proto pozvolna a názorně. Začneme definicí datových zdrojů a formátů, ukážeme si, jak data načíst a čistit a postupně se dostaneme k pokročilejším technikám. Vše probíhá ve vstřícném prostředí Jupyter Labu, kde můžete kód spouštět po malých částech a hned vyhodnocovat výsledky. Lektorská podpora
Po celou dobu kurzu bude k dispozici Bogdan, kterého se můžete kdykoli ptát na cokoli nejasného. Pokud budete tápat, společně projdete daný problém tak, abyste se reálně posunuli z bodu A do bodu B. Bogdan stojí na Finančníkovi za vývojem autotraderu SignalTrader a má dlouholeté zkušenosti se systematickým tradingem. Skvělý start
I když zatím o datové analýze nevíte vůbec nic, ukážeme vám, jak si vytvořit svůj první „datový pracovní postup“ (workflow). Ten pak můžete dále rozšiřovat a stavět na jeho základech. Osnova kurzu
Kurz je rozdělen do deseti základních lekcí a dvou praktických projektů:
Definice zdrojů a formátů
Vysvětlení, kde data hledat, jak se k nim dostat a co všechno může být užitečným zdrojem pro trading. Budeme mluvit o různých formátech (CSV, Excel, databáze, online API) a jak s nimi pracovat. Zpracování a očištění dat
Prakticky si ukážeme, jak data načíst do tabulek či specializovaných nástrojů, jak identifikovat chybějící hodnoty či duplicity a co to znamená pro naši analýzu. Naučíme se metody „čištění“ tak, aby nám v datech nezůstávaly nesmysly. Specifika práce s finančními daty a převody dat
Ať už sbíráte data o akciích, futures nebo kryptoměnách, narazíte na rozdíly v časových pásmech, úpravy pro dividendy, případně splity. V této lekci se naučíte, na co si dát pozor, abyste měli data správně připravena pro obchodní rozhodnutí. Projekt A
Po lekci 3 se pustíme do prvního praktického projektu. Ukážeme si kompletní workflow: od načtení surových dat a jejich očištění až po sjednocení formátů a prvotní vyhodnocení. Naučíte se vytvořit si vlastní „datový balík“, se kterým budete dále pracovat.
Zkoumání trendů a sezónnosti
Vysvětlíme si, co je trend, jak ho měřit a jak do analýz zahrnout sezónnost. Na reálných příkladech uvidíte, že sezónní vlivy se netýkají jen zemědělských komodit, ale mohou se vyskytovat i v indexech či akciích. Statistika pro datovou analýzu
Představíme si základy statistiky: min/max, průměr, medián, směrodatnou odchylku. Ukážeme si histogramy, rozptylové grafy a naučíme se je číst v kontextu reálných tržních příkladů. Pokročilá agregace a transformace dat
Zaměříme se na tvarování a přeskupování dat (pivoty), shrnutí denních dat do týdenních průměrů a podobně. Také se naučíte připravit pokročilejší funkce a vypočítat Sharpe ratio nebo drawdown. Korelace, porovnávání hodnot a heatmapy
Různé instrumenty se mohou chovat podobně, nebo naopak zcela protichůdně. Naučíte se vyhodnocovat korelace, porovnávat volatilitu jednotlivých akcií a z heatmap hned vyčíst vzájemné vztahy na trhu. Volatilita a její vliv na cenové pohyby
Ať už obchodujete opce nebo jen akcie, volatilita hraje klíčovou roli. Ukážeme si práci s indexem VIX a porovnání s ETF SPY. Zjistíte, jak využít VIX k filtraci obchodů nebo ke zkoumání vztahu mezi prudce rostoucí a následně klesající volatilitou. Modelování časových řad pomocí lineární regrese a predikce vývoje cen
Zabrousíme do základů strojového učení v rámci retailového tradování a srozumitelného přístupu. Naučíte se stavět jednodušší modely lineární regrese, abyste získali přehled o možném budoucím vývoji cen. Reportování a automatizace analýzy
Poslední lekce se zaměří na tvorbu a automatizaci reportů. Ukážeme, jak převést Jupyter Notebook do Python skriptu a spouštět jej plánovaně, abyste měli třeba každé ráno k dispozici vlastní shrnutí trhů. Projekt B
Kurz zakončí druhý projekt, jehož konkrétní zaměření vzejde z průběžného zájmu účastníků. Může to být například vytvoření automatizovaného denního reportu sentimentu (vývoj SPY, VIX, RSI, tituly s největšími pohyby v S&P 500 atd.). Získáte tak hotovou šablonu, kterou si můžete kdykoliv rozšířit nebo upravit pro své vlastní potřeby.
Jak kurz probíhá
Kurz je rozdělen na výukové bloky, jež na sebe navazují. Každý týden získáte přístup k nové lekci, abyste měli dostatek času vše pochopit a samostatně vyzkoušet. Součástí výuky je:
Video návod ke každé lekci, kde uvidíte krok za krokem, co a jak dělat. Z každé lekce vychází také jednoduchý domácí úkol. Ukázkové datasety a hotové skripty, se kterými můžete sami experimentovat a přizpůsobovat je svým potřebám. Uzavřené diskuzní fórum, kde budete v kontaktu s lektorem po celou dobu kurzu. Lektor vám pomůže vše zprovoznit, a pokud narazíte na zádrhel, vysvětlí, jak se posunout dál. Stačí hlavně chuť se něco nového naučit. Všechno ostatní společně doladíme.
Zapojení do kurzu
Kurz je zdarma dostupný všem účastníkům TechLabu. První lekci naleznete v členské sekci na této adrese.
Pokud zatím do TechLabu přístup nemáte, zaregistrujte se zde: TechLab - zaměřeno na automatizaci a technickou podporu v obchodování. Nejvýhodnější je roční předplatné TechLab Automatizace, které kromě hotového autotraderu otevírá i kompletní archiv již publikovaných minikurzů: https://www.financnik.cz/forum/info/ostatni/minikurzy-prehled
Pojďte s námi proniknout do světa datové analýzy a posuňte svůj trading na novou úroveň. Právě teď je ten správný čas začít – těšíme se na vás v kurzu Datová analýza pro tradery!

Na Finačníkovi vnímáme jako nejsmysluplnější cestu vydělávání peněz na burze skrze maximální využití automatizace. Mezi hlavní benefity patří výraznější psychologická pohoda při obchodování (v porovnání s diskrečním tradigem) a časová nenáročnost. Samotné obchodování zabírá maximálně pár minut denně, kdy kontrolujeme chod všech skriptů.
Že lze vše zvládnout i bez počátečních znalostí programování, ukazují i reference dosavadních účastníků skupiny, které naleznete na této adrese.
Podstatné je ale uvědomit si, že vytvoření komplexního automatizovaného worfklow nejde hned, nejde to ani za měsíc. Jde o postupnou práci. Dobrou zprávou ale je, že pro vydělávání peněz není potřeba mít hned hotové celé workflow. Stačí jen menší část, které pak věnujete o trochu více času manuálním dohledem a postupně vše vylepšujete.
A jelikož jsme si sami prošli celým procesem „od nuly“ k automatizovanému portfoliu, vznikla na Finančníkovi před lety skupina TechLab. Jejím cílem je pomoci Vám vytvořit podobné automatizované řešení, jaké sami používáme v každodenní praxi. Ve skupině proto najdete všechny potřebné informace.
Podrobný popis skupiny naleznete na stránce https://tri.financnik.cz/techlab. V tomto dokumentu jsme připravili rámcový popis cesty, jak se k automatizaci dostat krok za krokem.
Automatizace pochopitelně přináší potřebu osvojení nového know-how. Zejména pokud do ní přicházíte ze světa neprogramátorů tak jako my. Ve skutečnosti není pro automatizaci obchodování nutné zvládnout pokročilé programování (viz reference stávajících účastníků). Spíše je potřeba postupně si osvojit práci s drobnými nástroji a ty vhodně poskládat dohromady.
TechLab je skupina, kde sdílíme postupy, které sami využíváme v každodenní praxi.
Sami přitom na automatizovaných řešení pracujeme již mnoho let a naše workflow jsou tak již poměrně propracovaná. V principu si automatizované obchodování můžete představit jako následující diagram:

S podobným workflow se například nebojíme ani spravovat externí peníze (Petr provozuje alternativní fond založený na automatizovaných strategiích). Ohromnou výhodou podobných automatizovaných procesů je i skutečnost, že je lze pohodlně škálovat. Do fungujícího workflow obchodujícího určitý počet strategií lze vždy snadno přidat další strategii obchodující jiný princip, jiný timeframe nebo jiný typ trhů. To vede jak k možnosti vyšší diverzifikace (postupování nižšího risku), tak možnosti pracovat s vyšším kapitálem. Řada obchodníků dnes tak skrz poskytované know-how obchoduje pomocí automatizovaného workflow s velmi malou časovou náročností buď své úspory, nebo se zaměřují i na správu větších peněz.
V TechLabu naleznete vše potřebné, abyste si sami vytvořili podobné řešení. Zejména pokud se s prostředím automatizace obchodování zatím seznamujete, může Vám zprvu přijít TechLab až příliš odborný.
Je to proto, že mnoho obchodníků zde už na sobě pracuje roky a za tu dobu jsou podstatně dál, než jste nyní vy. Ale nezoufejte. Všichni jsme začínali z podobného stavu „nula“. Je opravdu potřeba nespěchat a postupovat kupředu pomalu. Je dobré sledovat nové minikurzy a tutoriály, ale nemějte stres z toho, že nebudete všemu rozumět.
Pro zvládnutí automatizovaného obchodování doporučujeme následující postup:
1. Začít zprovozněním poskytnutých blokových řešení (na paper účtu)
Prvním krokem je zvládnutí automatizace získávání obchodních signálů a následného odeslání obchodních příkazů do obchodní platformy pomocí vlastních skriptů (programů). Zní to složitě? První dobrou zprávou je, že v této fázi nemusíte umět programovat. V rámci TechLabu najdete velké množství tutoriálů, ve kterých je spousta tipů a návodů, jak této základní úrovně automatizace dosáhnout svépomocí.
Další dobrou zprávou je, že jsme připravili workshopy, které Vás dílčími kroky automatizace plynule provedou, a jejichž součástí jsou plně funkční skripty. Doporučujeme začít absolvováním Workshopu swingového obchodování (kde se seznámíte s principy swingových strategií a naučíte se získávat signály pro vstup/výstup z pozic). Následně můžete pokračovat ročním předplatným TechLabu Automatizace (kde navíc získáte plně funkční skript autotraderu s podrobným popisem používání). Spolu s programem Amibroker (který je třeba si pořídit samostatně) budete mít k dispozici veškeré nástroje pro vytvoření níže uvedeného automatizovaného worfklow. Doporučujeme spustit na paper účtu a postupně ladit cokoliv, co nebude fungovat.
 

 
Zkušenější obchodníci mohou TechLab využívat v nejlevnějším typu předplatného „Podpora“. V něm získáte veškeré know-how a podporu, ale bez hotových řešení, které stačí „instalovat a spustit“.
Jakýkoliv dotaz pište do TechLabu. Nejlépe do vlákna První automatizace. Relativně brzy byste měli mít v provozu první jednoduché automatizované workflow, které spustíte na svém osobním počítači jednou za den dopoledne evropského času a během pár minut máte hotovo.
V této fázi nebudete patrně zasahovat do poskytnutých skriptů. Nicméně v budoucnu bude potřeba si řešení upravit přesně podle vlastních požadavků. Je proto dobré začít se seznamovat s Amibrokerem a Pythonem. Pro oba programy pořádáme v TechLabu minikurzy pro začátečníky. Vyhlašujeme je průběžně v průběhu roku. Každý živý běh minikurzu je trochu jiný, je moderovaný a obohacený mnoha domácími úkoly, které řeší celá komunita. Do výuky se však můžete pustit hned. V rámci ročního předplatného TechLabu Automatizace máte přístup k archivu minikurzů, které naleznete na této stránce. Jako první doporučujeme pustit se do minikurzů Základy zvládnutí Pythonu – od nuly k práci s daty a První strategie v Amibrokeru. Ke kurzům v archivu není aktivní podpora, ale samozřejmě můžete dotazy pokládat v běžné diskuzi TechLabu.
 2. Napojení obchodního deníku
 Jako další krok doporučujeme do workflow zařadit obchodní deník. Ten připravil v Pythonu trader s přezdívkou Unlimited a je ke stažení zde.
Vaše workflow pak bude v cíli vypadat následovně:

Práce na obchodním deníku Vás může vytížit určitě na několik týdnů. Zejména pokud budete současně pronikat do základů Pythonu. Je to hlavně proto, že obchodní deník již můžete začít pomalu přizpůsobovat svým vlastním potřebám a v rámci jeho studia začít podrobněji analyzovat svá data.
Rozhodně doporučujeme shlédnout minikurz Obchodní deník v Pythonu, který průběžně vyhlašujeme, případně rovnou ze záznamu, ke kterému mají přístup všichni s ročním předplatným TechLab Automatizace.
Další tutoriály, které Vám mohou pomoci v této fázi:
V prvním kroku můžete spravovat výsledky vedené v Excelu. Tutoriál je publikován zde. K automatizovanému deníku můžete připojit i obchody zpracované před uvedením do jeho provozu. Tutoriál je publikován zde. 3. Zapojení podpůrných skriptů
V této fázi by Vám již měla běžet docela solidní automatizace, jejíž provoz zabírá maximálně desítky minut týdně. Příkazy z Amibrokeru jsou předávány Autotraderem do Interactive Brokers. Veškeré obchody jsou zaznamenány v databázi. Máte k dispozici statistiky o svém obchodování a dokážete vytvářet podobné portfolio grafy slučující výkonnosti jednotlivých strategií:

Nyní se můžete zaměřit na pilování workfow. Můžete zapojit skripty vyřazující duplicitní trhy z obchodovaných portfolií, stahovat data o shortovatelnosti z FTP Interactive Brokers a vyřazovat neshortovatelné akcie ze signálů (pokud pracujete se short strategiemi), stahovat data o vyhlašování earnings a příslušným způsobem je zapracovat do signálů Mean reversion strategií. Jednoduše pracovat na mnoha vychytávkách, které v průběhu času v TechLabu zmiňujeme.
Zásadní jsou v této oblasti následující tutoriály:
Kontrola shortovatelnosti akcií. Tutoriál je publikován zde. Automatizované stahování dat vyhlašování dividend. Tutoriál je publikován zde. Filtrování obchodních signálů na earnings data pomocí API. Tutoriál je publikován zde. 4. Testování nových strategií
Prioritou TechLabu je pomoci dostat Vás do produkční fáze systematického portfolio obchodníka. Proto jsme poskytli bloky, které je možné od startu bez větších znalostí pospojovat a začít s nimi pracovat – na paper účtu nebo nějakém malém živém účtu (poté, co do problematiky sami proniknete a nástroje přijmete za své). Praxe je praxe a nic ji nenahradí. Proto by mělo být prioritou co nejrychleji vše rozhýbat do každodenní rutiny, byť z počátku bez nějakých zásadních očekávání vydělávání větších peněz.
Ovšem pro peníze trading všichni děláme. A peníze se v tradingu vydělávání skrz to, že budete obchodovat vlastní strategie a aplikovat do trhu vlastní nápady.
Je dobré si osvojit Amibroker a postupně připravovat nové strategie nebo upravovat ty, které máte z Finančníka. Pokud jste to zatím nezkoušeli, doporučujeme shlédnout v TechLabu minikurz První strategie v Amibrokeru a pokročilejší Custom backtester v praxi. V této fázi byste měli mít již i základní know-how, jak pomocí Pythonu vytvářet vlastní portfolio analýzy a postupně posouvat obchodované portfolio kupředu.
Zásadní jsou v této oblasti následující tutoriály:
Vytváříme idea first systém. Tutoriál naleznete zde. Jednoduché, ale funkční portfolio pomocí sezonality. Tutoriál naleznete zde. Testování systému obchodujícího sezonalitu na futures. Tutoriál naleznete zde. Rotační strategie v Amibrokeru. Tutoriál naleznete zde. Krátkodobé systematické strategie a kryptoměny. Tutoriál naleznete zde. 5. Další automatizace
Hodně obchodníků v TechLabu cílí na tzv. plnou automatizaci. Tedy řešení, které jim samo poběží na serveru bez toho, aniž by jej třeba několik dnů sledovali. To je určitě možné a sami tímto směrem jdeme.  Na rovinu ale zdůrazňujeme, že jemné finalizování plné automatizace zabere opravdu hodně času a znalostí, přitom už ve finále tolik času (oproti „skoro automatizovanému přístup“) nešetří  a více peněz také nevydělá. Tedy rozhodně není třeba se tímto cílem ze začátku jakkoliv stresovat a v podstatně na něj ani mířit. Z našeho pohledu stačí drtivé většině obchodníků řešení, které běží skoro samo, ale je lepší na něj trochu dohlížet.
V TechLabu každopádně naleznete hodně tipů, jak se v této oblasti posouvat. Ukážeme Vám, jak spouštět řešení na serverech, jak využívat git, jak si posílat informace o tradingu například na mobil, jak on-line monitorovat běh programů atd.
Zásadní jsou v této oblasti následující tutoriály:
Aplikace pro ovládání autotraderů z mobilu. Tutoriál naleznete zde. Task Scheduler a nastavení úloh pro ID obchodování. Tutoriál naleznete zde. Workflow pro sledování běhu skriptů. Tutoriál naleznete zde. Individuální podpora
Výše uvedené body jsme připravili proto, aby ukázaly, jakou cestou zhruba jít a co by mělo být cílem.
Je nicméně jasné, že každý účastník TechLabu přichází do procesu vytváření automatizovaného worfklow s různými znalostmi a zkušenostmi. Každý bude bojovat s jinými překážkami a chybovými hláškami. Proto je TechLab také technickou poradnou. Pokud nevíte, jak se posunout z bodu A do bodu B, tak se ptejte. S vysokou pravděpodobností jsme podobný problém již v minulosti také řešili a jistě Vám dokážeme poradit. Prakticky každý dotaz zodpovíme nejpozději do druhého pracovního dne.
To dělá TechLab opravdu unikáním prostředím. Získáváte přístup k obchodníkům, kteří know-how provozují v praxi, kteří v tutoriálech ukazují, jak řeší úkoly, na kterých sami pracují. A pokud si nebudete vědět rady, jak aplikovat popisované know-how do vlastní praxe, tak se stačí zeptat.
Vzhůru do vlastní automatizace obchodování! Hlavní diskuzní vlákna TechLabu naleznete zde.
Registrační informace naleznete na stránce https://tri.financnik.cz/techlab. V případě zájmu o změnu typu předplatného při již aktivní účasti v TechLabu pište na e-mail kurzy@finacnik.cz a změnu nastavíme ručně. E-mail můžete samozřejmě použít při jakémkoliv dotazu k TechLabu.