Diskuze k článku: Život tradera v Algarve: rok po té

[MixaJ]

Pokud chcete použít "SUPER PC" je zde jeden zásadní problém. Dá se postavit serverový PC třeba s 4 CPU (XEON ideálně), případně použít NVIDIA GPU.
Je však zde jeden zásadní problém.
Je potřeba zjistit u výrobce SW, jestli bude více HW procesorů podporovat.
Pakliže ne, potom by aplikace využívala fyzicky jeden jediný CPU, ikdyž je schopná využívat více jader na jednom CPU.

Dalším řešením by bylo clusterovat několik PC v síti dohromady. Bohužel zde platí to samé, jako o výše uvedeném.
Pokud to SW nepodporuje ....

Kdyby existovgala aplikace, která by dokázala distribuovat výkon v síti na několik PC/CPU a tvářilo by se to jako jedno PC, pak bych doporučil koupit BLADE. Mnoho výkonu a málo místa.
Ale takovou aplikaci jsem v životě neviděl a ani nenašel.

[Pavel K.]

Tomasi, diky za odpoved.. (tu)

[jaaan]

To je opravdu "nabušený" stroj, a těžko jej třeba o řád zrychlíte.

Úplně jinou otázkou je použitý software. Vyjdu z předpokladu, že požíváte Adaptrade Builder, o kterém jste psal několik článků. Adaptrade neumí využít několikajádrové architetury. Když pustíte jeden výpočet, využije jen jedno jádro, tj čtvrtinu nebo dvanáctinu výkonu procesoru. Můžete pustit víc výpočtů současně, a tak procesor využít naplno, ale pořád čekáte na výsledky několik dní.

Nevím, jestli se za podobně lidovou cenu prodává nějaký software, který umí využít víc jader, nebo dokonce víc počítačů v cloudu. Pokud ano, bude rychlost výpočtů limitovaná jen tím, kolik chcete zaplatit za pronájem potřebné výpočetní kapacity.

Nejenže adaptrade neumí běžet paraelně, ale samotný výpočet opravdu velmi pomalý. Důkladně jsem si pohrál s demo-verzí, a napsal jsem si svůj software, kerý dělá něco podobného, ale běží 10x - 100x rychleji (podle složitosti generovaných řešení). Ten program zatím nenabízím ven, jen chci demonstrovat, že je to možné a že vím, o čem mluvím. Jestli spolupracujete s dobrým programátorem, napíše Vám ho také.

V hardwaru jste asi blízko limitů, co se týče běžně dostupné techniky. Tam už každý kousek výkonu navíc stojí spoustu peněz. Vhodným softwarem ale můžete svoje vyhledávání minimálně o řád nebo dva zrychlit.

Hodně zdaru

Jan

[tomnes]

jaaan, MixaJ,

používám řešení, která plně využívají multi-core. Se svým 980x aktuálně s virtualizací mohu využít max. 12 jáder, které můj soft využívá naplno. Potřeboval bych tedy ideálně řešení, jak se dostat např na 12 jáder, 24 jáder, 36 jáder, 48 jáder, atd. Více jáder je pro mě optimální řešení. Tj. zajímalo by mě, jak se dá postavit počítač s více CPU, jaké jsou tak náklady, jak to v principu funguje, případně zda výpočet grafické karty je možné použít tak, abych dosáhl dalších jáder.

Díky,

[tomas262]

tomnes: nedávno jsem taky hledal něco o více jádrech a našel jsem v záložkách tohle www.tilera.com/products/processors/TILE64, ale nevím jestli vám to k něčemu bude :)

[kbtm]

Přeji dobrý den,

tak se diskuze trochu posunula ...

Když jsem potřeboval rychle zpracovat řadu statistických výpočtů, za mnohem lepší řešení považuji použití více PC než jednoho "nadupaného" stroje. Výpočty lze zpravidla rozdělit do skupin (třeba dávky jednotlivých tickerů) a je jedno, v jakém pořadí je výpočet prováděn.
Používal jsem jednodeskové PC (na MB je umístěn procesor), třeba (v současnosti - PC jsem používal v roce 2006, tehdy byl HW méně výkonný) :
www.alza.cz/intel-d510mo-mount-olive-d154450.htm

Na PC běžel systém W98, přístup k jednotlivým PC byl prostřednictvím sítě a sdílených disků, pro spuštění aplikací, natažení další dávky dat nebo přepnutí na jiný výpočet se do PC vstupovalo přes VNC.

Výhody :
- díky paralelizaci výpočtů obrovský nárůst výkonu
- nízká spotřeba / minimální vývin tepla
- skoro bezhlučné (jen ventilátory zdrojů)
- rozumná cena (cca 3-4k CZK/ks)

S pozdravem kbtm

[gizmo]

> tomnes

Ja bych to videl tak, ze mas tri moznosti:

- Snazit se postavit "stolni super PC" z obycejnych (i kdyz treba elitnich) retail komponent - pokud uz by jsi se vydal touto cestou, tak by mohlo byt opravdu zajimave vyuzit vypocetniho vykonu grafickych karet (treba CUDA, kterou jsem zminoval v prvnim prispevku), ale k tomu budes nejspis muset vyvinout vlastni software - tj. graficka jadra nejsou to same jako klasicka jadra CPU a proto je k pristupu k nim potreba vyuzivat specialni knihovny (vetsinou low-level API). Tj. tohle je takovej projekt sam o sobe...

- Blade server - kdyz jsme v praci delali experimenty s centralizovanym virtualizacnim serverem (kterej by hostoval desitky virtualnich masin, na kterych bezely buildovaci procesy, automatizovany testy atd.), tak jsme meli spis "skromnejsi" konfiguraci s 4mi 4-jadrovymi procesory a 32 GB RAM a to bylo pred dvema lety jen tak na testovani. Timto zpusobem jdou postavit opravdova monstra, ale chce to resit chlazeni, hluk atd. - tj. je to spis na vlastni klimatizovanou serverovnu, kde se daji zapojit klidne i desitky serveru dohromady. Tady mas skoro "neomezene" moznosti, ale divas se na investice v radech desitek, spis stovek tisic dolaru. Tj. super pro banky a jine instituce, overkill pro jedince.

- Cloud computing - uz to tady nekdo zminoval, proste si vsechno to z predchoziho bodu muzes pronajmout. Tj. starosti s HW a infrastrukturou nechas na jinych a oni Ti zpristupni vypocetni vykon (kolik ho jen budes chtit). Samozrejme si za to nechaji zaplatit, tzn. je potreba trochu hledat a porovnavat nabidky.

Pokud neni HW vylozene Tvym konickem, tak bych doporucoval jit spis tou posledni cestou. Jinak se to muze zmenit taky v pomerne drahy a frustrujici zazitek ;)

[jaaan]

Tomnes:

To není problém, jak píše MixaJ, normálně se dá postavit PC s několika procesory. Existují speciální základní desky se sockety pro 2 nebo 4 procesory, s klasickými PC součástkami, na to se nainstalují Windows, nebo jiný operační systém, a pracujete s tím jako s každým jiným počítačem.

Jestli daný software bude umět ty procesory využít, to je druhá otázka. Závisí na tom, v jakém jazyce a s jakými knihovnami je ten program napsaný. Obecně by to většinou spíš fungovat mělo, většinou ten program ani nepozná, jestli ta jádra patří jednomu procesoru nebo několika a chová se k nim stejně, ale není to tak vždycky. Je potřeba to ověřit pro ten konkrétní program, operační systém a hardware.

Takové sestavy se běžně prodávají v počítačových obchodech
www.alza.cz/servery/18843903.htm#CatId=18843903&limit=&prod=&pn=PriceDown&Pg=0
a jsou dost drahé - cena roste rychleji, než výkon. Proto se na extrémně náročné výpočty spíš využívají cloudy obyčejných levnějších počítačů se speciálním softwarem.

Jan

[tomnes]

Ok, díky všem za nápady a podněty.
Ze všeho zde napsaného se zdá, že cloud computing by pro mě bylo dobré řešení. Nemám s tím ale zatím žádné zkušenosti, takže opravdu vůbec netuším, jak to může fungovat. Může mně prosím někdo fungování cloud computingu blíže vysvětlit?

Nechápu například následující:
1) jak přesně to funguje? To si nainstaluji nějaký program, který sám "pozná" když chci počítat něco ultra-náročného a pak posílám někam na dálku nějaké údaje, které se tam rychle a efektivně vypočítají a mně se po internetu vrátí zpět již vypočítané?
2) mohu toto celé realizovat bez programátorských dovedností - tj. skutečně jen s pár user nastaveními?
3) mohu toto realizovat, aniž bych někam na vzdálený počítač musel instalovat programy, které pro výpočet používám? Tj. nechat vše běžet třeba na svém notebooku a jen někde v dálce využívat procesory?
4) Mohu si takto pronajmout konkrétní počet jáder?
5) Můžete mně poradit přímo nějaký konkrétní servis?
6) Jak rychlý internet k tomu potřebuji?

Díky moc,

[MixaJ]

[bold]Tomnes:[/bold]

pokud SW dokáže pracovat s více jádry a s více CPU (to s více CPU je velmi důležité), pak lze pořídit třeba 4procesorový server s XEON procesory (velmi výkoné CPU).

[bold]Příkladem může být: [/bold]
www1.euro.dell.com/cz/cs/domacnosti/servers/poweredge-r910/pd.aspx?refid=poweredge-r910&s=pad&cs=RC1077928

Kdyby program dokázal fungovat tak, že by distribuoval výkon na více PC/SERVERů, pak by šlo pořídit více mašin a nechat počítat výkon na několika strojích (tzv Cloud, jak již poznamenal Jaaan).
Ale na to musí být apliakce většinou cíleně programována, aby to uměla.


[bold] Abych to zjednodušil na pravidla AOS-FinWin ;-). [/bold]

1) zjistit, jaký OS daný SW podporuje
2) zjistit, jestli daný OS umí využít výkon multi-CPU (neplést s jádrama)
3) vybrat platformu, která do sebe narve na jeden MB co nejvíc nejvýkonějších CPU.
4) podle níže uvedeného vybrat vhodný CPU

Když se člověk podívá sem uvidí, jak je který I7 a XEON výkonný.
www.cpubenchmark.net/high_end_cpus.html
Za předpokladu, že bych postavil server 4x Intel Xeon X5690 @ 3.47GHz, teoreticky bych dostal 3až4x vyšší výkon, než stávající sestava.

Pak se stačí podívat sem a zjistím, jak lze výkon dále navýšit (Floating point throughput performance using SPECfp*_rate_base2006). 30MB Cache na CPU není k zahození....
www.intel.com/performance/server/xeonE7-4800/hpc.htm

EDIT:
Uffff.... Než jsem to sepsal, tak jste se všichni pěkně rozjeli.
XEON se dá kloudovat 2-256 CPU ;-)
www.intel.com/Assets/pdf/general/ssguide.pdf

[tomas262]

tomnes: Tome, konkrétní odpovědi o možnostech Cloudu byste měl najít zde ve znalostní bázi help.rackspacecloud.com/ jinak samotná služba je k dispozici "za pár penny" zde www.rackspace.co.uk/cloud-hosting/cloud-servers/ Nemám s tím zatím praktické zkušenosti, ale je tam uvedeno, že je možno využít až 50 serverů atd. Zkuste na to kouknout, snad z toho budete moudřejší než já :)

Mě zaujala tato odpověd:
[ital]What can a customer do with a Cloud Server?

Anything you want(within the law, of course). The Cloud Server solution is a fully unrestricted root access Linux and/or Windows environment, anything that you could run from a traditional physical dedicated-unmanaged server can be run here. [/ital]

Pravděpodobně půjde tedy o něco jako virtual server

[jaaan]

Tomnes:

1-3)
Bohužel, je potřeba, aby přímo ten program o cloudu věděl a byl tak napsán, a je potřeba někam jinam instalovat další software.
Příklad: váš program pro genetické hledání by rozsekal každou populaci řešení na 50 kusů, rozeslal je na 50 počítačů, přišly by mu zpátky výsledky, a z nich by vybral dobrá řešení do další populace. To znamená, že ten program na genetické vyhledávání by toto musel podporovat, a na každém z těch 50 počítačů by běžel speciální program, který umí odsimulovat AOS a ohodnotit jeho výsledek.
Takže jednoduše bez speciálních znalostí programování to nejde. Kdyby se to mělo dělat od začátku je to na měsíce programování. Ale je možné, že někdo něco podobného prodává.
4-5)
Dobrou pověst má například amazon EC2. Já sám ho používám, ale ne k těmto účelům.
aws.amazon.com/ec2/
Pronajímáte si tam jednotlivé počítače (teoreticky neomezený počet), jsou různě výkonné (1-8 jader), platí se za hodinu provozu.
6)
To záleží na konkrétním řešení. Dalo by se to napsat i tak, aby to fungovalo na pomalejším internetu a ustálo to časté výpadky.

Jan

[MixaJ]

tomnes Napsal:
-------------------------------------------------------
> Ok, díky všem za nápady a podněty.
> Ze všeho zde napsaného se zdá, že cloud computing
> by pro mě bylo dobré řešení. Nemám s tím ale zatím
> žádné zkušenosti, takže opravdu vůbec netuším, jak
> to může fungovat. Může mně prosím někdo fungování
> cloud computingu blíže vysvětlit?
>
> Nechápu například následující:
> 1) jak přesně to funguje? To si nainstaluji nějaký
> program, který sám "pozná" když chci počítat něco
> ultra-náročného a pak posílám někam na dálku
> nějaké údaje, které se tam rychle a efektivně
> vypočítají a mně se po internetu vrátí zpět již
> vypočítané?
[ital] [bold] Jde o to, jaký systém člověk vybere. Existují programy (SETI HOME), kde server obsluhuje klienty a klientům posílá data, která počítají. Ty pak pošlou serveru, který výsledky zpracuje. Jsme tedy zase u toho, že je potřeba příme podpory SW platformy (NT7 to jistě neumí).[/bold] [/ital]

> 2) mohu toto celé realizovat bez programátorských
> dovedností - tj. skutečně jen s pár user
> nastaveními?
[ital] [bold] Na jedné základní desce s třeba 4CPU (za předpokladu, že SW podporuje využití více CPU) ANO. Neplést využití jader a více CPU. [/bold] [/ital]

> 3) mohu toto realizovat, aniž bych někam na
> vzdálený počítač musel instalovat programy, které
> pro výpočet používám? Tj. nechat vše běžet třeba
> na svém notebooku a jen někde v dálce využívat
> procesory?
[ital] [bold] Ano i Ne. Ale ve vašem případě NE. Aplikace by to musela podporovat.
Pokud chcete mít server doma, doporučuji 4procesorový server na Windows
Jinak využijte CLOUDové služby - nejideálnější a nejjednodušší řešení. [/bold] [/ital]

> 4) Mohu si takto pronajmout konkrétní počet
> jáder?
[ital] [bold] Tyto systémy se většinou dělají na zakázku. Mají vlastní specializovaný SW a jsou uzpůsobeny pro danou aplikaci. Respektive aplikace pro tento systém. Dále (třeba univerzity apod) se superpočítači pronajímají svůj výpočetní výkon. Je třeba hledat.
U nás pronajíma výpočetní výkon T-SYSTEMS
www.t-systems.cz/tsi/cs/900608/T-Systems/Produkty-a-reseni/ICT-Products-&-Solutions/Desktop-Services/Cloud-Computing/Cloud
Viz jejich brožurka
download.sczm.t-systems.de/t-systems.cz/cs/StaticPage/90/06/10/900610_pdf-ps.pdf

[/bold] [/ital]

> 5) Můžete mně poradit přímo nějaký konkrétní
> servis?
[ital] [bold] Jakákoliv specializovaná firma na serverové řešení. Kontaktovat obchodníka DELLu s požadavkem a on doporučí vhodného partnera. [/bold] [/ital]

> 6) Jak rychlý internet k tomu potřebuji?
[ital] [bold] Adsl stačí - aplikace stejně poběží na daném serveru. [/bold] [/ital]

>
> Díky moc,

[ital] [bold] Není zač. Další diskuzi můžeme vést na školení v Praze, pokud se tam dostanu [/bold] [/ital]
>
>
> Tomáš
[ital] [bold] Jarda [/bold] [/ital]
> FINANCNIK.CZ
[ital] [bold] CZISP [/bold] [/ital]
>
> "Chceš-li uspět, musíš myslet jinak."
[ital] [bold] Už myslím jinak ;-)[/bold] [/ital]

>

>
>
> Editováno 1 krát. Naposledy editováno dne 11.04.
> 18:11 uživatelem tomnes.

[jmak]

Konkrétní příklad použití EC2 je třeba tady - rozluštění hesla za $2.10. Pokud potřebujete nárazově zpracovat rychle velké množství dat, stojí to za úvahu.

stacksmashing.net/2010/11/15/cracking-in-the-cloud-amazons-new-ec2-gpu-instances/

[mvorisek]

Nejlepším řešením, pokud Vás limituje sw, je Dell server PowerEdge R910 se čtyřmi Intel Xeon procesory E7-8870. Server obsahuje 64 slotů pro paměti, které bych všechny osadil 16GB moduly. Pevný disk bych volil spíše klasický serverový, tj. 15k otáček.

Uvedené řešení je sice finančně náročné, ale levnější než pronajímaný výpočetní výkon. Asi největším kladem celého systému by byla možnost nahrát zhruba 1TB tradingových dat přímo do paměti, ze které by šel vytvořit superrychlý disk - plně kompatibilní se všemi aplikacemi. I přes vynikající konfiguraci tento počítač nevyužijete naplno, ideální by bylo 4 - 8 výpočtů najednou.