240px-Diamond warning sign (Vienna Convention style).svg.png Content of this wiki is DEPRECATED 240px-Diamond warning sign (Vienna Convention style).svg.png

Windows Compute Cluster Server 2003

Z old-wiki.siliconhill.cz
(Rozdíly mezi verzemi)
Přejít na: navigace, hledání
(→‎Použitý software: wtf rok je 2006 takze 2k3 neni nove,co?)
 
(Není zobrazeno 31 mezilehlých verzí od 4 uživatelů.)
Řádka 1: Řádka 1:
−
= Využití serveru =
+
[[Windows Server 2008 HPC]]
  
−
Server bude provozovat klub Silicon Hill. V oblastech serverů výpočetních technologií máme již bohaté zkušenosti. Výpočty budou probíhat ve spolupráci s katedrou energetiky fakulty elektrotechnické ČVUT. V budoucnu oslovíme i ostatní katedry a fakulty. Dále budeme ve spolupráci s katedrou telekomunikační techniky vyvíjet aplikace pro výpočetní clustery, např. vývoj kodeků pro tuto platformu.
+
==Partneři projektu==
  
 +
Významnými partneři projektu jsou:
  
−
= Výpočetní úlohy =
 
  
−
'''Matematické modelování sdružených úloh v nelineárních feromagnetických
+
[[Soubor:Microsoft.png]]
−
materiálech s hysterezí, vývoj numerických algoritmů pro tyto metody.'''
+
  
 +
Velký dík společnosti Microsoft patří za poskytnutí licencí na software a hlavně za zapůjčení Clusteru Tyan PSC T-630
  
−
Matematické modelování simultánních polí (elektromagnetického, teplotního, deformačního a podobně) patří k aktuálním tématům současného výzkumu. Pro lineární materiály jsou dostupné postupy, algoritmy a komerční SW. Mezi nejdůležitější konstrukční materiály však patří slitiny železa, které se často vyznačují feromagnetickým chování, případně s nejednoznačnou závislostí mezi intenzitou a indukcí elektromagnetického pole, tj. vykazující hysterezní smyčku. Modelování je pak důležité zejména pro výpočty chování transformátorů a tlumivek v elektrizační soustavě, indukční ohřevy a kalení výrobků z feromagnetických slitin a podobně. V současné době jsou možnosti popisu feromagnetik pro simulační programy vyvíjeny na katedře elektroenergetiky. Cílem je ověřit použitelnost zvolených modelů a algoritmů z hlediska souladu s měření a výpočtovou náročností.
 
  
 +
[[Soubor:Intel.png]]
  
−
'''Výzkum možností efektivní lokalizace poruch na vedeních s využitím H matic.'''
+
Společnost Intel propůjčila stroj, který slouží jako Terminal Server. Zároveň společnost Intel poskytla balík vývojových nástrojů.
  
−
Správné měření, určení druhu a vzdálenosti poruchy distanční ochranou či poruchovým lokátorem je ovlivněno do určité míry negativními specifickými vlivy. Tyto vlivy a velikosti chyb lokalizace poruchy jsou zde blíže rozebrány. Podstatná část prezentovaných chyb je způsobena tím, že algoritmy ochranných a lokalizačních zařízení vycházejí ze složkových hodnot. V současné době již existují zařízení, která umožňují synchronní měření žádaných veličin v systému a jejich přenos do centra. Obvykle je jedna část (terminál) umístěna v měřeném uzlu a jsou do něj přivedeny měřené veličiny z přístrojových transformátorů. Pro časovou synchronizaci se používá signál přijatý z družic systému GPS (Global Position System). V současnosti se používá k výpočtům sítí především popisu pomocí Z a Y parametrů (jde o historické důvody, kdy byla volba popisu obvodů přizpůsobena výpočtovým možnostem a technikám). Navrhované použití H parametrů ukazuje možnost přesnější lokalizace poruchy a zároveň pracuje důsledně s vlnovým popisem vedení.
 
−
Tyto výpočty jsou ovšem poměrně náročné – jedná se vlastně o problém diskrétní (nalezení úseku vedení, v němž je porucha) a spojité (nalezení poruchové impedance) optimalizace.
 
−
Cílem je provést numerické testy použitelnosti modelu a zpracování naměřených dat s porovnáním.
 
  
 +
==O systému==
  
−
'''Matematické modelování vysoušení zaplavených knih.'''
+
Celý systém se skládá ze dvou počítačů. Jeden slouží pro uživatele jako Terminal Server (itest.siliconhill.cz), kde jsou k dispozici vývojové nástroje firmy Intel a Microsoft. Druhý slouží jako výpočetní cluster (mscluster.siliconhill.cz).
  
−
V několika posledních letech se záplavy v naší republice stávají smutným pravidlem ohlašujícím nástup jara, nebo příchod letních měsíců. Problém záchrany takto zasažených materiálů se tedy stává stále aktuálnější. Protože různorodost cenných materiálů je velmi velká, je nutné vypracovat různé postupy pro různé druhy materiálů.
 
−
Ve spolupráci s katedrou elektroenergetiky, firmou HACKER a Národní knihovnou ČR byla vyvinuta multifunkční vakuová komora pro záchranu zaplavených dokumentů. Komora umožňuje lyofilizaci, vakuové sušení, sušení v řízené atmosféře, dezinfekci a podobně.
 
−
Procesy probíhající v sušených materiálech zahrnují zejména difusi a sdílení tepla. V současné době neexistují modely, které by napomohly předpovídat doby vysoušení na základě znalosti typu sušeného materiálu. Cílem je –probíhajícího výzkumu-  porovnáním simulací a výsledků provozu komory zmíněné modely vytvořit.
 
  
−
= Použitý software =
+
=== ITEST ===
  
−
'''grid Mathematica 2'''
+
* OS: Microsoft Windows Server R2 2003 x64, Enterprise Edition
−
Ve spolupráci s ČVUT katedrou energetiky získáme software gridMathematica 2 od WolframResearch. Jedná se o vědecký výpočetní software který používají špičkové univerzity po celém světě. Tento software je určený pro multiprocesorové platformy, clustery a superpočítače.
+
* SW: Microsoft Visual Studio 2005 Team Suite Edition, Intel Software Development Tools (Fortran a C++ compilery, V-Tune analyzer, Thread Checker ... )
  
 +
* CPU 2x QuadCore Intel Xeon E5320, 1866 MHz (7 x 267)
 +
* Motherboard [http://www.supermicro.com/products/motherboard/Xeon1333/5000P/X7DB8.cfm Supermicro X7DB8](3 PCI-E x8, 3 PCI-X, 1 SEPC, 8 FB-DIMM, Video, Dual Gigabit LAN, SCSI), Chipset Intel Blackford 5000P
 +
* 8GB RAM ECC DDR2-667 (333 MHz)
 +
* [http://www.wdc.com/en/products/Products.asp?DriveID=138 WD Caviar SE 120GB]
  
−
'''Microsoft'''
+
[[Soubor:TyanPSC.JPG|thumb|right|MSCLUSTER, Tyan PSC T-630]]
−
Významným partnerem v tomto projektu se stala firma Microsoft s.r.o., která pro tento projekt poskytne pro výpočetní clustery Windows Compute Cluster Server 2003.
+
  
−
= Lidé =
+
=== MSCLUSTER ===
 +
[[Soubor:TyanPSC parametry.JPG|thumb|right|Tyan PSC T-630 parametry]]
  
−
Na řešení se budou podílet ze strany ČVUT:
+
Tyan PSC T-630
−
Doc. Dr. Ing. Jan Kyncl
+
−
Ing. Petr Kubín
+
−
Ing. Tomáš Novotný
+
−
Z K13115, ČVUT-FEL
+
  
−
Za Silicon Hill
+
* 5 nodů - 1 head, 4 compute
−
Zbyněk Čech
+
* OS: 1x Microsoft Windows Compute Cluster Server 2003, 4x Microsoft Windows Server Standard
−
Jaromír Kašpar
+
  
−
S podporou Microsoft s.r.o.
+
* CPU: 10x Intel DualCore Xeon E5100, 2330 MHz
−
Ing. Jan Toman
+
* 10GB RAM
 +
 
 +
 
 +
 
 +
 
 +
 
 +
 
 +
 
 +
 
 +
== Jak na to==
 +
 
 +
Každý uživatel může přistoupit pouze na stroj itest.siliconhill.cz přes vzdálenou plochu (remote desktop, mstsc ...). Dostane se tak k mocným nástrojům firmy Microsoft a Intel. Na tomto stroji si uživatel může postavit svoji aplikaci pro Cluster.
 +
 
 +
Každému uživateli se po přihlášení automaticky připojí síťová jednotka '''I:''' , která je umístěná na Clusteru. Síťová cesta je '''\\mscluster\username$\''' . Zde je vhodné ukládat data, na které bude cluster přistupovat.
 +
 
 +
Pokud máte postavenou aplikaci a nakopírovanou ve vaší síťové jednotce, je potom možné pomocí nástroje Compute Cluster Job Manager spustit úlohu přímo na clusteru (MSCLUSTER.SH.CVUT.CZ). Jak na to najdete [http://technet2.microsoft.com/windowsserver/en/technologies/featured/ccs/default.mspx tady]a konkrétněji [http://technet2.microsoft.com/windowsserver/en/library/dce5123f-8af4-47c2-9192-9075998e24c71033.mspx?mfr=true tady].
 +
 
 +
== Příklad ==
 +
 
 +
Malý příklad: mám v C++ naprogramovanou úlohu, která používá MPI-2, a chci ji pustit na clusteru na zkoušku třikrát, jednou na jednom procesoru (třeba pro srovnání) a potom na 10 a na 20 procesorech. V terminologii CCS to tedy budou tři "tasky", které poběží po sobě v rámci jednoho "jobu".
 +
 
 +
1. '''Přeložím projekt ve Visual Studiu.''' Nezapomenu přidat:
 +
* do "Additional Include Directories" adresář "C:\Program Files\Microsoft Compute Cluster Pack\Include"
 +
* do "Additional Library Directories" adresář "C:\Program Files\Microsoft Compute Cluster Pack\Lib\i386" (příp jiný binární target..)
 +
* do "Additional Dependencies" knihovnu "msmpi.lib"
 +
 
 +
2. Překladem vznikla binárka '''"mpitest.exe"''', umístím ji do síťového adresáře '''"i:\"''' (namapovaný share '''"\\mscluster\user$\"'''). To bude pracovní adresář mé MPI distribuované aplikace, nakopíruji tam tedy i případné vstupní soubory. V našem příkladu nebudu vstupy používat, udělalo by se to celkem snadno třeba přes '''stdin'''..
 +
 
 +
3. Pro '''spouštění jobů a tasků''' se dá použít GUI nástroj '''Computer Cluster Job Manager''', já tu ale popíšu použití comman-line příkazu '''job''' (pozor, ve skutečnosti je to batch, z jiných batchů se musí volat přes "call"). Referenci všech command-line příkazů "job manageru" najdete [http://technet2.microsoft.com/windowsserver/en/library/dce5123f-8af4-47c2-9192-9075998e24c71033.mspx?mfr=true zde].
 +
* založené nového jobu:
 +
  job new /scheduler:mscluster /numprocessors:20
 +
  ... vypíše JobID ID, které budu používat dále:
 +
* vložení tří na sobě závislých tasků:
 +
  job add ID /name:1          /numprocessors:1  /workdir:\\mscluster\user$\ /stdout:out01.txt /scheduler:mscluster mpiexec mpitest.exe
 +
  job add ID /name:2 /depend:1 /numprocessors:10 /workdir:\\mscluster\user$\ /stdout:out10.txt /scheduler:mscluster mpiexec mpitest.exe
 +
  job add ID /name:3 /depend:2 /numprocessors:20 /workdir:\\mscluster\user$\ /stdout:out20.txt /scheduler:mscluster mpiexec mpitest.exe
 +
* spuštění jobu:
 +
  job submit /id:ID /scheduler:mscluster
 +
Přes GUI Job Manager pak mohu on-line sledovat, jak se moje úloha zpracovává. Nakonec v adresáři
 +
'''"i:\"''' najdu tři výstupní soubory "out01.txt", "out10.txt" a "out20.txt".
 +
 
 +
== linky ==
 +
 
 +
 
 +
*[http://technet2.microsoft.com/windowsserver/en/technologies/featured/ccs/default.mspx Technet]
 +
*[http://www.microsoft.com/windowsserver2003/ccs/default.aspx CCS Home]
 +
*[http://windowshpc.net/ CCS Community]
 +
 
 +
== Resene projekty ==
 +
 
 +
[[Category:Projekty]]

Aktuální verze z 19. 3. 2012, 23:17

Windows Server 2008 HPC

Obsah

[editovat] Partneři projektu

Významnými partneři projektu jsou:


Microsoft.png

Velký dík společnosti Microsoft patří za poskytnutí licencí na software a hlavně za zapůjčení Clusteru Tyan PSC T-630


Intel.png

Společnost Intel propůjčila stroj, který slouží jako Terminal Server. Zároveň společnost Intel poskytla balík vývojových nástrojů.


[editovat] O systému

Celý systém se skládá ze dvou počítačů. Jeden slouží pro uživatele jako Terminal Server (itest.siliconhill.cz), kde jsou k dispozici vývojové nástroje firmy Intel a Microsoft. Druhý slouží jako výpočetní cluster (mscluster.siliconhill.cz).


[editovat] ITEST

  • OS: Microsoft Windows Server R2 2003 x64, Enterprise Edition
  • SW: Microsoft Visual Studio 2005 Team Suite Edition, Intel Software Development Tools (Fortran a C++ compilery, V-Tune analyzer, Thread Checker ... )
  • CPU 2x QuadCore Intel Xeon E5320, 1866 MHz (7 x 267)
  • Motherboard Supermicro X7DB8(3 PCI-E x8, 3 PCI-X, 1 SEPC, 8 FB-DIMM, Video, Dual Gigabit LAN, SCSI), Chipset Intel Blackford 5000P
  • 8GB RAM ECC DDR2-667 (333 MHz)
  • WD Caviar SE 120GB
MSCLUSTER, Tyan PSC T-630

[editovat] MSCLUSTER

Tyan PSC T-630 parametry

Tyan PSC T-630

  • 5 nodů - 1 head, 4 compute
  • OS: 1x Microsoft Windows Compute Cluster Server 2003, 4x Microsoft Windows Server Standard
  • CPU: 10x Intel DualCore Xeon E5100, 2330 MHz
  • 10GB RAM





[editovat] Jak na to

Každý uživatel může přistoupit pouze na stroj itest.siliconhill.cz přes vzdálenou plochu (remote desktop, mstsc ...). Dostane se tak k mocným nástrojům firmy Microsoft a Intel. Na tomto stroji si uživatel může postavit svoji aplikaci pro Cluster.

Každému uživateli se po přihlášení automaticky připojí síťová jednotka I: , která je umístěná na Clusteru. Síťová cesta je \\mscluster\username$\ . Zde je vhodné ukládat data, na které bude cluster přistupovat.

Pokud máte postavenou aplikaci a nakopírovanou ve vaší síťové jednotce, je potom možné pomocí nástroje Compute Cluster Job Manager spustit úlohu přímo na clusteru (MSCLUSTER.SH.CVUT.CZ). Jak na to najdete tadya konkrétněji tady.

[editovat] Příklad

Malý příklad: mám v C++ naprogramovanou úlohu, která používá MPI-2, a chci ji pustit na clusteru na zkoušku třikrát, jednou na jednom procesoru (třeba pro srovnání) a potom na 10 a na 20 procesorech. V terminologii CCS to tedy budou tři "tasky", které poběží po sobě v rámci jednoho "jobu".

1. Přeložím projekt ve Visual Studiu. Nezapomenu přidat:

  • do "Additional Include Directories" adresář "C:\Program Files\Microsoft Compute Cluster Pack\Include"
  • do "Additional Library Directories" adresář "C:\Program Files\Microsoft Compute Cluster Pack\Lib\i386" (příp jiný binární target..)
  • do "Additional Dependencies" knihovnu "msmpi.lib"

2. Překladem vznikla binárka "mpitest.exe", umístím ji do síťového adresáře "i:\" (namapovaný share "\\mscluster\user$\"). To bude pracovní adresář mé MPI distribuované aplikace, nakopíruji tam tedy i případné vstupní soubory. V našem příkladu nebudu vstupy používat, udělalo by se to celkem snadno třeba přes stdin..

3. Pro spouštění jobů a tasků se dá použít GUI nástroj Computer Cluster Job Manager, já tu ale popíšu použití comman-line příkazu job (pozor, ve skutečnosti je to batch, z jiných batchů se musí volat přes "call"). Referenci všech command-line příkazů "job manageru" najdete zde.

  • založené nového jobu: 
 job new /scheduler:mscluster /numprocessors:20
  ... vypíše JobID ID, které budu používat dále:
  • vložení tří na sobě závislých tasků: 
 job add ID /name:1           /numprocessors:1  /workdir:\\mscluster\user$\ /stdout:out01.txt /scheduler:mscluster mpiexec mpitest.exe
 job add ID /name:2 /depend:1 /numprocessors:10 /workdir:\\mscluster\user$\ /stdout:out10.txt /scheduler:mscluster mpiexec mpitest.exe
 job add ID /name:3 /depend:2 /numprocessors:20 /workdir:\\mscluster\user$\ /stdout:out20.txt /scheduler:mscluster mpiexec mpitest.exe
  • spuštění jobu: 
 job submit /id:ID /scheduler:mscluster

Přes GUI Job Manager pak mohu on-line sledovat, jak se moje úloha zpracovává. Nakonec v adresáři "i:\" najdu tři výstupní soubory "out01.txt", "out10.txt" a "out20.txt".

[editovat] linky

[editovat] Resene projekty

Citováno z „http://old-wiki.siliconhill.cz/index.php?title=Windows_Compute_Cluster_Server_2003&oldid=22422“
Jmenné prostory

Varianty
Akce