DVBgrab

Projekt DVBgrab - virtuální videorekordér

Popis projektu

Projekt DVBgrab slouží uživatelům počítačových sítí klubu Silicon Hill a Pod-O-Lee jako virtuální videorekordér - doplněk šířeného digitálního televizního vysílání. Projekt umožňuje nastavit si nahrávání televizního pořadu podle televizního programu. Po skončení nahrávání je pořad do několika hodin zpracován a uložen na úložišti, odkud si jej mohou lidé, kteří si nahrávání objednali, zhruba do 10 až 14 dnů stáhnout. Virtuální videorekordér nahrazuje běžné nahrávání digitálního signálu na videokazetu, DVD nebo pevný disk. Signál je podle přání uživatele uložen v jednom ze čtyř "kvalit". Projekt DVBgrab je postaven na poměrně hodně upraveném open-source projektu DVBgrab (http://dvbgrab.sourceforge.net). Největší úpravou bylo rozdělení logiky na 4 části - web a databáze, grabber, encoder, údržba.

Digitální televizní vysílání je v počítačových sítích Studentské unie ČVUT šířeno pomocí multicastu již několik let. Na serveru jsou dvě digitální DVB-T karty, které zachytávání a poskytují studentům původní digitální signál 7 televizních (ČT1, ČT2, ČT24, ČT 4 Sport, Nova, Prima, Óčko) a 7 rozhlasových (ČRo1 Radiožurnál, ČRo2 Praha, ČRo3 Vltava, ČRo4 Wave, D-dur, Rádio Česko a Leonardo) stanic. Všechny tyto stanice DVBgrab umí nahrán a poskytovat uživatelům. Televizní stanice nahrává buď jako původní stream (MPEG2), nebo pomocí mencoderu překódovaný do MPEG4 (XVid) a to v plném rozlišení 1600kbps, v polovičním rozlišení 1400kbps nebo v náhledovém čtvrtinovém rozlišení 600 kbps. Rozlišení není pevné, ale je stanoveno násobkem, zvuk je vždy ponechán v původní kvalitě, čímž zajistíme, že duální vysílání, stereo, formát 16:9 apod. je stále v pořádku. Rozhlasové vysílání je ukládáno buď v původním MP2 streamu nebo překódováno do MP3 nebo Ogg Vorbis. Pořady jsou nahrávány s přesahem jedné hodiny, z toho 15 minut před začátkem a 45 po konci pořadu v televizním programu. Přesahy jsou nutné z důvodu nedodržování televizního programu všemi televizními společnostmi. Ve skutečnosti je možné po většinu dne přesahy zkrátit, ale je nutné dlouhodobě testovat které kanály mají jakou odchylku v které hodiny.

Po celou dosavadní dobu provozu projektu běží testovací režim během kterého sledujeme požadavky uživatelů, výkon a stabilitu techniky, kvalitu a rychlost zpracování pořadů.

Technika

Technickým zázemím projektu jsou 3 servery, které dřív sloužily podobným účelům,takže rozjezd DVBgrabu nepřinesl žádné požadavky na rozpočet klubu. Více technických informací na stránce Servery_dvbgrab.

Prvním strojem na cestě signálu k uživateli je grabber. Grabber je server, na kterém běží web a databáze projektu a hlavně logika ukládání streamů podle programu. Stroj obsahuje 1 TB pole složené ze sedmi disků, 1 GB paměti a procesor Athlon XP 1800+. Operační systém Debian GNU/Linux lenny, kernel 2.6.18, webový server Apache s PHP5 a databáze MySQL 4.1 poskytují zázemí celému projektu. Streamy se ukládají pomocí dumprtp. Stroj grabber je spojen přes NFS s dalšími stroji projektu. Bohužel nedostatečný výkon filesystému a obecně návrh stroje způsobují výpadky při ukládání, což v důsledku znamená snížení kvality poskytované služby. Vedení klubu bylo požádáno o zakoupení nového stroje a tento požadavek byl představenstvem schválen.

Druhým strojem je encoder, který zpracovává uložené záznamy a ukládá je po případném překódování na úložiště na DVBstorage. Stroj obsahuje 2x AMD Opteron Dula Core 270, 2 GB paměti, ale pouze 1 disk na systém i dočasná data. Operační systém je Debian GNU/Linux lenny, kernel 2.6.18. Na stroji běží logika zpracování záznamů včetně kódovacího software mencoder pro televizní záznamy a ffmpeg, lame a oggenc pro rozhlasové záznamy. Vedení klubu bylo požádáno o zakoupení nových disků a tento požadavek byl představenstvem schválen. Pro zajištění bezpečnějšího ukládání dat bude právě enkodér zajišťovat společné služby celého projektu, tj. web, databázi a údržbové skripty.

Třetím strojem je DVBstorage, na který jsou ukládány zpracované záznamy. Stroj obsahuje 4 TB úložiště v HW raidu složené z 12 ks disků Seagate Barracuda 400 GB. Procesor AMD Opteron 144 dostačuje, paměť 1 GB bude doplněna. Operační systém je Debian GNU/Linux lenny, kernel 2.6.20, webový server Apache. Ukazuje se, že přetížený stroj je úzkým hrdlem celého projektu, snižuje rychlost stahování pro uživatele a brzdí jak encoder, tak celou logiku údržby systému. V současné době je na DVBstorage uloženo cca 1,5 TB dat, která nepatří projektu DVBgrab a která budou na přelomu roku přesunuta na jiné úložiště klubu Silicon Hill. Upgrade stroje i přesun dat byl již schválen vedením klubu.

Po spuštění nového grabberu bude původní stroj zkušebně využíván pro přímé streamování překódovaných televizních pořadů. Pro začátek zkusíme streamování MPEG4 streamu 1Mbps a v budoucnu možná i Microsoft wmv.

Cíle projektu

Po splnění všech dosavadních cílů byly počátkem prosince stanoveny nové cíle rozvoje projektu.

Krátkodobé cíle

• zakoupit, sestavit, nainstalovat nový grabber
• upgrade encoderu a dvbstorage

Střednědobé cíle

• přesun webu a databáze a většiny logiky na encoder
• přejít ze zkušebního na řádný provoz služby
• vyřešit diferencovaný přístup k časovým přesahům
• otestovat přímé streamování
• vyřešit problém motivace členů projektu

Dlouhodobý cíl

• vyřešit problém přetížení při stahování z DVBstorage například vytvářením front na stahování
• rozběhnout streamování - postupný přechod na tzv. SH televizi
• spustit grabování i ostatních digitálních televizí

Cíle projektu za minulé pololetí

Krátkodobý cíl

• rozchodit DVBgrab na třech strojích
• splněn

Střednědobý cíl

• rozchodit DVBgrab pro všechny členy SU
• splněn rozběhnutím autorizačního rozhraní pro klub Pod-O-Lee, další kluby nemají zájem

Dlouhodobý cíl

• právní podchycení DVBgrabu a případně placená služba pro veřejnost
• projekt bude určen pouze pro členy SU

Chválíme se

Projekt DVBgrab je jeden z nejvyužívanějších projektů v klubu Silicon Hill, má registrovaných 1483 aktivních uživatelů, v posledním týdnu se přihlásilo 752 z nich, v současné době si každý nahrávaný pořad nahrává v průměru 7 lidí, nejvíce žádané pořady si nahrává přes 50 lidí současně, rekord je 103 uživatelů na pořad. Za prvních pět měsíců zkušebního provozu (od 15.7. do 15.12.2007) zpracoval 50645 požadavků na grabování od 1483 uživatelů, tj. celkem 17778 záznamů z 9835 pořadů.

Spolehlivost stoje je poměrně dobrá, za 5 měsíců provozu bylo ztraceno pouze 65 pořadů, tj. 0,4 %. Ze 16992 výsledných souborů je 14427 již smazaných (84,9%), 1732 aktuálně ke stažení (10,2%), 4 nezpracované (0,0%), 13 právě nahrávaných (0,1%), 751 naplánovaných (4,4%) a 65 ztracených (0,4%).

Projekt byl oceněn jako aktivita měsíce za měsíc červenec 2007. Jedinou vadou na kráse je pokulhávající kvalita uložených streamů, které jsou částečně ovlivněny kvalitou DVB signálu po SH, částečně nedostatečným výkonem grabberu.

Financování

první pololetí 2008

Požadavky do rozpočtu

Příjmy	0,- Kč
Nepřímé příjmy	???,- Kč	členské příspěvky	noví členové
Výdaje grabber	70.000,- Kč	server HP DL320 G5p, DualCore Xeon, 4GB RAM 2x 250GB + 2x 750 GB SATA	nový server
Výdaje encoder	13.200,- Kč	1x 200GB HDD IDE na systém (druhý disk do raid 1) 2x 750GB HDD SATA2 na pracovní data	doplnění druhého systémového disku a disky na data
Výdaje dvbstorage	7.800,- Kč	4x 1GB RAM DDR 400MHz CZL2	upgrade RAM z 1 GB na 4 GB

Zdůvodnění:

• Současný server grabber nedostačuje požadavkům projektu, je zdrojem mnoha chyb v grabech a uživatelé si na kvalitů záznamů stěžují. Konfigurace je plánována jako nový server, který musí být několik let schopen naplno pracovat bez dalších investic. Disková kapacita podobně jako na encoderu (2x250 GB systém, 2x 750 GB v RAID0 pro rychlé úložiště). Cena může být v závislosti na vyjednaných podmínkách mezi SH a HP nižší, projekt nebude dočerpávat ušetřené prostředky na jiné náklady a pokud dojde ke zlevnění nákupu, vrátí ušetřenou částku do rozpočtu.
• V současné době je v encoderu pouze jeden 200 GB disk bez jakéhokoliv zabezpečení. Protože chystáme maximálně odlehčit grabber, bude k ukládání nezpracovaných pořadů docházet na stroji encoder. K tomu je nutné zakoupit nové dva disky do RAID1 čistě na data.
• Paměť dvbstorage je trvale přetížena a dochází k prudkému omezování rychlosti stahování po celý den.
• Projekt DVBgrab nežádal prostředky ze SGS, protože neinvestiční prostředky ani propagaci nepotřebuje.

Schváleno představenstvem

Byli jsme poměrně úspěšní, bylo nám schváleno 80.000 Kč.

druhé pololetí 2007

Příjmy	0,- Kč
Výdaje	0,- Kč
Nepřímé příjmy	noví členové

první pololetí 2007

Příjmy	0,- Kč
Výdaje	0,- Kč
Hardware	starší,nevyužívaný

Lidé a kontakty

Řešitelé

Šmejkal Stanislav

• vedoucí projektu
• správa systému, programování
• helpdesk pro uživatele

Čech Zbyněk

• správa operačního systému
• návrhy hardware, řešení přesunu dat

Bendová Petra

• cizojazyčné verze, testování

Special thanks to

• Bruchanov Martin za PR a pomoc při schválení rozvoje projektu
• Karas Lukáš za úpravu skriptu pro stahování TV programu

Kontakty

• E-mailová konference DVBgrabu dvbgrab@lists.sh.cvut.cz
• Www stránky projektu aneb projekt najdete na http://dvbgrab.siliconhill.cz