DVBgrab - Historie editací

Fosfor: + aktualni URL

2020-01-28T01:04:10Z

+ aktualni URL

Tux: přidání nového správce

2020-01-27T02:44:01Z

přidání nového správce

Tux: /* Aktuální stav projektu */

2020-01-27T02:42:14Z

‎Aktuální stav projektu

Dominik v 20. 3. 2017, 17:24

2017-03-20T17:24:58Z

Dominik v 20. 3. 2017, 17:13

2017-03-20T17:13:08Z

Fosfor v 11. 10. 2013, 10:27

2013-10-11T10:27:22Z

Fosfor v 19. 3. 2012, 21:50

2012-03-19T21:50:21Z

Olymp2 v 15. 2. 2010, 09:00

2010-02-15T09:00:57Z

Olymp2 v 20. 1. 2010, 14:18

2010-01-20T14:18:45Z

Olymp2 v 20. 1. 2010, 14:10

2010-01-20T14:10:53Z

@@ Řádka 16: / Řádka 16: @@
 Aktuální správce:
 *Jaroslav Zdeněk
 = Projekt DVBgrab - virtuální videorekordér =

@@ Řádka 14: / Řádka 14: @@
 *Dominik Mališ
 *Vladimír Kincl
 = Projekt DVBgrab - virtuální videorekordér =

@@ Řádka 1: / Řádka 1: @@
 = Aktuální stav projektu =
-'''Od března 2017 je projekt pozastaven z důvodu dlouhodobé naprosté neochoty vedení klubu a sekce admins vyřešit vzniklý problém nefungujícího multicastu na virtuálních serverech (zahrnujících grabovací server), který brání nrahrávání pořadů a sběru EPG ze streamů.'''
+'''V lednu 2019 projekt získal nového správce, byly opraveny technické problémy a byl opět uveden do plného provozu.'''
 = Projekt Grab 2.0 - následovník projektu DVBGrab =

@@ Řádka 1: / Řádka 1: @@
 = Aktuální stav projektu =
-'''Od října 2013 je projekt bez vedoucího a pozastaven. Pokud máš zájem se projektu ujmout, ozvi se [[VEDENI:Lide#Centr.C3.A1la|projektovému manažerovi]].'''
+'''Od března 2017 je projekt pozastaven z důvodu dlouhodobé naprosté neochoty vedení klubu a sekce admins vyřešit vzniklý problém nefungujícího multicastu na virtuálních serverech (zahrnujících grabovací server), který brání nrahrávání pořadů a sběru EPG ze streamů.'''
 = Projekt Grab 2.0 - následovník projektu DVBGrab =

← Starší verze		Verze z 20. 3. 2017, 17:13
Řádka 2:		Řádka 2:

	'''Od října 2013 je projekt bez vedoucího a pozastaven. Pokud máš zájem se projektu ujmout, ozvi se [[VEDENI:Lide#Centr.C3.A1la\|projektovému manažerovi]].'''		'''Od října 2013 je projekt bez vedoucího a pozastaven. Pokud máš zájem se projektu ujmout, ozvi se [[VEDENI:Lide#Centr.C3.A1la\|projektovému manažerovi]].'''
		+
		+	= Projekt Grab 2.0 - následovník projektu DVBGrab =
		+
		+	Grab 2.0 je aplikace pro virtuální videorekordér, která byla vyvinuta od nuly jako nástupce projektu DVBgrab, který byl října 2013 bez vedoucího a pozastaven.
		+
		+	Aplikace je postavena na aktuálních technologiích a jednoduchém principu, který zajišťuje její stabilitu a robustnost. Skládá se ze dvou částí, webové aplikace v RoR s uživatelským rozhraním a EPG na webhostingovém serveru a grabovacího serveru, který se dynamicky řídí instrukcemi (pomocí API) od webové aplikace. Tak funguje volba a nahrávání daných pořadů pro uživatele. Veškeré požadavky na stažení pořadu nahraného pro uživatele je řízeno opět webovou aplikací, která podepíše request a přesměruje uživatele na grabovací server, ze kterého si pořad může stáhnout po ověření requestu. Kapacita úložiště pořadů je 500GB (s využitím deduplikace dat na úložišti) a po naplnění se odstraňují nejstarší nahrávky.
		+
		+	Řešiteli jsou:
		+	*Dominik Mališ
		+	*Vladimír Kincl

	= Projekt DVBgrab - virtuální videorekordér =		= Projekt DVBgrab - virtuální videorekordér =

← Starší verze		Verze z 11. 10. 2013, 10:27
Řádka 1:		Řádka 1:
		+	= Aktuální stav projektu =
		+
		+	'''Od října 2013 je projekt bez vedoucího a pozastaven. Pokud máš zájem se projektu ujmout, ozvi se [[VEDENI:Lide#Centr.C3.A1la\|projektovému manažerovi]].'''
		+
	= Projekt DVBgrab - virtuální videorekordér =		= Projekt DVBgrab - virtuální videorekordér =

← Starší verze		Verze z 19. 3. 2012, 21:50
Řádka 66:		Řádka 66:

	* Www stránky projektu [http://dvbgrab.sh.cvut.cz http://dvbgrab.sh.cvut.cz]		* Www stránky projektu [http://dvbgrab.sh.cvut.cz http://dvbgrab.sh.cvut.cz]
		+
		+	[[Category: Projekty]]

@@ Řádka 19: / Řádka 19: @@
 Druhou kategorií jsou encodery. Ty zpracovávájí uložené záznamy a ukládají je po případném překódování na storage. V běžném provozu běží encoding na 1-4 strojích. V případě že naroste fronta pořadů na zpracování, je encodér spuštěn na dalším serveru.
-Třetími stroji jsou storage, na které jsou ukládány zpracované záznamy a odtud jsou stahovány užovateli.
+Třetími stroji jsou storage, na které jsou ukládány zpracované záznamy a odtud jsou stahovány uživateli.
 Vedle těchto komponent ještě v systému běží databáze, a web.
-== Cíle projektu ==
+== Cíle projektu a zprávy ==
 Cíle projektu a zprávy za jednotlivá pololetí jsou k dispozici na webu projektu:

@@ Řádka 40: / Řádka 40: @@
 Projekt byl oceněn jako aktivita měsíce za měsíc červenec 2007.
 == Řešitelé ==
 [[Šmejkal Stanislav]]
-* vedoucí projektu
+* duchovní otec projektu
 * správa systému, programování
 * helpdesk pro uživatele
 [[Čech Zbyněk]]
 * správa operačního systému
 * návrhy hardware, řešení přesunu dat
 Bendová Petra
@@ Řádka 179: / Řádka 61: @@
 * Karas Lukáš za úpravu skriptu pro stahování TV programu
 * [[Gráf Stanislav]] za opakovanou pomoc při oživování umřelého dvbstorage
 == Kontakty ==
-* E-mailová konference DVBgrabu [mailto:dvbgrab@lists.sh.cvut.cz dvbgrab@lists.sh.cvut.cz]
+* Www stránky projektu [http://dvbgrab.sh.cvut.cz http://dvbgrab.sh.cvut.cz]
-* Www stránky projektu aneb projekt najdete na http://dvbgrab.siliconhill.cz

@@ Řádka 5: / Řádka 5: @@
 == Popis projektu ==
-Projekt DVBgrab slouží uživatelům počítačových sítí klubu Silicon Hill a Pod-O-Lee jako virtuální videorekordér - doplněk šířeného digitálního televizního vysílání. Projekt umožňuje nastavit si nahrávání televizního pořadu podle televizního programu. Po skončení nahrávání je pořad do několika hodin zpracován a uložen na úložišti, odkud si jej mohou lidé, kteří si nahrávání objednali, zhruba do 10 až 14 dnů stáhnout. Virtuální videorekordér nahrazuje běžné nahrávání digitálního signálu  na videokazetu, DVD nebo pevný disk. Signál je podle přání uživatele uložen v jednom ze čtyř "kvalit". Projekt DVBgrab je postaven na poměrně hodně upraveném open-source projektu DVBgrab (http://dvbgrab.sourceforge.net). Největší úpravou bylo rozdělení logiky na 4 části - web a databáze, grabber, encoder, údržba.
+Projekt DVBgrab slouží uživatelům počítačových sítí klubu Silicon Hill a Pod-O-Lee jako virtuální videorekordér - doplněk šířeného digitálního televizního vysílání. Projekt umožňuje nastavit si nahrávání televizního pořadu podle televizního programu. Po skončení nahrávání je pořad do několika hodin zpracován a uložen na úložišti, odkud si jej mohou lidé, kteří si nahrávání objednali, zhruba do 14 dnů stáhnout. Virtuální videorekordér nahrazuje běžné nahrávání digitálního signálu  na videokazetu, DVD nebo pevný disk. Signál je podle přání uživatele uložen v jednom ze čtyř "kvalit". Projekt DVBgrab vychází myšlenek open-source projektu DVBgrab (http://dvbgrab.sourceforge.net), byť z původního projektu již nezůstala původní ani řádka kódu. Zásadní úpravou bylo rozdělení logiky systému na 6 částí - web, databáze, řídící logika, grabování, encoding, storage a jejich optimalizace pro běh na více serverech současně. Aktuelní systém je odolný vůči výpadku libovolného jednoho až tří serverů systému, kdy nedojde ke ztrátě dat, ale pouze k dočasnému zpomalení enkódování či znepřístupnění grabů.
-Digitální televizní vysílání je v počítačových sítích Studentské unie ČVUT šířeno pomocí multicastu již několik let. Na serveru jsou dvě digitální DVB-T karty, které zachytávání a poskytují studentům původní digitální signál 7 televizních (ČT1, ČT2, ČT24, ČT 4 Sport, Nova, Prima, Óčko) a 7 rozhlasových (ČRo1 Radiožurnál, ČRo2 Praha, ČRo3 Vltava, ČRo4 Wave, D-dur, Rádio Česko a Leonardo) stanic. Všechny tyto stanice DVBgrab umí nahrán a poskytovat uživatelům. Televizní stanice nahrává buď jako původní stream (MPEG2), nebo pomocí mencoderu překódovaný do MPEG4 (XVid) a to v plném rozlišení 1600kbps, v polovičním rozlišení 1400kbps nebo v náhledovém čtvrtinovém rozlišení 600 kbps. Rozlišení není pevné, ale je stanoveno násobkem, zvuk je vždy ponechán v původní kvalitě, čímž zajistíme, že duální vysílání, stereo, formát 16:9 apod. je stále v pořádku. Rozhlasové vysílání je ukládáno buď v původním MP2 streamu nebo překódováno do MP3 nebo Ogg Vorbis. Pořady jsou nahrávány s přesahem jedné hodiny, z toho 15 minut před začátkem a 45 po konci pořadu v televizním programu. Přesahy jsou nutné z důvodu nedodržování televizního programu všemi televizními společnostmi. Ve skutečnosti je možné po většinu dne přesahy zkrátit, ale je nutné dlouhodobě testovat které kanály mají jakou odchylku v které hodiny.
+Digitální televizní vysílání je v počítačových sítích Studentské unie ČVUT šířeno pomocí multicastu již několik let. Na serverech jsou tyto multicacty zachytávány a následně zpracovávány. Krom televizních kanálů systém zpracovává i rozhlasová stanice. Televizní stanice nahrává buď jako původní stream (MPEG2), nebo je překódovává do MPEG4 (XVid) a to v plném rozlišení 1600kbps, v polovičním rozlišení 1400kbps nebo v náhledovém čtvrtinovém rozlišení 600 kbps. Rozlišení není pevné, ale je stanoveno násobkem rozlišení původního streamu. Zvuk je vždy ponechán v původní kvalitě, čímž zajistíme, že duální vysílání, stereo, formát 16:9 apod. je stále v pořádku. Rozhlasové vysílání je ukládáno buď v původním MP2 streamu nebo překódováno do MP3 nebo Ogg Vorbis. Pořady jsou nahrávány s přesahem jedné hodiny, z toho 15 minut před začátkem a 45 po konci pořadu v televizním programu. Přesahy jsou nutné z důvodu nedodržování televizního programu všemi televizními společnostmi. Ve skutečnosti je možné po většinu dne přesahy zkrátit, ale je nutné dlouhodobě testovat které kanály mají jakou odchylku v které hodiny.
-Po celou dosavadní dobu provozu projektu běží testovací režim během kterého sledujeme požadavky uživatelů, výkon a stabilitu techniky, kvalitu a rychlost zpracování pořadů.
+Průběžně sledujeme požadavky uživatelů, výkon a stabilitu techniky, kvalitu a rychlost zpracování pořadů.
 == Technika ==
-Technickým zázemím projektu jsou 3 servery, které dřív sloužily podobným účelům,takže rozjezd DVBgrabu nepřinesl žádné požadavky na rozpočet klubu. Více technických informací na stránce [[Servery_dvbgrab]].
+Technickým zázemím projektu je 7 serverů, které buď zbyly z jiných projektů či byly zakoupeny přímo pro dvbgrab. Zahrnují stroje různého stáří a výkonu z let 2004-2009. Více technických informací na stránce [[Servery_dvbgrab]]. Na těchto strojích běží jednotlivé z částí systému, přičemž některé části běží na více serverech současně.
-Prvním strojem na cestě signálu k uživateli je grabber. Grabber je server, na kterém běží web a databáze projektu a hlavně logika ukládání streamů podle programu. Stroj obsahuje 1 TB pole složené ze sedmi disků, 1 GB paměti a procesor Athlon XP 1800+. Operační systém Debian GNU/Linux lenny, kernel 2.6.18, webový server Apache s PHP5 a databáze MySQL 4.1 poskytují zázemí celému projektu. Streamy se ukládají pomocí dumprtp. Stroj grabber je spojen přes NFS s dalšími stroji projektu. Bohužel nedostatečný výkon filesystému a obecně návrh stroje způsobují výpadky při ukládání, což v důsledku znamená snížení kvality poskytované služby. Vedení klubu bylo požádáno o zakoupení nového stroje a tento požadavek byl představenstvem schválen.
+Prvními stroji na cestě signálu k uživateli jsou grabbery. Grabber je server, kde běží logika ukládání streamů podle programu. Grabbery jsou navrženy tak, aby se částečně funkčně překrývali, čímž je zajištěna dostupnost všech pořadů i při selhání nebo výpadku jednoho z nich.
-Druhým strojem je encoder, který zpracovává uložené záznamy a ukládá je po případném překódování na úložiště na DVBstorage.  Stroj obsahuje 2x AMD Opteron Dula Core 270, 2 GB paměti, ale pouze 1 disk na systém i dočasná data. Operační systém je Debian GNU/Linux lenny, kernel 2.6.18. Na stroji běží logika zpracování záznamů včetně kódovacího software mencoder pro televizní záznamy a ffmpeg, lame a oggenc pro rozhlasové záznamy. Vedení klubu bylo požádáno o zakoupení nových disků a tento požadavek byl představenstvem schválen. Pro zajištění bezpečnějšího ukládání dat bude právě enkodér zajišťovat společné služby celého projektu, tj. web, databázi a údržbové skripty.
+Druhou kategorií jsou encodery. Ty zpracovávájí uložené záznamy a ukládají je po případném překódování na storage. V běžném provozu běží encoding na 1-4 strojích. V případě že naroste fronta pořadů na zpracování, je encodér spuštěn na dalším serveru.
-Třetím strojem je DVBstorage, na který jsou ukládány zpracované záznamy. Stroj obsahuje 4 TB úložiště v HW raidu složené z 12 ks disků Seagate Barracuda 400 GB. Procesor AMD Opteron 144 dostačuje, paměť 1 GB bude doplněna. Operační systém je Debian GNU/Linux lenny, kernel 2.6.20, webový server Apache. Ukazuje se, že přetížený stroj je úzkým hrdlem celého projektu, snižuje rychlost stahování pro uživatele a brzdí jak encoder, tak celou logiku údržby systému. V současné době je na DVBstorage uloženo cca 1,5 TB dat, která nepatří projektu DVBgrab a která budou na přelomu roku přesunuta na jiné úložiště klubu Silicon Hill. Upgrade stroje i přesun dat byl již schválen vedením klubu.
+Třetími stroji jsou storage, na které jsou ukládány zpracované záznamy a odtud jsou stahovány užovateli.
 == Cíle projektu ==
-Po splnění všech dosavadních cílů byly počátkem prosince stanoveny nové cíle rozvoje projektu.
+Cíle projektu a zprávy za jednotlivá pololetí jsou k dispozici na webu projektu:
-Krátkodobé cíle
+* [http://dvbgrab.sh.cvut.cz/zprava-2008-1.php První pololetí 2008]
-* zakoupit, sestavit, nainstalovat nový grabber
+* [http://dvbgrab.sh.cvut.cz/zprava-2008-2.php Druhé pololetí 2008]
-* upgrade encoderu a dvbstorage
+* [http://dvbgrab.sh.cvut.cz/zprava-2009-1.php První pololetí 2009]
 = Chválíme se =
-Projekt DVBgrab je jeden z nejvyužívanějších projektů v klubu Silicon Hill, má registrovaných 1483 aktivních uživatelů, v posledním týdnu se přihlásilo 752 z nich, v současné době si každý nahrávaný pořad nahrává v průměru 7 lidí, nejvíce žádané pořady si nahrává přes 50 lidí současně, rekord je 103 uživatelů na pořad. Za prvních pět měsíců zkušebního provozu (od 15.7. do 15.12.2007) zpracoval 50645 požadavků na grabování od 1483 uživatelů, tj. celkem 17778 záznamů z 9835 pořadů.
+Projekt DVBgrab je jeden z nejvyužívanějších projektů v klubu Silicon Hill, má registrovaných 1483 aktivních uživatelů, v posledním týdnu se přihlásilo 752 z nich, v současné době si každý nahrávaný pořad nahrává v průměru 7 lidí, nejvíce žádané pořady si nahrává přes 50 lidí současně, rekord je 103 uživatelů na pořad. Projekt zpracoval za dobu své existence přes zpracoval 350000 požadavků na grabování z více než 68000 pořadů.
-−
-Spolehlivost stoje je poměrně dobrá, za 5 měsíců provozu bylo ztraceno pouze 65 pořadů, tj. 0,4 %. Ze 16992 výsledných souborů je 14427 již smazaných (84,9%), 1732 aktuálně ke stažení (10,2%), 4 nezpracované (0,0%), 13 právě nahrávaných (0,1%), 751 naplánovaných (4,4%) a 65 ztracených (0,4%).
-Projekt byl oceněn jako aktivita měsíce za měsíc červenec 2007. Jedinou vadou na kráse je pokulhávající kvalita uložených streamů, které jsou částečně ovlivněny kvalitou DVB signálu po SH, částečně nedostatečným výkonem grabberu.
+Projekt byl oceněn jako aktivita měsíce za měsíc červenec 2007.
 = Financování =