240px-Diamond warning sign (Vienna Convention style).svg.png Content of this wiki is DEPRECATED 240px-Diamond warning sign (Vienna Convention style).svg.png

DVBgrab

Z old-wiki.siliconhill.cz
(Rozdíly mezi verzemi)
Přejít na: navigace, hledání
(+ aktualni URL)
 
(Není zobrazeno 8 mezilehlých verzí od 4 uživatelů.)
Řádka 1: Řádka 1:
 +
= Aktuální stav projektu =
 +
 +
'''V lednu 2019 projekt získal nového správce, byly opraveny technické problémy a byl opět uveden do plného provozu.'''
 +
 +
<s>Od března 2017 je projekt pozastaven z důvodu dlouhodobé naprosté neochoty vedení klubu a sekce admins vyřešit vzniklý problém nefungujícího multicastu na virtuálních serverech (zahrnujících grabovací server), který brání nrahrávání pořadů a sběru EPG ze streamů.</s>
 +
 +
= Projekt Grab 2.0 - následovník projektu DVBGrab =
 +
 +
Grab 2.0 je aplikace pro virtuální videorekordér, která byla vyvinuta od nuly jako nástupce projektu DVBgrab, který byl října 2013 bez vedoucího a pozastaven.
 +
 +
Aplikace je postavena na aktuálních technologiích a jednoduchém principu, který zajišťuje její stabilitu a robustnost. Skládá se ze dvou částí, webové aplikace v RoR s uživatelským rozhraním a EPG na webhostingovém serveru a grabovacího serveru, který se dynamicky řídí instrukcemi (pomocí API) od webové aplikace. Tak funguje volba a nahrávání daných pořadů pro uživatele. Veškeré požadavky na stažení pořadu nahraného pro uživatele je řízeno opět webovou aplikací, která podepíše request a přesměruje uživatele na grabovací server, ze kterého si pořad může stáhnout po ověření requestu. Kapacita úložiště pořadů je 500GB (s využitím deduplikace dat na úložišti) a po naplnění se odstraňují nejstarší nahrávky.
 +
 +
Řešiteli jsou:
 +
*Dominik Mališ
 +
*Vladimír Kincl
 +
Aktuální správce:
 +
*Jaroslav Zdeněk
 +
 +
WWW stránky aktuálního projektu [http://grab.sh.cvut.cz http://grab.sh.cvut.cz]
 +
 
= Projekt DVBgrab - virtuální videorekordér =
 
= Projekt DVBgrab - virtuální videorekordér =
  
Řádka 19: Řádka 39:
 
Druhou kategorií jsou encodery. Ty zpracovávájí uložené záznamy a ukládají je po případném překódování na storage. V běžném provozu běží encoding na 1-4 strojích. V případě že naroste fronta pořadů na zpracování, je encodér spuštěn na dalším serveru.
 
Druhou kategorií jsou encodery. Ty zpracovávájí uložené záznamy a ukládají je po případném překódování na storage. V běžném provozu běží encoding na 1-4 strojích. V případě že naroste fronta pořadů na zpracování, je encodér spuštěn na dalším serveru.
  
Třetími stroji jsou storage, na které jsou ukládány zpracované záznamy a odtud jsou stahovány užovateli.  
+
Třetími stroji jsou storage, na které jsou ukládány zpracované záznamy a odtud jsou stahovány uživateli.  
  
 
Vedle těchto komponent ještě v systému běží databáze, a web.
 
Vedle těchto komponent ještě v systému běží databáze, a web.
  
  
== Cíle projektu ==
+
== Cíle projektu a zprávy ==
  
 
Cíle projektu a zprávy za jednotlivá pololetí jsou k dispozici na webu projektu:
 
Cíle projektu a zprávy za jednotlivá pololetí jsou k dispozici na webu projektu:
Řádka 40: Řádka 60:
 
Projekt byl oceněn jako aktivita měsíce za měsíc červenec 2007.  
 
Projekt byl oceněn jako aktivita měsíce za měsíc červenec 2007.  
  
= Financování =
 
 
== druhé pololetí 2008 ==
 
 
=== Požadavky do rozpočtu ===
 
 
{| border="1" cellspacing="0" cellpadding="4" align="center"
 
|-
 
| Příjmy
 
| 0,- Kč
 
|
 
|
 
|-
 
| Výdaje grabber
 
| 70.000,- Kč
 
| server HP DL320 G5p, DualCore Xeon, 4GB RAM<br />2x 250GB + 2x 750 GB SATA
 
| nový server
 
|}
 
 
Zdůvodnění:
 
* Současný server grabber nedostačuje požadavkům projektu, je zdrojem mnoha chyb v grabech a uživatelé si na kvalitu záznamů stěžují. Konfigurace je plánována jako nový server, který musí být několik let schopen naplno pracovat bez dalších investic. Disková kapacita podobně jako na encoderu (2x250 GB systém, 2x 750 GB v RAID0 pro rychlé úložiště). Cena může být v závislosti na vyjednaných podmínkách mezi SH a HP nižší.
 
 
== první pololetí 2008 ==
 
 
=== Čerpání ===
 
 
{| border="1" cellspacing="0" cellpadding="4" align="center"
 
|-
 
| Příjmy
 
| 0,- Kč
 
|
 
|
 
|-
 
| Výdaje ČT
 
| 1.485,- Kč
 
| koncesionářský poplatek
 
| 11.4.2008
 
|}
 
 
* Do 10.5.2008 jsme měli zablokované čerpání prostředků na rozvoj
 
* V červnu je plánováno čerpání na upgrade dvbstorage a encoderu
 
* V červnu je plánováno čerpání na právníky
 
 
=== Změna rozpočtu ===
 
 
* Představenstvo klubu rozhodlo v březnu 2008 přesunout část prostředků (25.000) na právní zajištění projektu.
 
 
=== Schváleno představenstvem ===
 
 
Byli jsme poměrně úspěšní, bylo nám schváleno 80.000 Kč.
 
 
=== Požadavky do rozpočtu ===
 
 
{| border="1" cellspacing="0" cellpadding="4" align="center"
 
|-
 
| Příjmy
 
| 0,- Kč
 
|
 
|
 
|-
 
| Nepřímé příjmy
 
| ???,- Kč
 
| členské příspěvky
 
| noví členové
 
|-
 
| Výdaje grabber
 
| 70.000,- Kč
 
| server HP DL320 G5p, DualCore Xeon, 4GB RAM<br />2x 250GB + 2x 750 GB SATA
 
| nový server
 
|-
 
| Výdaje encoder
 
| 13.200,- Kč
 
| 1x 200GB HDD IDE na systém (druhý disk do raid 1)<br />2x 750GB HDD SATA2 na pracovní data
 
| doplnění druhého systémového disku a disky na data
 
|-
 
| Výdaje dvbstorage
 
| 7.800,- Kč
 
| 4x 1GB RAM DDR 400MHz CZL2
 
| upgrade RAM z 1 GB na 4 GB
 
|}
 
 
Zdůvodnění:
 
* Současný server grabber nedostačuje požadavkům projektu, je zdrojem mnoha chyb v grabech a uživatelé si na kvalitu záznamů stěžují. Konfigurace je plánována jako nový server, který musí být několik let schopen naplno pracovat bez dalších investic. Disková kapacita podobně jako na encoderu (2x250 GB systém, 2x 750 GB v RAID0 pro rychlé úložiště). Cena může být v závislosti na vyjednaných podmínkách mezi SH a HP nižší, projekt nebude dočerpávat ušetřené prostředky na jiné náklady a pokud dojde ke zlevnění nákupu, vrátí ušetřenou částku do rozpočtu.
 
* V současné době je v encoderu pouze jeden 200 GB disk bez jakéhokoliv zabezpečení. Protože chystáme maximálně odlehčit grabber, bude k ukládání nezpracovaných pořadů docházet na stroji encoder. K tomu je nutné zakoupit nové dva disky do RAID1 čistě na data.
 
* Paměť dvbstorage je trvale přetížena a dochází k prudkému omezování rychlosti stahování po celý den.
 
* Projekt DVBgrab nežádal prostředky ze SGS, protože neinvestiční prostředky ani propagaci nepotřebuje.
 
 
== druhé pololetí 2007 ==
 
 
{| border="1" cellspacing="0" cellpadding="4" align="center"
 
|-
 
| Příjmy
 
| 0,- Kč
 
|-
 
| Výdaje
 
| 0,- Kč
 
|-
 
| Nepřímé příjmy
 
| noví členové
 
|}
 
 
== první pololetí 2007 ==
 
 
{| border="1" cellspacing="0" cellpadding="4" align="center"
 
|-
 
| Příjmy
 
| 0,- Kč
 
|-
 
| Výdaje
 
| 0,- Kč
 
|-
 
| Hardware
 
| starší,nevyužívaný
 
|}
 
 
= Zpávy o činnosti =
 
 
* [https://dvbgrab.siliconhill.cz/zprava-2008-1.php Zpráva za 1. pololetí 2008]
 
 
= Lidé a kontakty =
 
  
 
== Řešitelé ==
 
== Řešitelé ==
  
 
[[Šmejkal Stanislav]]
 
[[Šmejkal Stanislav]]
* vedoucí projektu
+
* duchovní otec projektu
 
* správa systému, programování
 
* správa systému, programování
 
* helpdesk pro uživatele
 
* helpdesk pro uživatele
  
 
[[Čech Zbyněk]]
 
[[Čech Zbyněk]]
 +
* vedoucí projektu
 
* správa operačního systému
 
* správa operačního systému
 
* návrhy hardware, řešení přesunu dat
 
* návrhy hardware, řešení přesunu dat
 +
* helpdesk pro uživatele
  
 
Bendová Petra
 
Bendová Petra
Řádka 179: Řádka 81:
 
* Karas Lukáš za úpravu skriptu pro stahování TV programu
 
* Karas Lukáš za úpravu skriptu pro stahování TV programu
 
* [[Gráf Stanislav]] za opakovanou pomoc při oživování umřelého dvbstorage
 
* [[Gráf Stanislav]] za opakovanou pomoc při oživování umřelého dvbstorage
 +
  
 
== Kontakty ==
 
== Kontakty ==
  
* E-mailová konference DVBgrabu [mailto:dvbgrab@lists.sh.cvut.cz dvbgrab@lists.sh.cvut.cz]
+
* Www stránky projektu [http://dvbgrab.sh.cvut.cz http://dvbgrab.sh.cvut.cz]
* Www stránky projektu aneb projekt najdete na http://dvbgrab.siliconhill.cz
+
 
 +
[[Category: Projekty]]

Aktuální verze z 28. 1. 2020, 02:04

Obsah

[editovat] Aktuální stav projektu

V lednu 2019 projekt získal nového správce, byly opraveny technické problémy a byl opět uveden do plného provozu.

Od března 2017 je projekt pozastaven z důvodu dlouhodobé naprosté neochoty vedení klubu a sekce admins vyřešit vzniklý problém nefungujícího multicastu na virtuálních serverech (zahrnujících grabovací server), který brání nrahrávání pořadů a sběru EPG ze streamů.

[editovat] Projekt Grab 2.0 - následovník projektu DVBGrab

Grab 2.0 je aplikace pro virtuální videorekordér, která byla vyvinuta od nuly jako nástupce projektu DVBgrab, který byl října 2013 bez vedoucího a pozastaven.

Aplikace je postavena na aktuálních technologiích a jednoduchém principu, který zajišťuje její stabilitu a robustnost. Skládá se ze dvou částí, webové aplikace v RoR s uživatelským rozhraním a EPG na webhostingovém serveru a grabovacího serveru, který se dynamicky řídí instrukcemi (pomocí API) od webové aplikace. Tak funguje volba a nahrávání daných pořadů pro uživatele. Veškeré požadavky na stažení pořadu nahraného pro uživatele je řízeno opět webovou aplikací, která podepíše request a přesměruje uživatele na grabovací server, ze kterého si pořad může stáhnout po ověření requestu. Kapacita úložiště pořadů je 500GB (s využitím deduplikace dat na úložišti) a po naplnění se odstraňují nejstarší nahrávky.

Řešiteli jsou:

  • Dominik Mališ
  • Vladimír Kincl

Aktuální správce:

  • Jaroslav Zdeněk

WWW stránky aktuálního projektu http://grab.sh.cvut.cz

[editovat] Projekt DVBgrab - virtuální videorekordér

Dvbgrab-071217-small.png

[editovat] Popis projektu

Projekt DVBgrab slouží uživatelům počítačových sítí klubu Silicon Hill a Pod-O-Lee jako virtuální videorekordér - doplněk šířeného digitálního televizního vysílání. Projekt umožňuje nastavit si nahrávání televizního pořadu podle televizního programu. Po skončení nahrávání je pořad do několika hodin zpracován a uložen na úložišti, odkud si jej mohou lidé, kteří si nahrávání objednali, zhruba do 14 dnů stáhnout. Virtuální videorekordér nahrazuje běžné nahrávání digitálního signálu na videokazetu, DVD nebo pevný disk. Signál je podle přání uživatele uložen v jednom ze čtyř "kvalit". Projekt DVBgrab vychází myšlenek open-source projektu DVBgrab (http://dvbgrab.sourceforge.net), byť z původního projektu již nezůstala původní ani řádka kódu. Zásadní úpravou bylo rozdělení logiky systému na 6 částí - web, databáze, řídící logika, grabování, encoding, storage a jejich optimalizace pro běh na více serverech současně. Aktuelní systém je odolný vůči výpadku libovolného jednoho až tří serverů systému, kdy nedojde ke ztrátě dat, ale pouze k dočasnému zpomalení enkódování či znepřístupnění grabů.

Digitální televizní vysílání je v počítačových sítích Studentské unie ČVUT šířeno pomocí multicastu již několik let. Na serverech jsou tyto multicacty zachytávány a následně zpracovávány. Krom televizních kanálů systém zpracovává i rozhlasová stanice. Televizní stanice nahrává buď jako původní stream (MPEG2), nebo je překódovává do MPEG4 (XVid) a to v plném rozlišení 1600kbps, v polovičním rozlišení 1400kbps nebo v náhledovém čtvrtinovém rozlišení 600 kbps. Rozlišení není pevné, ale je stanoveno násobkem rozlišení původního streamu. Zvuk je vždy ponechán v původní kvalitě, čímž zajistíme, že duální vysílání, stereo, formát 16:9 apod. je stále v pořádku. Rozhlasové vysílání je ukládáno buď v původním MP2 streamu nebo překódováno do MP3 nebo Ogg Vorbis. Pořady jsou nahrávány s přesahem jedné hodiny, z toho 15 minut před začátkem a 45 po konci pořadu v televizním programu. Přesahy jsou nutné z důvodu nedodržování televizního programu všemi televizními společnostmi. Ve skutečnosti je možné po většinu dne přesahy zkrátit, ale je nutné dlouhodobě testovat které kanály mají jakou odchylku v které hodiny.

Průběžně sledujeme požadavky uživatelů, výkon a stabilitu techniky, kvalitu a rychlost zpracování pořadů.

[editovat] Technika

Technickým zázemím projektu je 7 serverů, které buď zbyly z jiných projektů či byly zakoupeny přímo pro dvbgrab. Zahrnují stroje různého stáří a výkonu z let 2004-2009. Více technických informací na stránce Servery_dvbgrab. Na těchto strojích běží jednotlivé z částí systému, přičemž některé části běží na více serverech současně.

Prvními stroji na cestě signálu k uživateli jsou grabbery. Grabber je server, kde běží logika ukládání streamů podle programu. Grabbery jsou navrženy tak, aby se částečně funkčně překrývali, čímž je zajištěna dostupnost všech pořadů i při selhání nebo výpadku jednoho z nich.

Druhou kategorií jsou encodery. Ty zpracovávájí uložené záznamy a ukládají je po případném překódování na storage. V běžném provozu běží encoding na 1-4 strojích. V případě že naroste fronta pořadů na zpracování, je encodér spuštěn na dalším serveru.

Třetími stroji jsou storage, na které jsou ukládány zpracované záznamy a odtud jsou stahovány uživateli.

Vedle těchto komponent ještě v systému běží databáze, a web.


[editovat] Cíle projektu a zprávy

Cíle projektu a zprávy za jednotlivá pololetí jsou k dispozici na webu projektu:


[editovat] Chválíme se

Projekt DVBgrab je jeden z nejvyužívanějších projektů v klubu Silicon Hill, má registrovaných 1483 aktivních uživatelů, v posledním týdnu se přihlásilo 752 z nich, v současné době si každý nahrávaný pořad nahrává v průměru 7 lidí, nejvíce žádané pořady si nahrává přes 50 lidí současně, rekord je 103 uživatelů na pořad. Projekt zpracoval za dobu své existence přes zpracoval 350000 požadavků na grabování z více než 68000 pořadů.

Projekt byl oceněn jako aktivita měsíce za měsíc červenec 2007.


[editovat] Řešitelé

Šmejkal Stanislav

  • duchovní otec projektu
  • správa systému, programování
  • helpdesk pro uživatele

Čech Zbyněk

  • vedoucí projektu
  • správa operačního systému
  • návrhy hardware, řešení přesunu dat
  • helpdesk pro uživatele

Bendová Petra

  • cizojazyčné verze, testování

Special thanks to

  • Bruchanov Martin za PR a pomoc při schválení rozvoje projektu
  • Karas Lukáš za úpravu skriptu pro stahování TV programu
  • Gráf Stanislav za opakovanou pomoc při oživování umřelého dvbstorage


[editovat] Kontakty

Jmenné prostory

Varianty
Akce