NZB's streamen in XBMC

Door Mar2zz op dinsdag 16 augustus 2011 08:42 - Reacties (18)
CategorieŽn: Addons, Films, Newznab, Views: 18.744

Een korte blog dit keer. Ik kreeg een geweldige tip van tweaker j1nx, over een xbmc addon die het mogelijk maakt om films vanuit een nzb-file te streamen zodra de 1e rarfile binnen is. De setup bleek wat ingewikkeld, want ook al is het beta volgens de maker, volgens mij kan het beter een alpha status hebben.

Mijn idee was daarom om er een blog over te maken, hopende dat meer mensen het gaan proberen, en dan fijn github gaan volplempen met issues voorzien van een log, zodat het snel van alpha naar beta naar final kan gaan.

Ben je soms ook ongeduldig en wil je een film uitkijken binnen 1 minuut nadat je op "Add nzb' hebt geklikt? Het kan nu dus! Wat een potentieel heeft deze addon. Bij wijze van spreken hoef je nooit meer een film lokaal te hebben, want je kunt ze nu gewoon streamen!

Hoe gaat dat dan?
Popeye, een member van xbmc.org, heeft een addon geschreven die gebruik maakt van de api van nzbs.org en/of nzb.su. De addon nestelt zich in het video-addons scherm van XBMC en daar kun je het starten en browsen door de verschillende secties van deze providers. Dus bijvoorbeeld Movies. Als je dan een movie kiest zal de nzb ervan naar Sabnzbd gestuurd worden die het vervolgens gaat downloaden met de hoogste prioriteit (dus het komt bovenaan in de queue). Nadat er 1 rarfile is gedownload zal deze uitgepakt worden en wordt de film gestart. Afhankelijk van je verbinding heb je dan een fractie van de normale wachttijd voor het downloaden van de hele film. De navolgende rars zullen tijdens het kijken ook gedownload worden en zo kan je de hele film bekijken.

Installatie
Er zijn 2 addons nodig, of 1 als je alleen nzbs.org wilt gebruiken. Maar die website is niet meer wat het geweest is, dus die van nzb.su erbij geeft veel meer resultaat. Op https://github.com/TsUPeR/xbmc-nzbs en https://github.com/TsUPeR/xbmc-nzb.su kun je onder de knop Downloads altijd de laatste versie vinden. Deze zijn voorzien van versienummers. Popeye raadt aan om altijd deze te gebruiken, en niet een clone te trekken van de github-repo.

Log in op je xbmc-machine of zorg in ieder geval dat je beide zips daar krijgt. Via de terminal:
wget https://github.com/downloads/TsUPeR/xbmc-nzbs/plugin.video.nzbs-0.0.10.zip
wget https://github.com/downloads/TsUPeR/xbmc-nzb.su/plugin.video.nzbsu-0.0.3.zip


Nu moet je in de interface van XBMC via "Systeem > Addons > Installeren via zip bestand" eerst de nzbs toevoegen, en daarna de nzb.su. De addons zullen geinstalleerd worden door de addonmanager zodra je ze selecteert.

Nu dien je de plugins te configureren. Dat kan via je xbmc-interface, maar ik vind het zelf altijd makkelijker om dat even via nano in de terminal te doen, omdat hier ook api-keys (=veul karakters) ingevuld moeten worden.
nano ~/.xbmc/userdata/addon_data/plugin.video.nzbs/settings.xml
nano ~/.xbmc/userdata/addon_data/plugin.video.nzbsu/settings.xml

Vul sabnzbd-gegevens, en nzbs.org en/of nzb.su gegevens in. Je api-key en id kun je van je profilepagina halen op beide websites.

Nu moet je ook nog iets aanzetten in sabnzbd zelf. Dit kan niet via de webinterface, het is een hidden feature. Verander in sabnzb.ini allow_streaming = 0 in allow_streaming = 1. De default locatie is ~/.sabnzbd/sabnzbd.ini. Je moet wel sabnzbd even stoppen voordat je dat doet. Dat kan via de webinterface, of met 'sudo /etc/init.d/sabnzbdplus stop'. Na de wijziging in de ini file kun je het weer starten.

XBMC moet ook bij je incomplete map kunnen en erin lezen en schrijven. Deze moet je dus even chmodden. Ik heb 'm op 777 (sudo chmod 777 /pad/naar/incomplete) gezet, maar dat is waarschijnlijk overkill. Voor het testen is dat wel even ok.

NZB's streamen
Het is een alpha-plugin zoals ik al zei. Ik moest dus zelf al iets fixen voordat ik zonder errors een film kon starten. De fix stond wel gewoon in het forum op xbmc.org. Ik kwam via de xbmc.log erachter dat ik een fout had in regel 242 van de nzbs plugin default.py. Iets met 5 arguments expecting 4. Nadat ik regel 242 van ~/.xbmc/addons/plugin.video.nzbs/default.py had verandert in
code:
1
progressDialog.update(0, 'Request to SABnzbd succeeded', 'Waiting for first rar', label)

was die in ieder geval opgelost. Wel vreemd dat ie bekend is, maar dat ie nog niet in de zip zat, maar wellicht wil Popeye niet voor elk fixje een versie releasen.

Daarna had ik ook nog een probleempje waarvan nog geen oplossing was, maar nadat ik dat op xbmc.org had gepost had ik binnen TWEE!! minuten antwoord. Vreemde karakters in de history van Sabnzbd, en na een complete flush daarvan werkte de plugin.

Afsluiting
XBMC ging keihard op zijn muil toen ik de film eindelijk kon selecteren vanuit de rar. Een complete lockdown sort of speak. Een soft reboot verder en nu werkt de nzb.su plugin niet meer. Dus ik kan weer overnieuw beginnen. Geeft niks, het is beta, ik vind testen niet zo erg.

Maar hoe meer mensen dit proberen en testen, en issues aanmaken, hoe sneller de ontwikkeling zal gaan. De potentie is enorm. De nzb.su plugin is wel te herschrijven naar een spotweb-plugin of een newznab-plugin. Virtueel alle nzb-sites natuurlijk. Het enige wat je nodig hebt is sabnzbd, een nzb, 1 rarfile, en de pret kan al beginnen.

Mocht je ook willen bugsquashen/uitproberen en dergelijke installeer het meteen. Zet ondertussen een terminal open en typ daar het volgende in om de log erover te volgen.
tail -f ~/.xbmc/temp/xbmc.log
Zo zal het systeem beginnen te loggen en worden alle handelingen in xbmc vastgelegd. Dus ook het gedrag van deze plugins en kan je de maker ervan voorzien zodat hij snel kan zien waar het fout loopt en de boel kan fixen. Wie weet hebben allle xbmc-gebruikers over een maandje al de beschikking over een Spotweb-stream-functie... Hoe lekker is dat?

Volgende: Packaging voor Sickbeard, CouchPotato en Headphones 10-'11 Packaging voor Sickbeard, CouchPotato en Headphones
Volgende: Newznab 08-'11 Newznab

Reacties


Door Tweakers user Staatslot, dinsdag 16 augustus 2011 09:05

Goeie post en leuke nieuwe informatie!
Zelf denk ik dat deze functie mrt de tijd zal worden ingehaald door de snelle verbindingen als Glas en Ziggo met 120mbit.

Ik vraag me wel af, stel dat het 10e rar bestand corrupt is, dan stopt wel mooi de film en moet je alsnog wachten tot alles gerepareerd is.. Dat zullen veel vriendinnetjes niet leuk vinden denk ik ;)

[Reactie gewijzigd op dinsdag 16 augustus 2011 09:05]


Door Tweakers user Mar2zz, dinsdag 16 augustus 2011 09:27

Daar heb ik niet eens over nagedacht. Hoe vaak komt dat voor eigenlijk? (ik heb net mijn history in sab weggegooid, dus ik weet niet hoe vaak ik repairs heb...

He bah, moet je nou alle pret bederven :p Voor dinnetjes is het nu nog ongeschikt trouwens, de interface is ongelooflijk spartaans. Daar moet ook nog veel gebeuren (wel hoesjes enzo, maar alle metatadata mist).

Door Tweakers user _Apache_, dinsdag 16 augustus 2011 09:59

@ Staatslot : Kan een beetje machine met pit dit niet on-the-fly doen als hij met downloaden vooruit loopt ??

Door Tweakers user MarcelP102, dinsdag 16 augustus 2011 11:33

Is iets soortgelijks ook al mogelijk voor media portal?

Door Tweakers user Staatslot, dinsdag 16 augustus 2011 12:45

_Apache_ schreef op dinsdag 16 augustus 2011 @ 09:59:
@ Staatslot : Kan een beetje machine met pit dit niet on-the-fly doen als hij met downloaden vooruit loopt ??
Volgens mij kun je pas op het eind repareren, nog nooit anders gezien, dat is een beetje hoe PAR nou eenmaal werkt (kan ook niet beter denk ik btw).

Haha sorry Mar2zz, was niet de bedoeling om de pret te bederven, zeker niet zelfs.
Een kleine kritische kanttekening, maar met meer dan steun voor het melden want dit soort ontwikkelingen zijn ontzettend stoer!

Door Tweakers user Mr_Blobby, dinsdag 16 augustus 2011 13:29

Dit lijkt op de icefilms addon.
Die maakt gebuik van videos die bij MegaUpload.com zijn geplaatst en begint ook meteen met afspelen terwijl de download nog loopt.

Het probleem met nzb's is inderaad het mogelijk ontbreken of corrupt zijn van rars.
En volgens mij is mischien het ontbreken van rars nog wel van te voren te ontdekken, maar het corrupt zijn van rars niet.
In ieder geval kan het repareren pas op het eind gebeuren en dat is te laat voor het streamen van nzbs.

Door Tweakers user MicGlou, dinsdag 16 augustus 2011 13:36

Mr_Blobby schreef op dinsdag 16 augustus 2011 @ 13:29:Het probleem met nzb's is inderaad het mogelijk ontbreken of corrupt zijn van rars.
En volgens mij is mischien het ontbreken van rars nog wel van te voren te ontdekken, maar het corrupt zijn van rars niet.
In ieder geval kan het repareren pas op het eind gebeuren en dat is te laat voor het streamen van nzbs.
Ik neem aan dat je in Nederland woont en als je tot op de hoogte geinteresseerd bent in het downloaden en automatiseren daarvan, dat je ook niet met een 4mbit lijn bezig bent met downloaden. Dan hoeft zelfs het corrupt zijn van een rar bestand niet eens een probleem te zijn, zolang de eerste aantal rars maar goed zijn... zodat Downloadsnelheden zijn gemiddeld al zo hoog, dat jij die film vele malen sneller binnen hebt dan dat jij die film kijken kan... ;) Dus als de eerste 10 a 20 rars al een half uurtje beeldmateriaal bevatten... dan is je download allang binnen voor dat jij aan dat half uur zit ;)

Daarnaast kan je natuurlijk ook kijken naar een hele snelle verbinding.... als je met 100mbit plus zit, dan is eventjes weglopen om te plassen al bijna genoeg wachttijd en is de film al binnen.

[Reactie gewijzigd op dinsdag 16 augustus 2011 13:38]


Door Tweakers user Mr_Blobby, dinsdag 16 augustus 2011 13:54

MicGlou schreef op dinsdag 16 augustus 2011 @ 13:36:
[...]


Ik neem aan dat je in Nederland woont en als je tot op de hoogte geinteresseerd bent in het downloaden en automatiseren daarvan, dat je ook niet met een 4mbit lijn bezig bent met downloaden. Dan hoeft zelfs het corrupt zijn van een rar bestand niet eens een probleem te zijn, zolang de eerste aantal rars maar goed zijn... zodat Downloadsnelheden zijn gemiddeld al zo hoog, dat jij die film vele malen sneller binnen hebt dan dat jij die film kijken kan... ;) Dus als de eerste 10 a 20 rars al een half uurtje beeldmateriaal bevatten... dan is je download allang binnen voor dat jij aan dat half uur zit ;)

Daarnaast kan je natuurlijk ook kijken naar een hele snelle verbinding.... als je met 100mbit plus zit, dan is eventjes weglopen om te plassen al bijna genoeg wachttijd en is de film al binnen.
Mijn ION (1e generatie) XBMC machine is niet zo snel met het repareren, dus het is niet altijd zeker of de reparatie snel genoeg is ....

Ik heb nog wel iets interessants gevonden:
In versie 0.7.0 van SABnzbd zal een optie komen die van te voren kan controleren of de nzb compleet is op de server (bron).
Dus het probleem van ontbrekende rars is dan ten minste van te voren bekend.

Door Tweakers user FormallyUnknown, dinsdag 16 augustus 2011 17:45

Goeie blogupdates hier! Niet alles relevant of direct realiseerbaar, maar uitstekend voor in het archief, je nerdhonger mee te stillen of nieuwe mogelijkheden te ontdekken.

Keep up the great artikelen & de makkelijke (en volledige instructies) taal!. Ik heb iig ge'rsst.

Door Tweakers user j1nx, dinsdag 16 augustus 2011 18:28

Ik gebruik zelf ook de icefilm.info plugin, echter....

1) De development staat geloof ik een beetje stil
2) Het is ook een ouderwetse release community
3) Je bent afhankelijk van webbased providers zoals megaupload en dergelijke
4) Iemand moet echt wel de film uploaden dan wel indexeren. de userbase van uploaders is daardoor klein

Mijn vrouw is niet super in de engelse taal, dus die wil altijd ondertitels (ik haat die dingen, maar goed). Icefilms.info is dus niets voor haar, heb tot op heden nog nooit een film met ondertitels weten te vinden.

Usenet is de toekomst en met indexers zoals newznab (in welke variant dan ook) is het aanbod daarop MEGA groot. Echt honderde keren groter als icefilms. En niemand hoeft een site-je bij te houden en dergelijke aangezien de indexers automatisch de headers op halen en de subjects matchen aan tmdb, imdb, tvdb etc.

De snelheid is vaak gegarandeerd, of in ieder geval stabieler als de webbased file aanbieders.

Over de par's; Ik heb die dingen echt al heeeeeel lang niet meer nodig gehad. Ik download me eigen suf via de gratis IPv6 newsserver van xsnews en die is zeer compleet.

De newznab indexer bekijkt ook of de binaries zoals ze aanwezig zijn op usenet ook alle parts bevatten. Dat wil zeggen zijn alle er. Als je de site browsed dan zie je dus een percentage staan achter de file grootte. Vrijwel altijd 100%. De plugin heeft dus nog de potentie om daarop te filteren en alleen files te laten zien die in ieder geval juist geupload zijn.

Dan kan er natuurlijk best nog wel bij de individueele newsserver er ergens een headertje missen, maar daar kan de 0.7.0 versie van sabnzbd uitkomst in brengen.


Zoals ik nu films kijk;
Zo nu en dan schiet ik even spotweb op en klik ik op van alles en nog wat, wat ik intressant vind. Ik heb 50 MBit verbinding, dus de meeste films zijn binnen een 10-20 minuutjes binnen. Worden uitgepakt, verplaats en in de XBMC database opgenomen.

Dan staat het daar maar !!!

Ik download meer en sneller als dat ik kan kijken, dus over het algemeen staan al die films maar te wachten. Als ik een film gezien heb gooi ik hem vaak gewoon weg. De klasiekers of echt goede films bewaar ik. (Zijn er niet veel)

Deze plugin heeft de potentie om al dat overhoop te gooien.

Ik kijk in de plugin, ik zoek een film en kijk hem, daarna geen omkijken naar. (de plugin heeft de potentie om eventueele goede films achteraf "normaal" te laten processen en weg te zetten in de lokale database.

Als het vrouwtje wil kijken, zoekt ze gewoon op spotweb met in de titel iets van "ingebakken subs"


Mar2zz, bedankt voor de promotie. Ik ben het eens, dit kan een mega plugin worden en zal zeker mijn steentje bijdragen waar mogelijk.

Door Tweakers user Mr_Blobby, dinsdag 16 augustus 2011 20:13

j1nx schreef op dinsdag 16 augustus 2011 @ 18:28:
Ik gebruik zelf ook de icefilm.info plugin, echter....
[...]
Mijn vrouw is niet super in de engelse taal, dus die wil altijd ondertitels (ik haat die dingen, maar goed). Icefilms.info is dus niets voor haar, heb tot op heden nog nooit een film met ondertitels weten te vinden.
Ooit gehoord van de xbmc subtitles addon?
Die werkt ook voor icefilms. Je moet dan alleen in xbmc en de addon een pad aangeven waar de ondertitels moeten komen.
Usenet is de toekomst en met indexers zoals newznab (in welke variant dan ook) is het aanbod daarop MEGA groot. Echt honderde keren groter als icefilms. En niemand hoeft een site-je bij te houden en dergelijke aangezien de indexers automatisch de headers op halen en de subjects matchen aan tmdb, imdb, tvdb etc.
Ik download zelf ook gewoon van usenet (40 mbit), maar het voordeel van icefilms is dat je kan zoeken en afspelen in XBMC en ze hebben een gigantische grote hoeveelheid tv series, die soms jaren terug gaan (wat op usenet nog vaak een probleem is, gezien de retentie van een jaar ofzo).

Door Tweakers user j1nx, dinsdag 16 augustus 2011 20:54

Mr_Blobby schreef op dinsdag 16 augustus 2011 @ 20:13:
[...]

Ooit gehoord van de xbmc subtitles addon?
Die werkt ook voor icefilms. Je moet dan alleen in xbmc en de addon een pad aangeven waar de ondertitels moeten komen.
Ja wel hoor :) Maar daar heb ik nooit echt goede ervaringen mee gehad, maar kan aan mijzelf liggen. Is wel de reden dat ik het bij icefilms ook nooit geprobeerd heb. Heb altijd moeite om de juiste srt te pakken en loop dan met verschillende files steeds te klooien met de sync. Dan ben ik er al weer klaar mee. :?

[...]
Ik download zelf ook gewoon van usenet (40 mbit), maar het voordeel van icefilms is dat je kan zoeken en afspelen in XBMC en ze hebben een gigantische grote hoeveelheid tv series, die soms jaren terug gaan (wat op usenet nog vaak een probleem is, gezien de retentie van een jaar ofzo).
Hmm, daar hebbie dan wel een punt. De retentie is wel een issue. Tenminste, tegenwoordig hebben de meeste newsservers wel een hogere retentie als een jaar, maar jaren! Nee dat word lastig.

Ik ben overigens een tevreden gebruiker van icefilms hoor (Al zijn er de laatste dagen wel wat issues en glitches)


Misschien in de toekomst dat er ooit 1 plugin komt.

Ik wil "Film A" kijken, dus zoeken. Resultaat is een lijstje met beschikbare files online, of dat nou webbased is of usenet. Gecategoriseerd op kwaliteit. Dan twee knopjes. 1)kijk nu 2) voeg toe aan lokale database.


Jep de manier van TV kijken is aan het veranderen _/-\o_ Lang leven 2011

Door Tweakers user janton, woensdag 17 augustus 2011 14:12

interessant artikel, laatst was ik al op het programma SnelNL Streaming Usenet gestuit, hopelijk maken zij ooit een add-on voor xbmc.

Ik zal eens kijken of ik dit vanavond aan de praat krijg. thx!
Ben ook wel benieuwd naar de uitslag van Brein vs News-service, maar dat is weer een heel ander onderwerp :-)

Door Tweakers user Gentox, donderdag 18 augustus 2011 01:45

Er zijn nog twee andere newznab sites te vinden nzbd.info & nzb7.com

Mooi project ga het morgen proberen (is nu bed tijd). :z

Door Tweakers user Julianl, donderdag 18 augustus 2011 01:49

Goede ontwikkeling, en echt top blog!

Persoonlijk ben ik toch meer een hamsteraar. Ik heb graag toch gewoon een 'collectie' liggen; netjes georganiseerd etc. Maargoed, dit heeft ook de potentie dat te worden...

Door Tweakers user Mar2zz, donderdag 18 augustus 2011 01:53

Ik heb hier ook een eigen "plugin" voor geschreven. Met deze file: https://github.com/downlo.../xbmc-newznab-0.0.0.2.zip kan je je eigen custom newznab provider toevoegen. nzb.su werkt er dus ook mee, en die Gentox tipt dus ook.

Nu kan er nog maar 1 custom tegelijkertijd. voor een 2e of 3e moet ie een andere plugin naam krijgen, maar hoe dat moet moet ik nog uitzoeken. (of een selectiescreen maken welke site je wilt gebruiken, maar zo python-minded ben ik nog niet dat ik dat al kan.)

Door Tweakers user Diabl0570, donderdag 18 augustus 2011 18:23

Heel mooi, hopen dat het snel grooit zodat de bugs eruit zijn.
Ik heb het geprobeerd maar ook bij mij loopt xbmc stuk wanneer de film zou moeten starten.

verder ben ik wat gaan google en ik weet dat het niet precies hetzelfde is maar ik kwam voorbij een programmatje waar mee je wel nzbs kunt streamen:
http://www.nzbplayer.com/download.html
Bij 4 van de 6 films die ik getest had werkte het goed, en bij een starte hij het sample file ipv de hele film.

Door Tweakers user flashback1989, zondag 9 oktober 2011 22:29

Diabl0570 schreef op donderdag 18 augustus 2011 @ 18:23:
Heel mooi, hopen dat het snel grooit zodat de bugs eruit zijn.
Ik heb het geprobeerd maar ook bij mij loopt xbmc stuk wanneer de film zou moeten starten.

verder ben ik wat gaan google en ik weet dat het niet precies hetzelfde is maar ik kwam voorbij een programmatje waar mee je wel nzbs kunt streamen:
http://www.nzbplayer.com/download.html
Bij 4 van de 6 films die ik getest had werkte het goed, en bij een starte hij het sample file ipv de hele film.
die wordt niet door ontwikkeld en geen xbmc integratie

Reageren is niet meer mogelijk