JDownloader Community - Appwork GmbH
 

Notices

Reply
 
Thread Tools Display Modes
  #1  
Old 10.02.2014, 16:48
schnaeppchen schnaeppchen is offline
JD Addict
 
Join Date: Apr 2013
Posts: 160
Default Save.tv Plugin: Archiv-Crawler - Erfahrungen und Featurewünsche

Heute habe ich zum ersten mal den STV Archiv-Crawler für den JD2 getestet. Als Viellader bei Save.tv mit einem Premium-Account ist mein für einen Monat angesammeltes und gültiges Archiv dort dementsprechend umfangreich. Zur Zeit des Crawlens mit dem JD/STV-Plugin befanden sich angeblich lt. Save.tv 9694 Sendungen im Archiv. Ich nehme an, daß ein nicht unerheblicher Anteil davon lediglich im Planungsstadium ist - entweder zur zukünftigen Aufnahme per EPG vorgemerkt oder per Channel zur Aufnahme angelegt, anders kann ich mir die Popup-Meldung des JD während des Crawlens nicht erklären, daß dieser erfolgreich ALLE 6632 von 6632 dort gespeicherten Links im Archiv gefunden hat.
Frage 1: Gehe ich richtig in der Annahme, daß die Diskrepanz von ca. 3062 Dateilinks zur im Archiv angegebenen Anzahl der Dateien daher kommt, daß diese physikalisch noch nicht vorhanden sind und noch aufgenommen werden müssen?

Um alle doppelt vorhandenen und bereits Tage vorher per Hand gesammelten und erfolgreich heruntergeladenen Links im Linksammler nach dem Crawlen mit dem AC assortieren zu können, habe ich die Plugineinstellung "Linkcheck" aktiv belassen, da sonst eine Unterscheidung anhand der Dateinamen nicht möglich wäre, weil diese bei deaktivierter Option lediglich als Telecast-ID im Linksammler erscheinen. Diese Unterscheidung ist zur Aussortierung aber notwendig. Bei der großen Menge an Dateien würde ich sonst nicht nur manche Wiederholung bis zu fünf mal herunterladen (Serien, die oft wiederholt werden und die per Channel programmiert wurden), sondern auch sehr schnell meine Festplattenkapazität sprengen.
Frage 2: Kann man dem Plugin die Optionseinstellung spendieren, beim Crawlen alle Wiederholungen zu ignorieren, falls die Erstsendungsdatei im Archiv vorhanden ist und erfolgreich geladen werden kann?

Der Archiv-Crawler (könnte) von großem Vorteil sein, da er durch das unbeaufsichtigte Sammeln der Links mit den entsprechenden Plugin-Parametereinstellungen viel Zeit und Nerven spart. In der momentanen implementierten Version dauert das Crawlen der Links eines großen Archivs allerdings recht lange. Um die von JD angegebenen 6632 Links in den Sammler zu laden, benötigte er ungefähr 120 Minuten. Diese Dauer wäre vielleicht besser zu ertragen, wenn ich im Nachhinein nicht per Hand und sehr zeitauwendig alle überflüssigen Links einzeln wieder aus dem Linksammler löschen müßte. Eine Zeitvorteil gegenüber dem Sammeln aller einzelnen Downloadlinks per Copy & Paste aus der Archivhomepage ergibt sich somit nicht, bzw. wird daher wieder zunichte gemacht.
Frage 3: Kann man dem Crawler eine Funktion spendieren, die es dem User ermöglicht, das Startdatum und die Startzeit der zu sammelnden Links für diesen genau zu spezifizieren, so daß alle Dateilinks VOR diesem Startfenster ignoriert werden können, wodurch sich für manchen User sicherlich eine immense Zeitersparnis beim Crawlen und späteren (Aus)Sortieren ergeben würde?

Im Zusammenwirken mit den beiden, wie ich finde, wünschenswerten Zusatzfeatures in meinen Fragen 2 und 3 ergäbe sich praktisch die Tatsache, daß der Crawler:

1: alle vor einer best. Aufnahmezeit nicht erwünschten Links ignorieren würde,
2: u.U. den Großteil eines Archivs nicht immer wieder auf's Neue crawlen müßte,
3: seiner eigentlichen Bestimmung gerechter werden könnte, da er

dem User helfen würde immens viel Zeit zu sparen und sehr zeitaufwendige und diffizile Arbeitsschritte per Copy und Paste beim Sammlen erwünschter Einzellinks aus der Archiv-Homepage nur noch auf seltene Einzelfälle beschränken könnte.


Ich hoffe, ich konnte mit meinem Feedback dienen und bin mit meinen Wunschfetures nicht über's Ziel hinausgeschossen. Bisher bin ich mit dem Plugin ansonsten hoch zufrieden und freue mich, daß es nun nach einigen Anfangsschwierigkeiten sauber und zuverlässig funktioniert. Danke!

Gruß



Edit:

Nachdem ich beim heutigen Linksammeln alle Dateien gelöscht hatte, die als Wiederholungen programmiert wurden, blieben von den durch den Crawler zum Download vorgesehenen Dateien nur noch ca. 1200 Links übrig, die sich in den letzten Wochen angesammelt hatten. Das Sichten und Aussieben aller zunächst als nicht notwendig zu erachtenden Dateien hat fast drei Stunden in Anspruch genommen. Dieser Zeitaufwand könnte durch die Kombination von Ausschlußregeln zur Automatisierung durch das Plugin vielleicht ganz erheblich verkürzt werden.

Vermutlich ist das Erweitern des Crawlers nicht so einfach, wie es sich anhört, da Save.tv den Dateien oft keine eindeutigeren Unterscheidungsmerkmale als deren Aufnahmezeiten zur Kennzeichnung vergibt, aber die Erweiterung des Crawler-Funktionsumfangs wäre dennoch hoffentlich eine interessante Herausforderung für einen Programmierer. Das Gelingen könnte einer menge Usern zukünftig endlos viele Stunden Handarbeit ersparen.

Last edited by schnaeppchen; 10.02.2014 at 23:34. Reason: Zeitlich sich ergebender Nachtragsgedanke
Reply With Quote
  #2  
Old 10.02.2014, 22:28
pspzockerscene's Avatar
pspzockerscene pspzockerscene is offline
Community Manager
 
Join Date: Mar 2009
Location: Deutschland
Posts: 70,922
Default

Hi
Erstmal danke für das ausführliche Feedback.
1. JDownloader sollte ALLE "trelecastID" Links aus dem Archiv holen - alles andere wird ignoriert/kann er nicht.
Ich weiß ja nicht, was die noch für Link-Typen haben, die man eventuell unterstützen könnte.

2.1. Wie definierst du "im Archiv vorhanden".
Natürlich ist nichts unmöglich, aber auf Pluginebene kann/will ich z.B. ungern überprüfen, ob Datei XY irgendwo in deinem lokalen Archiv auf der Festplatte bereits existiert.
Prüfen und auswerten kann ich alles, was von save.tv kommt, sprich, was irgendwo auf deren Webseite steht.

2.2. Wo wird denn die Funktion des Crawlers zunichte gemacht?
Es dauert so lange, weil JEDER Link, sprich jede telecastID aufgerufen werden muss und noch dazu überprüft wird, ob die werbefreie Fassung verfügbar ist oder nicht also Seitenaufrufe insgesamt = Anzahl der gefundenen Links * 2.
Wenn du die Links einfach schnell im Linksammler haben möchtest, kannst du auch den Linkcheck deaktivieren.
Dann hast du zwar keine schönen Dateinamen, die du, wie du bereits sagtest, gerne hättest oder bräuchtest, aber du könntest den Linkcheck auch einfach später oder im Download-Tab machen lassen.

3. Das mit dem Aufnahmezeitraum ist sone Sache.
Das könnte man theoretisch über die Plugin Einstellungen oder zusätzliche Info-Dialoge realisieren.

GreeZ pspzockerscene - JDownloader Support
EDIT

Mir ist da so was eingefallen - Linkcheck leicht verschnellert!
__________________
JD Supporter, Plugin Dev. & Community Manager

Erste Schritte & Tutorials || JDownloader 2 Setup Download
Spoiler:

A users' JD crashes and the first thing to ask is:
Quote:
Originally Posted by Jiaz View Post
Do you have Nero installed?

Last edited by pspzockerscene; 10.02.2014 at 22:36.
Reply With Quote
  #3  
Old 10.02.2014, 23:21
Web4Junior
Guest
 
Posts: n/a
Default

@Popup:
Das Popup wurde eingerichtet, aufgrunddessen das es immer wieder dazu kommt, dass der jDownloader aus unerklärlichen Gründen nicht alle Links findet. Manchmal sind es langsame Server, eine schlechte Internetverbindung oder andere unvorhersehbare Ursachen.

@Frage 1
Wenn der jDownloader 6632 von 6632 Links gefunden hat, so sind auch 6632 fertige Aufnahmen in deinem Archiv vorhanden, die heruntergeladen werden können - solange alles fehlerfrei funktioniert.

@Frage 2:
Du meinst eine Funktion, wie sie auf der Webseite mit "Doppelte Sendungen ausblenden" bereits vorhanden ist? Das müsste machbar sein

-- Anmerkung --
Sollte es zu einer Dateinamenskollision kommen (= Datei vorhanden), würde die von dir eingestellte Aktion (überschreiben/nachfragen/überspringen) vom jDownloader ausgeführt werden. Dadurch würde immer nur 1 Exemplar gespeichert werden.

@Frage 3
Der SaveTV Archiv-Manager von thomasfl, verfügbar im STV-Forum, kann bereits Wiederholungen ausblenden und die Aufnahmen nach Zeitraum filtern. Er besitzt auch eine Anbindung an den jDownloader, sodass du nach der Auswahl der zu herunterladenden Dateien diese über die Zwischenablage dem jDownloader übergeben kannst.
------------------------
Der Offizielle SaveTV Download-Manager befindet sich aktuell in Beta und wird in 2-3 Monaten in einer überarbeiteten Fassung erscheinen. Zuvor wurde vor einigen Monaten einiges an Feedback gesammelt. Ich hoffe, dass das Resultat deinen Wünschen eher gerecht wird - daher das es sich hier um eine auf SaveTV zugeschnittene Anwendung handelt.

Last edited by Web4Junior; 10.02.2014 at 23:23.
Reply With Quote
  #4  
Old 10.02.2014, 23:26
pspzockerscene's Avatar
pspzockerscene pspzockerscene is offline
Community Manager
 
Join Date: Mar 2009
Location: Deutschland
Posts: 70,922
Default

Da müssen wa wohl nochmal ordentlich ranklotzen um besser als der originale neue Stv Manager zu sein muhaha :D

*sry4offtopic*

GreeZ psp
__________________
JD Supporter, Plugin Dev. & Community Manager

Erste Schritte & Tutorials || JDownloader 2 Setup Download
Spoiler:

A users' JD crashes and the first thing to ask is:
Quote:
Originally Posted by Jiaz View Post
Do you have Nero installed?
Reply With Quote
  #5  
Old 10.02.2014, 23:54
schnaeppchen schnaeppchen is offline
JD Addict
 
Join Date: Apr 2013
Posts: 160
Default

@pspzockerscene: Danke für Deine Antworten bzw. Hinweise.

Zu Punkt 2.1.: Wie definierst du "im Archiv vorhanden"?

Nun, dieser Terminus wird vom JD-Plugin vorgegeben und erscheint als Hinweistext während dem Crawlen des Archivs in einem durch das Plugin initialisierten Popup. Ich ging von der Annahme aus, daß derjenige, der das Plugin/Popup geschrieben hat, die Definition dieses Hinweises bereits hinreichend ergründet hat. Wenn also Du diese Frage nicht beantworten kannst, wie könnte ich es dann?

Ich möchte "im Archiv vorhanden" eigentlich folgendermaßen übersetzen: "Als Dateilink vorhanden" - also alle abgeschlossenen und im Archiv verlinkten für den gegebenen Moment vorhandenen und herunterladbaren Dateien.


Zu 2.2.: Wo wird denn die Funktion des Crawlers zunichte gemacht?

Die eigentliche Funktion des Crawlers ist für mich die des "Zeitsparens". Selbst wenn man diese Formulierung vielleicht philosophisch eingehender in Betracht ziehen könnte, stellt sie für mich im Programmkontext doch nur den Faktor Zeit durch Aufwand dar. (weniger aufgewendete Zeit = mehr ersparte Zeit = Funktion)

Da sich aber sowohl durch den Vorgang des Crawlens selbst als auch durch die nötigen manuellen Tätigkeiten danach sowohl Zeit als auch Aufwand durch das Plugin in keiner Weise maßgeblich reduzieren lassen (im Vergleich zum rein manuellen "Copy & Paste" Vorgang, der für sich genommen in etwa den selben Zeit/Aufwand benötigt), ist diese für mich primäre Funktion an sich im Crawler NICHT zufriedenstellend umgesetzt worden - die Funktion also nicht realisiert. Ich glaubte dies in meiner vorherigen Beschreibung, die zur Frage 3. und darüber hinaus geführt hat, eientlich ziemlich gut verdeutlicht zu haben.

Es mag allerdings sein, daß ich den Sinn und Zweck des Plugins nicht erfaßt habe und dessen Funktion mißverstehe. In diesem Fall bitte ich um Entschuldigung und um eine richtigstellende Erklärung.


Zu 3.: "Sone Sache" ist das bestimmt! Mit Sicherheit kein einfaches Unterfangen, solcherlei zusätzliche Info-Dialoge zu implementieren, doch wie ich schon im Edit meines ursprünglichen Anfrage-Beitrags beifügend geschrieben habe, wäre dies meines Erachtens dem Funktionszweck des Crawlers ganz erheblich zuträglich.


Solltest Du meine Bitte und den Wunsch um eine Funktionserweiterung näher in Betracht ziehen und bei der Umsetzung Hilfe benötigen (z.B. detailliertes Feedback zu Alpha oder Betastadium), stehe ich selbstverständlich gerne zur Verfügung.




@Web4Junior:

Danke für Deinen Kommentar und die Hinweise zu den Programmen von Thomas und STV.

Zum Archiv-Manager von Thomas habe ich bereits meine Anmerkungen im STV-Forum veröffentlicht. Er hat darin einige, meiner Meinung nach, sehr brauchbare und wegweisende Funktionen eingearbeitet, die aber durch andere störende bzw. für meine Arbeitsweise eher hinderliche Funktionen kontrakarikiert werden. Bisher lassen sich diese Funktionen leider (noch) nicht wahlweise abstellen oder per Workaround managen, so daß ich leider bisher keinen wirklichen Gebrauch von seiner Arbeit machen konnte.

Daß STV sein Beta-Programm an den User bringt ist generell begrüßenswert. Dennoch stellt sich für mich auf absehbare Zeit nicht mal annähernd die Frage, ob Saves Downloader den Vergleich mit dem JD standhalten kann oder könnte. Der JD ist für mich bisher in seinem Qualitätsumfang unerreicht und wird dies sicherlich auch für die nächste Zeit bleiben, auch und speziell im Fall des Funktionsumfangs und für die Bedürfnisse in Sachen Save.tv. Überdies ist, und das dürfte für jeden versierten STV-User außer Frage stehen, der JD-Support und die Kommunikation mit dessen Architekten um etliche Längen besser. Der Beweis liefert bereits der Dialog in diesem Thread.


Gruß
Reply With Quote
  #6  
Old 12.02.2014, 00:11
pspzockerscene's Avatar
pspzockerscene pspzockerscene is offline
Community Manager
 
Join Date: Mar 2009
Location: Deutschland
Posts: 70,922
Default

2.1.
Bitte poste mal nen Screenshot von diesem Hinweis, denn im Code kann ich sowas nicht finden.
Ich verstehe das nach wie vor nicht, entschuldige^^

2.2.
Der Sinn des Crawlers für mich und auch Sinn der meisten anderen Crawler des JD ist: Er holt Links - und zwar in diesem Fall dein komplettes Archiv.
Würdest du das manuell per Browser ohne andere Tools machen, würde es ewig dauern.
Auf die Geschwindigkeit bis die Links im JD sind hast du wie gesagt mit den Linkcheck-Einstellungen Einfluss.

Theoretisch könnte JD noch mehr Links gleichzeitig überprüfen, aber damit würden wir dann eventuell (bei so vielen Usern) die save.tv Server in die Knie zwingen und das wollen weder wir noch ihr save.tv User

3.
Also konkret würdest du gerne (eventuell über ein Popup) einstellen können, welcher Zeitraum der Aufnahmen gecrawlt werden soll?

Wir freuen uns natürlich, noch immer so beliebt zu sein - vor allem im Vergleich zum offiziellen Save.tv Downloadmanager - ist auch mal was Interessantes

GreeZ pspzockerscene
__________________
JD Supporter, Plugin Dev. & Community Manager

Erste Schritte & Tutorials || JDownloader 2 Setup Download
Spoiler:

A users' JD crashes and the first thing to ask is:
Quote:
Originally Posted by Jiaz View Post
Do you have Nero installed?
Reply With Quote
  #7  
Old 12.02.2014, 13:20
schnaeppchen schnaeppchen is offline
JD Addict
 
Join Date: Apr 2013
Posts: 160
Default

Hallo pspzockerscene.

2.1.
Sreenshot: Das wird nicht einfach werden: das Popup habe ich bisher lediglich einmal präsentiert bekommen, nämlich beim letzten (bisher ersten) Crawlvorgang, der etwas über zwei Stunden in Anspruch nahm. Die Meldung war nur etwa zwei bis drei Sekunden zu sehen und kam völlig überraschend - was beim erneuten Crawlen, mit den von mir beim ersten mal eingestellten Parametern, bedeuten würde, daß ich, nur wegen dem zu erstellenden Screenshot nochmals das ganze Prozedere wiederholen müßte und dabei meine Augen nicht vom Monitor nehme dürfte. Sollte ich das gewünschte Überraschungsmoment dennoch verpassen, wäre ein zeitraubender Neulauf zu wiederholen usw... Sorry, aber das wäre mir zuviel Aufwand des Guten.

Sollte es ein nächstes Mal geben, wird es vermutlich lediglich der pure Zufall sein, wenn ich geistesgegenwärtig genug sein sollte, meine Überraschung in diesem Moment unterdrücken zu können um den gewünscheten Shot zu produzieren.

Daß Du keinen demensprechenden Code hast finden können verwundert mich nun allerdings genauso wie Dich. Sei Dir jedoch gewiss, daß ich keine Halluzinazion hatte und ansonsten auch keine Drogen konsumiere, die ein Delirium-Popup provozieren.


2.2
Die Begründung leuchtet ein. Mit der Geschwindigkeit des Crawlens könnte ich bei aktiviertem Linkcheck auch ohne Probleme leben, wenn der Crawler nicht bei jedem Vorgang den Scan des gesamten Archivs wiederholen, sondern nur den Teil berücksichtigen würde, den ich später auch tatsächlich herunterladen möchte. Der Crawler merkt sich ja schließlich nicht, welche Dateien er mir bereits vorher schon mal zum Download angeboten hatte, und welche ich schließlich tatsächlich heruntergeladen habe. Das ist auch nicht seine Aufgabe. Dieser Punkt bringt mich somit dann direkt zu Punkt..

3.
Ja - Genau! Ob dies über ein Popup realisiert wird oder über Zusätzliche Dialogboxen im Plugininterface ist eine Frage des Geschmacks und des dafür aufzuwendenden Programmieraufwands.

Ich glaube jedoch, daß man sich als User den letzten Stand, sozusagen die letzte heruntergeladene Aufnahme aus dem Archiv, merken können müßte, um den nächsten Crawlvorgang dann mit der zeitlich direkt darauf folgenden Datei beginnen zu lassen. Evtl. könnte sich der Crawler sogar diese Information merken. Das würde bei einem wöchentlichen Vorgang das Volumen der zu berücksichtigenden Dateilinks auf ein Viertel pro Monat und jeweiligen Crawlens gegenüber dem momentan implementierten Gesamtscan (30 Tage) des Archivs herunterschrauben und die Zeit dafür ebenfalls ensprechend eheblich verkürzen. Scheint mir zumindest logisch, oder?

4.
Fehlt schließlich nur noch der Ausschluß der Wiederholungsaufnahmen in den Fällen, in denen die Erstsendung erfolgreich herunterladbar wäre.

Ich gebe zu, daß diese Zusatzoption etwas schwieriger sein dürfte als das Setzen eines Datums und einer Anfangszeit (oder eines Zeitraums, wie von Dir angeregt), wie sie unter Punkt drei nötig wäre.
Aber könnte man zusätzlich zu der Funktion unter Punkt 3. auch noch alle Wiederholungen aussieben, ergäbe sich, zusätzlich zum zeiteffizienteren Crawlen, auch noch die erfreuliche Tatsache, diese Wiederholungslinks nicht später per Hand aus dem Linksammler löschen zu müssen, was den Gesamtvorgang des Crawlens bis zum möglichen Start des Downloads aller so gesammelten Links nochmals zeitlich drastisch senken könnte.

Ich gehe davon aus, daß ein Crawlvorgang vom Zeitpunkt des Einlesens der Archiv-URL bis zum Start des Downloads der so gewonnenen Links für eine gesamte Woche (mit ~1000 Links) mit Hilfer der neuen Zusatzfunktionen nicht mehr als max. zehn Minuten benötigen würde (sogar bei aktivem Linkcheck) - was gegenüber dem jetzigen Aufwand dem Crawler somit evtl. einen ganz neuen Sinn hinzufügen könnte.


Gruß
Reply With Quote
  #8  
Old 12.02.2014, 17:25
Web4Junior
Guest
 
Posts: n/a
Post

@2.1 Etwas Trivial, aber ich glaube ihr redet davon:

(perfektes Beispiel, dass demonstriert, weshalb dieses Popup eingeführt wurde - die Abfrage dauerte nur 3 Minuten)

Das Popup, dass nach dem Crawlen des kompletten Archivs erscheint (was bei dir 2 Stunden dauert), wurde eingerichtet, aufgrunddessen das es immer wieder dazu kommt, dass der jDownloader aus unerklärlichen Gründen nicht alle Links findet. Manchmal sind es langsame Server, eine schlechte Internetverbindung oder andere unvorhersehbare Ursachen. Es zeigt, wie viele Links gefunden wurden und wie abgeschlossene Aufnahmen es gibt.

Unter dem STV Usernamen steht bspw. "3345 Sendungen im Archiv" - das sind abgeschlossene + programmierte Aufnahmen.
Unter Mein Videoarchiv --> Alle Sendungen "Aufgenommen Sendung" werden alle abgeschlossenen Sendungen angezeigt. Fett steht über der Tabelle bspw. "Gefundene Sendungen: 1730" - dies ist die Angabe, die auch der jDownloader nutzt, wenn ich pspzockerscene damals richtig verstanden habe.



@3.
Beim Speichern der zuletzt heruntergeladenen Dateien und dem laden aller hinzugefügten Dateien, wird es jedoch schwierig, weil je nach Sender und Sendung die Aufnahmen unterschiedlich lange benötigen, bis sie bereitgestellt werden (in Ausnahmefällen bis der Support die Datei gefixt hat).
Aus diesem Grund müsste eine fehlerfreie Implementation bspw. alle erfolgreich geladenen TelecastIds merken und bei zukünftigen Crawl-Vorgängen filtern. Andererseits würden immer wieder einzelne Dateien "übersehen" werden.

Das Einstellen eines Mindestdatum und eines Höchstdatums finde ich allgemein für eine gute Idee und würde unnötige Crawl-Vorgänge der einzelnen TelecastId-Seiten verringern. Was wiederum zu Punkt 2.2 gehört, wenn ich nichts verdreht habe.

@4.
Dann müsste der Crawler doppelte Sendungen erkennen. Wenn man ausschließlich den Titel vergleicht, kann es bei Neuverfilmungen etc. zu Fehlerkennungen kommen.
Aus diesem Grund verweise ich gerne auf meinen ersten Post mit den "Dateinamenkollisionen". Wenn zwei Dateien den selben Namen haben, wird nur eine davon heruntergeladen. Und um so viel größer ist der Crawl Aufwand dadurch auch nicht. Auf diesem Weg steht es dem User selbst frei, was in die Dateinamen mit einfließt und dementsprechend wann eine Sendung als "Wiederholung" gilt.

Andererseits könnte man bereits die SaveTV eigene Funktion "doppelte Sendungen ausblenden" nutzen.
Reply With Quote
  #9  
Old 12.02.2014, 18:35
schnaeppchen schnaeppchen is offline
JD Addict
 
Join Date: Apr 2013
Posts: 160
Default

Hallo Web4Junior,

Quote:
Originally Posted by Web4Junior View Post
@4.
Dann müsste der Crawler doppelte Sendungen erkennen. Wenn man ausschließlich den Titel vergleicht, kann es bei Neuverfilmungen etc. zu Fehlerkennungen kommen.
Du hast recht. Wie ich bereits andeutete, wäre die Programmierug einer solchen Erweiterung komplexer als die einer Funktion zum Ignorieren aller Sendungen innerhalb eines best. Zeitfensters. Allein die Daily-Soaps mit allen Wiederholungen auf sämtlichen regionalen Sendeanstalten der ÖR ergibt manchmal bereits sieben bis acht Aufnahmen des selben Inhaltes, die ein ganz großer Teil des zu vernachlässigenden Kontingens an Links darstellen könnte, wenn man eine "Ignorier doppelte Einträge"-Funktion implementieren würde. Bei solchen Soaps und Serien kann man i.d.R. davon ausgehen, daß die Sendung mit der ältesten Aufnahme-Uhrzeit auch die ist, die man herunterladen möchte. Alle anderen könnten in dem Fall ignoriert werden, wenn die Datei vollständig und herunterladbar im Archiv vorhanden wäre, was der Crawler ja bei aktiviertem Linkcheck bereits prüft. Außerdem wird vielen Soaps und Seien zur Unterscheidung oft auch eine Episodennummer vergeben, die der eindeutigen Identifizierung auf die Sprünge hilft.

Schwieriger wird's z.B. bei täglichen Magazinen oder wöchentlichen Reportagesendungen, die nacheinander durch alle Sender gereicht werden oder innerhalb von 24 Stunden drei oder viermal (mit manchen Ausnahmen) wiederholt werden (z.B. "DAS - Norddeutschland und die Welt"; "zibb - zuhause in berlin brandenburg"; "ZAPP - Das Medienmagazin" etc.), da deren Erstaustrahlung für Kenner oft nur anhand ihrer Sendezeiten und dem Sender selbst als solche erkennbar sind. Aber auch hier gilt, daß eine Original-Ausstrahlung pro Woche bei Weeklies die Regel ist und man daher innerhalb dieser Frist mit dem Download einer Sendung, egal von welchem Sender und zu welcher Zeit gesendet, den Verlust aller anderen Wiederholungen akzeptieren kann.

Der von Dir beschriebene Fall einer kompletten Neuverfilmung eines Films mit gleichem Titel kommt zwar seltener vor, würde aber in der Tat zu den "Dateinamenkollisionen" führen, die das Programmieren einer solchen Pluginerweiterung u.U. schwierig bis sehr schwierig machen würde. Aber ebenso würde man Doppel- oder Dreifachdownloads nicht verhindern können, wenn der Sender seinerseits, wie schon oft beobachtet, dem Originaltitel plötzlich einige weitere Worte beifügt (z.B. "Rosamunde Pilcher - Blabla, Plubblub" im Original schon mal gesendet und neuerdings "Montagskino: Rosamunde Pilcher - Blabla, Plubblub" Da sich solche Fälle auf eine überschaubare Anzahl beschränken und man ohnehin im deutschen Fernsehen vor zigfachen Wiederholungen nicht geschützt wird, muß man als User auf jeden Fall den eigenen Grips als Kontrollorgan aktiviert lassen. Ein Häkchen in einem Plugin zu aktivieren, kann die manuelle Kontrolle nicht komplett ersetzen (leider!), kann sie aber auf das techn. mögliche Mindestmaß reduzieren. Und darum ging es mir bei meiner Anfrage


Quote:
Andererseits könnte man bereits die SaveTV eigene Funktion "doppelte Sendungen ausblenden" nutzen.
klingt vernünftig. Vorraussetzung wäre allerdings, daß das Abschalten der STV eigenen Funktion "doppelte Sendungen ausblenden" auch dazu führt, daß das Crawl-Plugin dann ebenfalls nur noch die somit sich ergebenden reduzierten Angaben des Archivs berücksichtigt. Brauchbar wäre diese Lösung zwar allemal, würde aber u.U. das wiederholte "Spingen" und "Kombinieren" zweier unterschiedlicher Programme bzw. Anwendungen vonnöten machen. Eigentlich ein weniger elegantes No-Go, wie ich finde.

Bei einem Crawlvorgang müßte dann der User bei Bedarf erst mal diesen Dialog auf der Saveseite zugunsten des Weglassens aller Wiederholungen betätigen - und dies nicht zufällig vergessen.


Gruß
Reply With Quote
  #10  
Old 18.03.2014, 14:13
schnaeppchen schnaeppchen is offline
JD Addict
 
Join Date: Apr 2013
Posts: 160
Default

Ich pushe den Thread hier nochmal, damit vielleicht noch andere STV-User die Gelegenheit nutzen, hier ihr Feedback beizusteuern.

Gruß und Danke!
Reply With Quote
  #11  
Old 18.03.2014, 16:35
Web4Junior
Guest
 
Posts: n/a
Default

Also ich habe das Problem mit den Kollisionen für mich persönlich mit dem Pakagizer gelöst.

Ich speise im SaveTV Plug-in allen Filmen das Produktionsjahr ein. Wenn dieses leer ist, wird es wieder im Pakagizer entfernt.
Bei Serien hoffe ich darauf, dass nicht zwei mal die gleiche Episodennummer mit unterschiedlichen Episoden ausgestrahlt wird.

Das crawlen dauert für 1700 Sendung etwa. 3 Minuten für's Archiv und je Sendung etwa 1 Sekunde.
Bei einem schnellen Linkcheck hat man zwar keine korrekten Dateinamen als Preview, dafür ist man nach 3 Minuten schon fertig.

-------------------
Bezüglich des beschleunigten crawlen wird das schwierig. Die Funktion doppelte Sendungen ausblenden auf der STV-Webseite ist nicht sehr zuverlässig und erkennt Ausstrahlung auf anderen TV-Sendern nicht immer. Eine im STV-Plugin implementierte Lösung würde wiederum Fehleranfällig sein.
Quote:
POST-Request an **External links are only visible to Support Staff****External links are only visible to Support Staff** mit:
iFilterType:1
sSortOrder:
bShowNoFollower:true
iPageNumber:(Die Seite, die du ansehen möchtest. default: 1)
sText:Hier Suchwort eingeben
iTextSearchType:1
ChannelID: (Value des Input-Elements mit dem Attribute name="ChannelID" - evtl. kann dies auch leer sein.)
TVCategoryID:1
TVSubCategoryID:0
iRecordingState:1
Dies wäre eine möglich Lösung.

Ich kann dir nur empfehlen, den Link zum Crawlen des kompletten Archivs einzuspeisen und gegebenenfalls 90 Minuten (bei 7000 Sendungen) den jDownloader im Hintergrund laufen lassen. Danach kannst du ganz normal weiter machen.

Vielleicht hat pspzockerscene noch eine Idee.

Last edited by Web4Junior; 18.03.2014 at 16:56.
Reply With Quote
  #12  
Old 21.03.2014, 16:46
pspzockerscene's Avatar
pspzockerscene pspzockerscene is offline
Community Manager
 
Join Date: Mar 2009
Location: Deutschland
Posts: 70,922
Default

Ich bin ja dafür, dass jemand Stv komplett als Addon in JD einbaut - ich aber wohl nicht.
Damit wäre dann echt alles möglich!

GreeZ pspzockerscene
__________________
JD Supporter, Plugin Dev. & Community Manager

Erste Schritte & Tutorials || JDownloader 2 Setup Download
Spoiler:

A users' JD crashes and the first thing to ask is:
Quote:
Originally Posted by Jiaz View Post
Do you have Nero installed?
Reply With Quote
  #13  
Old 21.03.2014, 19:34
Web4Junior
Guest
 
Posts: n/a
Smile

Erstmal OOP lernen, danach versuche ich es mal vielleicht. :D
Reply With Quote
  #14  
Old 28.03.2014, 20:42
pspzockerscene's Avatar
pspzockerscene pspzockerscene is offline
Community Manager
 
Join Date: Mar 2009
Location: Deutschland
Posts: 70,922
Default

Neue Crawler-Features:
-Genauere Dialoge
-Es gibt weniger ajax-Abfragen -> Der Crawler ist schneller
-Crawler + schneller Linkcheck aktiv: Dateigröße wird nun auch sofort angezeigt
-Crawler + schneller Linkcheck aktiv: Eigene Dateinamen werden nun auch soweit möglich direkt übernommen
-Man kann nun wahlweise nur alle Aufnahmen der letzten X Tage crawlen
---
[Please read]=>How/when do I get updates?
Read it carefully BEFORE complaining that something would still be not working!
---
[Bitte lesen]=>Wie/wann bekomme ich Updates?
Bitte vollständig lesen bevor ihr euch beschwert, dass etwas immernoch nicht funktionieren würde!

GreeZ pspzockerscene
EDIT

Hier noch 2 Screenshots dazu:
Spoiler:




EDIT
Stv Forum Verlinkung dazu:
forum.save.tv/viewtopic.php?f=8&t=1684

Weitere Account Informationen sind nun sichtbar, "Übersprungen - Account fehlt" Fehler sollten nun nicht mehr kommen!
__________________
JD Supporter, Plugin Dev. & Community Manager

Erste Schritte & Tutorials || JDownloader 2 Setup Download
Spoiler:

A users' JD crashes and the first thing to ask is:
Quote:
Originally Posted by Jiaz View Post
Do you have Nero installed?

Last edited by pspzockerscene; 30.03.2014 at 19:59.
Reply With Quote
Reply

Thread Tools
Display Modes

Posting Rules
You may not post new threads
You may not post replies
You may not post attachments
You may not edit your posts

BB code is On
Smilies are On
[IMG] code is On
HTML code is Off

Forum Jump

All times are GMT +2. The time now is 12:43.
Provided By AppWork GmbH | Privacy | Imprint
Parts of the Design are used from Kirsch designed by Andrew & Austin
Powered by vBulletin® Version 3.8.10 Beta 1
Copyright ©2000 - 2024, Jelsoft Enterprises Ltd.