JDownloader Community - Appwork GmbH
 

Reply
 
Thread Tools Display Modes
  #161  
Old 24.10.2017, 17:18
topy topy is offline
JD Alpha
 
Join Date: Aug 2017
Posts: 21
Default

Gerne :-) Vielen Dank auch an dich für deine neusten Änderungen - das probiere ich heute Abend gleich mal aus.

Bei Bugs oder anderen Fehlern helfe ich so gut ich kann und werde vermutlich in der nächsten Zeit, sofern es meine Freizeit zu lässt, die RSS Scripte anpacken und erneuern und erweitern.

Viele Grüße,
- Topy
Reply With Quote
  #162  
Old 24.10.2017, 21:45
snickers2k snickers2k is offline
JD Adviser
 
Join Date: Oct 2015
Posts: 109
Default

Wo das so weit läuft, denke ich gerade noch, dass "language: dual" in der config fehlt. Jetzt stellt sich die Frage, wo es einfacher wäre das zu überprüfen. Mit flexget und regexp nach beidem suchen und nur dann zulassen, oder über deine plugins?

Ein weiterer, riesen Wunsch, wäre nach wie vor tvrex :D Die Season läuft gerade :D
Ist sicher sehr speziell und für dich vermutlich gar nicht relevant. Aber falls es nicht zuviel Arbeit macht, würde ich mich riesig drüber freuen. Falls es doch etwas mehr Arbeit macht, würde ich dir auch eine kleine Spende zukommen lassen

Kleines Update: Deine Such-Plugins funktionieren soweit wunderbar. Es kommen fleißig Ergebnisse! Super.
Sogar die Size wird immer fleißig übergeben! Sehr schön. Damit lässt sich Arbeiten. Dann werde ich den Size-Filter in der Config mal wieder aktivieren. Lässt sich der an Stelle auch die Sprache herausfiltern (für dual) ?

Du hast es echt drauf. An diesen Plugins haben sich schon viele die Zähne ausgebissen :D

Ein kleiner schönheitsfehler evtl
Code:
2017-10-24 21:25 ERROR    MovieSearchPlugin Movies_Watchlist_Search_DE_Main Got unexpected result page - maybe no valid search results on that page?
2017-10-24 21:25 INFO     BaseSearchPlugin Movies_Watchlist_Search_DE_Main Saved output to 2017-10-24 21:25:44-result-page.html
Scheinbar wird statt "no results" ein Fehler erkannt. Aber ich vermute das es sich einfach um keine Ergebnisse handelt?

Last edited by snickers2k; 24.10.2017 at 22:41.
Reply With Quote
  #163  
Old 25.10.2017, 01:55
topy topy is offline
JD Alpha
 
Join Date: Aug 2017
Posts: 21
Default

Quote:
Originally Posted by snickers2k View Post
Ein kleiner schönheitsfehler evtl
Code:
2017-10-24 21:25 ERROR    MovieSearchPlugin Movies_Watchlist_Search_DE_Main Got unexpected result page - maybe no valid search results on that page?
2017-10-24 21:25 INFO     BaseSearchPlugin Movies_Watchlist_Search_DE_Main Saved output to 2017-10-24 21:25:44-result-page.html
Scheinbar wird statt "no results" ein Fehler erkannt. Aber ich vermute das es sich einfach um keine Ergebnisse handelt?
Ach ja.. die "Keine Ergebnisseite" von MB sind leider Werbelinks, hab mir da zu Debug zwecken das HTML mal ausgeben lassen (Kannst du an der Stelle einfach auskommentieren -> log.error und die Methode zum HTML Output). Baue demnächst ein Debug-Modus ein den man bei Bedarf aktivieren kann. Die Filesize wird leider noch nicht immer 100% erkannt, bei SJ hab ich auch noch nicht alle "Sonderfälle" der Größenangabe rausgefiltert, da kommt dann auch ab und noch ein Fehler. Ich verbesser die Plugins in der nächsten Zeit auf jeden Fall noch.. allerdings bin in ein paar Tagen 2 Wochen nicht im Lande, werde wohl erst danach wieder zu größeren Änderungen / neuen Plugins kommen.

Was mir einfällt, in dem MB Search Plugin ist mir ein Flexget-Fehler aufgefallen. Hab das da auch entsprechend kommentiert, damit der nicht auftritt müssen in na Flexget Source was geändert werden:

Code:
Bug:
        
        This Plugins raises a known Flexget issue:
        
        ## https://github.com/Flexget/Flexget/issues/847
        ## Solution:
        ## In flexget\plugins\input\discover.py's entry_complete method, insert:
        if entry not in search_results:
            # Rebuild search_results in place to recompute all its hashes
            search_results_copy = list(search_results)
            search_results.intersection_update([])      # empty search_results set in place
            search_results.update(search_results_copy)  # repopulate search_results set in place
            
        ##before the line:

        search_results.remove(entry)

EDIT:

- das mit der dual lang muss ich mir mal anschauen, sollte aber kein problem sein sofern das eindeutig angegeben ist
- kleine Verbesserung der Größenerkennung im SJ Plugin gepusht

Last edited by topy; 25.10.2017 at 04:53.
Reply With Quote
  #164  
Old 26.10.2017, 16:33
snickers2k snickers2k is offline
JD Adviser
 
Join Date: Oct 2015
Posts: 109
Default

oha.. Ja, den bug habe ich wohl gerade gehabt:

Quote:
2017-10-26 07:01 VERBOSE details Movies_Watchlist_Search_DE_Main Summary - Accepted: 0 (Rejected: 852 Undecided: 755 Failed: 0)
2017-10-26 07:01 CRITICAL task_queue BUG: Unhandled exception during task queue run loop.
2017-10-26 07:01 CRITICAL manager An unexpected crash has occurred. Writing crash report to /home/snikay/.flexget/crash_report.2017.10.26.070145402032.log. Please verify you are running the latest version of flexget by using "flexget -V" from CLI or by using version_checker plugin at **External links are only visible to Supporters****External links are only visible to Supporters**. You are currently using version 2.10.94
Quote:
2017-10-26 07:01 VERBOSE details Movies_Watchlist_Search_DE_Main Summary - Accepted: 0 (Rejected: 852 Undecided: 755 Failed: 0)
2017-10-26 07:01 CRITICAL task_queue BUG: Unhandled exception during task queue run loop.
Traceback (most recent call last):
File "/usr/local/lib/python2.7/dist-packages/flexget/task_queue.py", line 48, in run
self.current_task.execute()
File "/usr/local/lib/python2.7/dist-packages/flexget/task.py", line 72, in wrapper
return func(self, *args, **kw)
File "/usr/local/lib/python2.7/dist-packages/flexget/task.py", line 644, in execute
self._execute()
File "/usr/local/lib/python2.7/dist-packages/flexget/task.py", line 622, in _execute
entry.complete()
File "/usr/local/lib/python2.7/dist-packages/flexget/entry.py", line 165, in complete
self.run_hooks('complete', **kwargs)
File "/usr/local/lib/python2.7/dist-packages/flexget/entry.py", line 80, in run_hooks
func(self, **kwargs)
File "/usr/local/lib/python2.7/dist-packages/flexget/plugins/input/discover.py", line 188, in entry_complete
search_results.remove(entry)
KeyError: <Entry(title=The.Shallows.Gefahr.aus.der.Tiefe.2016.MULTi.COMPLETE.BLURAY-HDCLUB,state=rejected)>

kannst du dass bitte als issue bei flexget auf github erstellen? Nach jeder neuen flexget Version die Änderungen vorzunehmen wäre ja etwas aufwändig.

Aktuell liefert der Search-Task bei mir leider keine Ergebnisse. Irgendetwas läuft da flexget-seitig nicht. Die hälfte wird als "undecided" abgetan. Darunter auch eindeutig "richtige" Einträge. Bei dir auch?! Werde das jetzt mal mit --verbode und --debug durchlaufen lassen.

Last edited by snickers2k; 26.10.2017 at 16:36.
Reply With Quote
  #165  
Old 26.10.2017, 16:58
topy topy is offline
JD Alpha
 
Join Date: Aug 2017
Posts: 21
Default

github.com/Flexget/Flexget/issues/847

Ist ja schon als Issue hinterlegt.

Ja, schrieb ich ja schon in einem der vorherigen Posts das soviele auf undecided stehen. Ich hab da leider gerade nicht so die Zeit so mir das genau durch zudebuggen. Falls dem Suchergebnis noch mehr Parameter hinzugefügt werden müssen, einfach bescheid geben, das lässt sich schnell einbauen. Vllt hat Flexget auch einfach ein Problem damit wenn mehrere passende Ergebnisse kommen?

Grüße,
Topy

Last edited by topy; 26.10.2017 at 22:03.
Reply With Quote
  #166  
Old 26.10.2017, 21:40
snickers2k snickers2k is offline
JD Adviser
 
Join Date: Oct 2015
Posts: 109
Default

ouh man .. undecided problem ist gelöst .. Kleines Missverständnis meinerseits mit dem discover-plugin und den neuen "managed lists. In meiner naivität habe ich gedacht, dass die Suche mit nach den Namen schon klar macht, dass man diese auch haben möchte.. musste aber trotzdem nochmal konkret als output definiert werden.
Config ist up2date und nun sollte alles funktionieren.
Reply With Quote
  #167  
Old 26.10.2017, 22:09
topy topy is offline
JD Alpha
 
Join Date: Aug 2017
Posts: 21
Default

Ah, das macht Sinn

btw, hast bei dem Movies Low Task noch Hoster ohne variables hinterlegt.

Hast du Dokujunkies auch schon getestet? Kann man im Discover-Plugin das Genre abfragen und evtl nur passende Genres (Documentation?!) über Dokujunkies suchen lassen?

Und.. gibts ne Möglichkeit zu schauen in welcher Quali z.B. eine Serie bisher vorhanden ist? Ich hab so soups immer nur in 720p, und alles gute in min. 1080p - wäre nice wenn flexget dementsprechend die Serien fortsetzt. Bei neuen Serien müsste man halt dann einmal initial die Quali bestimmen / den Download manuell anstoßen.
Reply With Quote
  #168  
Old 26.10.2017, 23:15
snickers2k snickers2k is offline
JD Adviser
 
Join Date: Oct 2015
Posts: 109
Default

Nein. Leider nicht. Aber ich werde eine "if" bedingung einbauen, die nach imdb_genre und trakt_genre abfragt, ob es sich um eine Serie oder Doku handelt. Entsprechend kann der Output-Folder geändert werden. Der task selber sollte keine probleme damit machen, eine doku wie eine serie zu behandeln (sind ja auch meist episoden).

Jaa... die gute alte Qualitäts-Erkennung. Dafür gibt es das plugin "exists_series" von flexget .. habe ich vor 2 jahren mal rausgenommen, weil es da für probleme gesorgt hatte - und dann nicht wieder eingebunden. Aber die tatsache, dass flexget die qualität nicht erkennt (hauptsächlich zwecks upgrade) stört mich auch. werde ich die tage mal wieder einbauen. Dort kann man auch angeben, dass Serien nur in der selben qualität geladen werden sollen.

Last edited by snickers2k; 26.10.2017 at 23:33.
Reply With Quote
  #169  
Old 26.10.2017, 23:56
topy topy is offline
JD Alpha
 
Join Date: Aug 2017
Posts: 21
Default

Bzgl der Dokusuche ging es mir darum das die Suche leider nicht sonderlich genau ist. Und um falsche Ergebnisse bei normalen Serien in der dokusearch zu vermeiden dachte man sucht nur nach Dokus in der Dokusuche.. :D

Das wäre sehr nice! Ich muss mich auch mal in die config rein arbeiten. Versprochene Update der rss plugin kommt noch, bzw das für hda kann ich bei Gelegenheit schon mal pushen. Der Rest irgendwann nach meinem Urlaub.

Grüße
Reply With Quote
  #170  
Old 27.10.2017, 15:15
snickers2k snickers2k is offline
JD Adviser
 
Join Date: Oct 2015
Posts: 109
Default

Quote:
Originally Posted by topy View Post
Bzgl der Dokusuche ging es mir darum das die Suche leider nicht sonderlich genau ist. Und um falsche Ergebnisse bei normalen Serien in der dokusearch zu vermeiden dachte man sucht nur nach Dokus in der Dokusuche.. :D

Das wäre sehr nice! Ich muss mich auch mal in die config rein arbeiten. Versprochene Update der rss plugin kommt noch, bzw das für hda kann ich bei Gelegenheit schon mal pushen. Der Rest irgendwann nach meinem Urlaub.

Grüße
Ja, das wäre natürlich möglich. Dann müsste allerdings das Suchplugin in zwei geteilt werden. Dokus und Serien getrennt. Zusätzlich müsste in einem vorherigen task doku's vom rest getrennt und in eine liste gespeichert werden, damit tatsächlich nur nach dokus gesucht wird. Erstmal würde ich die aktuelle variante testen wollen Wenn es wirklich zuviele falsche entries gibt, muss nochmal was geändert werden. Die auskommentierten Tasks wollte ich aber auch nochmal wieder fixen - und zuviel Zeit habe ich auch nicht

Gestern habe ich noch ein paar Änderungen vorgenommen, die ich die Tage testen werde.
zB löscht die Suche jetzt nicht mehr alles automatisch von der watchlist. Speziell ältere Filme sind zu oft offline und dürfen daher nicht gelöscht werden, wenn weiter nach ihnen gesucht werden soll. Das löschen erledigt dann der trakt abgleich task, sobald sich der Film in der Collection befindet.

Last edited by snickers2k; 27.10.2017 at 15:21.
Reply With Quote
  #171  
Old 28.10.2017, 01:41
snickers2k snickers2k is offline
JD Adviser
 
Join Date: Oct 2015
Posts: 109
Default

Ach, könntest du bitte nochmal schauen ob die ganzen "2017-10-24 14:44:53-result-page.html" files im home-folder noch zu umgehen sind? danke
Reply With Quote
  #172  
Old 28.10.2017, 01:47
topy topy is offline
JD Alpha
 
Join Date: Aug 2017
Posts: 21
Default

Hi,
kommentier dir einfach
Code:
        log.info("Saved output to "+filename)
        with open(filename, "w") as file:
            file.write(str(soup))
im BaseSearchPlugin aus. Im nächsten Push von mir ist das standardmäßig disabled
Reply With Quote
  #173  
Old 29.10.2017, 19:14
snickers2k snickers2k is offline
JD Adviser
 
Join Date: Oct 2015
Posts: 109
Default

mhh.. echt blöd. Flexget erlaubt über die secret-file nur bestimmte dinge. "yes" "no" und reine Zahlen, für flexget interne Plugins funktioniert irgendwie nicht. Da kommt dann so ein Quatsch "Got `15000`, expected: number" oder "Got `yes`, expected: string" ... Also wäre ein Size-Filter nur möglich, wenn man in der Config die Größe direkt ändert - was dann aber auch nach jeder Änderung der Config erneut nötig ist :(
Mal gucken ob die Jungs von Flexget das gefixed bekommen
Reply With Quote
  #174  
Old 02.11.2017, 18:38
snickers2k snickers2k is offline
JD Adviser
 
Join Date: Oct 2015
Posts: 109
Default

Ich hoffe du bist noch nicht komplett genervt :D
Aber hier habe ich noch einen Fehler im SearchSeries Plugin (der auch schon im alten Plugin aufgetaucht ist :/)

Quote:
2017-11-02 16:57 VERBOSE discover Series_Collection_DE_Search Searching for `NCIS S01E01` with plugin `searchSJ` (83 of 180)
2017-11-02 16:57 CRITICAL task Series_Collection_DE_Search BUG: Unhandled error in plugin discover: list index out of range
Traceback (most recent call last):
File "/usr/local/lib/python2.7/dist-packages/flexget/task.py", line 486, in __run_plugin
return method(*args, **kwargs)
File "/usr/local/lib/python2.7/dist-packages/flexget/event.py", line 23, in __call__
return self.func(*args, **kwargs)
File "/usr/local/lib/python2.7/dist-packages/flexget/plugins/input/discover.py", line 290, in on_task_input
return self.execute_searches(config, entries, task)
File "/usr/local/lib/python2.7/dist-packages/flexget/plugins/input/discover.py", line 155, in execute_searches
search_results = search.search(task=task, entry=entry, config=plugin_config)
File "/usr/local/lib/python2.7/dist-packages/flexget/plugin.py", line 118, in wrapped_func
return func(*args, **kwargs)
File "/root/.flexget/plugins/BaseSearchPlugin.py", line 115, in search
search_result_entries = self.parse_result_entry(entry_page)
File "/root/.flexget/plugins/SeriesSearch.py", line 112, in parse_result_entry
search_result_entries.extend(self.parse_result_entry(next_page))
File "/root/.flexget/plugins/SeriesSearch.py", line 105, in parse_result_entry
size = re.findall('([\d]+ [\w]+)',size.replace("|","").strip())[0]
IndexError: list index out of range
Filme funktionieren allerdings Wunderbar. Noch einmal vielen Dank. Kurios nur, dass zeitgleich die Serien (auch crawl) nicht mehr funktioniert :( Vielleicht kannst du dir das ja nochmal ansehen.
Reply With Quote
  #175  
Old 14.11.2017, 14:30
topy topy is offline
JD Alpha
 
Join Date: Aug 2017
Posts: 21
Default

Moin, bin wieder im Lande und hab das Problem gefixt und die Lösung gepusht.

Hab bei mir das Problem das der irgendwie im Series_Collection_DE_Search jede Serie von S01E01 sucht. Beim Update_Series_Begin-Task hat er aber vorher meiner Collection entsprechend richtig die ersten Episoden (also next-episode) gesetzt - hast du eine Idee woran das liegen kann? Config ist aktuell.

Grüße,
Topy
Reply With Quote
  #176  
Old 15.11.2017, 00:28
snickers2k snickers2k is offline
JD Adviser
 
Join Date: Oct 2015
Posts: 109
Default

das habe ich in meiner Version schon gefixt. Push kommt. Das Update_Series_Begin bezieht sich nur (noch?!) auf die crawler-plugins. Nicht auf Discover. Obwohl das mal anders war. Habe jetzt im Discover-Plugin auf "next_trakt_episode" umgestellt. Damit funktioniert es zwar. Die Funktion des "backfill" ist damit aber nicht mehr möglich. Aber das hat eh nie gut funktioniert, wesshalb ich mir dafür nen anderen Weg überlegen werde.

Update ist raus

Allerdings muss ich jiaz noch weitere logs zukommen lassen. JDownloader hat gerade massive Probleme mit SJ und deren sicherheits mechanismen. die SJ internen captchas werden einfach nicht gelöst. Desshalb habe ich wieder scene....pw eingebaut

Last edited by snickers2k; 15.11.2017 at 01:21.
Reply With Quote
  #177  
Old 17.11.2017, 16:17
snickers2k snickers2k is offline
JD Adviser
 
Join Date: Oct 2015
Posts: 109
Default

So. Jiaz habe ich bezüglich SJ logs geschickt. Funktioniert leider noch immer nicht.

außerdem hat die erkennung von serien mit lookup einfach mal hundert Jahre gedauert. Wurde immer schlimmer. Was wohl in meinem Fall an meiner großen Collection liegt. Jedenfalls habe ich den "parser" in die Options übernommen. Kann dann von "guessit" auf "internal" gestellt werden. Habe dass jetzt mal bei mir auf internal gestellt und habe den Eindruck, dass es deutlich schneller läuft. Ob auch so gut - oder wenigstens gut genug, wird sich zeigen.

Außerdem habe ich noch einen ziemlich dirty workaround für die sizes hinzugefügt. Über include und ein paar extra files. Damit man das nicht (immer) in der Config einstellen muss.

Zu guter letzt wurden leider immer mal wieder Movies doppelt hinzugefügt. Hoffe das passiert jetzt auch nicht mehr.

Bei mir ist die Kiste gestern und heute ziemlich erfolgreich durchgelaufen.

ach scene...pw hat auch ebooks. habe ich auch mal eingebunden.

Werde das nachher mal uploaden.

Last edited by snickers2k; 17.11.2017 at 16:20.
Reply With Quote
  #178  
Old 17.11.2017, 16:27
topy topy is offline
JD Alpha
 
Join Date: Aug 2017
Posts: 21
Default

Das klingt gut, dann traue ich mich am Wochenende auch nochmal dran. Bei mir lief es Anfang der Woche auch gar nicht rund und hat ewig gedauert. Bei SJ hat JD dann auch immer UL&SO Links empfangen, selbst wenn ich es manuell mit dem Browser-Addon gemacht habe.. hab dann flexget die letzten Tage gar nicht mehr angeschmissen /daemon ausgehabt. Freu mich aber dann auf dein neues Update :D
Reply With Quote
  #179  
Old 17.11.2017, 22:27
snickers2k snickers2k is offline
JD Adviser
 
Join Date: Oct 2015
Posts: 109
Default

Also dass UL und SO hinzugefügt werden, kann ich mit flexget nicht verhindern. Nur verschiedene releases. Dass müsste dann über das SJ-Plugin gefiltert werden. Geht aber nicht für season-packs, da SJ diese glaube ich zusammen schmeißt.
Aber das finde ich sogar gut, da ich noch einen debriditalia acc habe, über den UL-unlimited 2€ oder so im Monat kostet. Wenn alles über SO geladen wird, werden die UL Links ja als mirror auch als fertig anerkannt. Wenn sie offline sind und desshalb "probleme" in JD machen; in JD einfach offline links in den settings "verbieten".

Last edited by snickers2k; 17.11.2017 at 22:30.
Reply With Quote
  #180  
Old 17.11.2017, 23:39
topy topy is offline
JD Alpha
 
Join Date: Aug 2017
Posts: 21
Default

Quote:
Also dass UL und SO hinzugefügt werden, kann ich mit flexget nicht verhindern
ne, schon klar, das ist ne sache vom decrypter. An sich ists mir auch egal, hab SO und UL Accs, mich störts nur, wenn ich JD den filecrypt link für UL gebe er dann auch SO daraus saugt :D
Reply With Quote
Reply

Thread Tools
Display Modes

Posting Rules
You may not post new threads
You may not post replies
You may not post attachments
You may not edit your posts

BB code is On
Smilies are On
[IMG] code is On
HTML code is Off

Forum Jump

All times are GMT +2. The time now is 09:26.
Provided By AppWork GmbH | Privacy | Imprint
Parts of the Design are used from Kirsch designed by Andrew & Austin
Powered by vBulletin® Version 3.8.9
Copyright ©2000 - 2017, Jelsoft Enterprises Ltd.