JDownloader Community - Appwork GmbH
 

Reply
 
Thread Tools Display Modes
  #221  
Old 23.07.2019, 17:00
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 79,232
Default

I don't know about flexget so I can't tell :(
In JDownloader there is no scanning process. You would have to write a script that re-adds the channel link again and again and then remove already loaded files via another script.
__________________
JD-Dev & Server-Admin
Reply With Quote
  #222  
Old 25.07.2019, 18:55
Takhen Takhen is offline
DSL User
 
Join Date: Mar 2018
Posts: 38
Default

So you mean that I need a script that create an history file that stores the already downloaded link and cut them off from the download list? It doesn't seem a bad idea, it would able me to clean the download list without losing the process. Now I'm thinking about the issues this method would have to better understand limits and possible improvements.
With scanning process I mean when you add a link to JD and it searches the downloadable contents in that link. It would be better don't be forced to keep JD opened all the time, but maybe with your method that search each time all the channel it won't be needed to keep it opened, and this would be good.
I'm also trying the frequence of videos that can be downloaded without capchas. I'm still testing, but it seems that the capchas come when you download a video each 10 minutes for some times. Until now I think that a video each 11 minutes would be ok, it mean that if we suppose a 100 videos channel it would need a scan each 1100 minutes, that would be less than 19 hours, also the time seems to be ok with the project.
In a fast first looking it seems flexget won't be needed because I can't see big issues with this method. There are other kinds of issues? For example too high band drain or something else I didn't think before to start with this way?
Reply With Quote
  #223  
Old 26.07.2019, 16:01
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 79,232
Default

Yes, you need one script that creates sort of history of downloaded files. That history file later can be used by other scripts to filter out new/found links to avoid redownload them. Scanning videos should not cause any captchas? Also download should not cause any captchas when not done in real masses.
I don't see any high bandwidth drain as the goal is to achieve to only download stuff that isn't in history/download list yet. Of course this might require some not existing scripts/methods yet, but for that mgpai will contact me and discuss what's needed and how this can be done. Just saying so you know that this is nothing that can be done/scripted within a few minutes but in the end can work very well.
__________________
JD-Dev & Server-Admin
Reply With Quote
  #224  
Old 29.07.2019, 20:42
Takhen Takhen is offline
DSL User
 
Join Date: Mar 2018
Posts: 38
Default

The number of videos in the channel depend to the channel, and for the bandwidth I don't know if also the checking process will be "expensive" for the band, for example for a 100 videos channel, where I could download only the last two, but there might be the process where JD takes each the 100 and compare them with the history. But if there is no too high bandwidth and I can open JD only sometime without losing any videos, the method seems good. What I have to do, I wait for you and mgpai for news here?
Reply With Quote
  #225  
Old 02.08.2019, 21:53
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 79,232
Default

The method I have in mind doesn't require much bandwidth as the check should find very early/fast that you already have downloaded the file. Did you already contact mgpai about this and ask him for help. He will then contact me for method/features to make this work
__________________
JD-Dev & Server-Admin
Reply With Quote
  #226  
Old 08.08.2019, 21:30
Takhen Takhen is offline
DSL User
 
Join Date: Mar 2018
Posts: 38
Default

As mgpai said, a new feature will give a better method than the one we are talking about, so as his advice I stop write here and I continue in https://board.jdownloader.org/showthread.php?t=80899
Reply With Quote
  #227  
Old 13.08.2019, 13:02
snickers2k snickers2k is offline
JD Addict
 
Join Date: Oct 2015
Posts: 174
Default

Mal zurück zum Topic

Aktueller Stand der Config:

Teilweise funktioniert das ganze, teilweise nicht.

Das Hauptproblem ist allerdings tatsächlich nicht meine Config.
Die läuft 95% der Zeit - und die restlichen 5% könnte (außer mir) eigentlich jeder die letzte funktionierende Version nehmen. Falls mal eine (bei anderen) nicht laufende Config auf Github landet, bin ich gerne dazu bereit den Fehler (anhand von Logs bitte) zu fixen.

Allerdings sind die Plugins leider problematisch.
Wie gesagt, ich bin kein Programmierer und kann die Plugins entweder nur behelfsmäßig updaten oder gar nicht.

- Movie-Stream funktioniert wieder
- Serien-Suche funktioniert

- Movie-Search nur bedingt, weil eben nicht nach clean (regexp) Namen gesucht wird.
Entsprechend werden nur Namen gefunden, die keine Umlaute oder Sonderzeichen enthalten.
(hier müsste flexget das discover-plugin fixen, damit nach regexp_lists gesucht werden kann (sonst würde es bereits laufen), oder das Movie-Search-Plugin selbst müsste regexp alle namen cleanen).

- Serien-Stream
Quote:
`SEAL Team S02E17 Explosion im Paradies GERMAN DL 1080p HDTV x264` by urlrewriting plugin because no Episode found
Eigentlich habe ich die Hoffnung, dass topy das hinbekommt :D
Aber evtl ist ja noch jemand python/php skilled und interessiert

Last edited by snickers2k; 14.08.2019 at 19:17.
Reply With Quote
  #228  
Old 13.08.2019, 23:45
Takhen Takhen is offline
DSL User
 
Join Date: Mar 2018
Posts: 38
Default

Excuse me, the translator doesn't work, is it about my request?
Reply With Quote
  #229  
Old 14.08.2019, 10:43
snickers2k snickers2k is offline
JD Addict
 
Join Date: Oct 2015
Posts: 174
Default

No. First line was "back to topic"
I'm sorry, to be honest, i have no idea what you are trying to achieve at all :D
Reply With Quote
  #230  
Old 14.08.2019, 11:42
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 79,232
Default

@Takhen: not about your request.For a JDownloader solution to your request you will have to wait till myself or another developer finds time to work on the required changes
__________________
JD-Dev & Server-Admin
Reply With Quote
  #231  
Old 28.08.2019, 01:15
piloader piloader is offline
Vacuum Cleaner
 
Join Date: Jun 2019
Posts: 15
Default Template fehler

Hi,

Ich bin vor kurzem auf flexget und diese config gestoßen.
Leider raff ich nicht ganz was ich falsch mache.
Läuft auf nem Pi3 mit python 2.7

Code:
2019-08-27 22:30 CRITICAL template      Movies_Watchlist_Stream_Main Unable to find template {? enable-disable.Upgrade_Movies ?}-Upgrade-Movies for task Movies_Watchlist_Stream_Main
2019-08-27 22:30 WARNING  task          Movies_Watchlist_Stream_Main Aborting task (plugin: template)
Wäre toll wenn mir jemand helfen kann.
Reply With Quote
  #232  
Old 07.09.2019, 17:58
snickers2k snickers2k is offline
JD Addict
 
Join Date: Oct 2015
Posts: 174
Default

Sorry, da ich noch auf die gefixten Plugins von topy warte, hatte ich noch keine Motivation die Config weiter zu updaten. Würde aktuell eh nur mit Serien funktionieren.
Reply With Quote
  #233  
Old 07.09.2019, 21:42
topy topy is offline
Super Loader
 
Join Date: Aug 2017
Posts: 29
Default

Hab's eben mal geschafft meinen aktuellen Stand zu comitten. Sollten jetzt alle unter python 3 laufen (und vermutlich nur noch unter p3!) - ein zwei Fehler sollten auch gefixt sein. Habe selber Flexget aber aktuell nicht aktiv - dafür läuft da noch zu viel schief. Habe derzeit leider zu wenig Zeit der Sache nachzugehen. Konkrete Fehlerberichte zu meinen Plugins nehme ich aber gerne entgegen und versuche sie ASAP zu fixen.
Reply With Quote
  #234  
Old 08.09.2019, 12:30
snickers2k snickers2k is offline
JD Addict
 
Join Date: Oct 2015
Posts: 174
Default

ah. hey topy.
vielen dank dir.
Werde die Plugins die Tage einbauen und die funktionierende Config updaten.
Wenn dann noch was nicht laufen sollte, bekommen wir das sicher gemeinsam hin.
Reply With Quote
  #235  
Old 08.09.2019, 16:52
piloader piloader is offline
Vacuum Cleaner
 
Join Date: Jun 2019
Posts: 15
Default

Ok das ist ja schön zu hören.
Werde sobald verfügbar dann auf python3 updaten und meine options.yml da rein schmeißen.
Reply With Quote
  #236  
Old 08.09.2019, 17:15
topy topy is offline
Super Loader
 
Join Date: Aug 2017
Posts: 29
Default

Alles klar!

ich hatte gestern Abend noch ein wenig drüber geschaut - scheint so als hätten sich in der config noch ein zwei kleine Fehler eingeschlichen.

Was mir aufgefallen ist:

- "enable_disable" in config.yml, in options.yml heißt der Eintrag disable_enable_tasks
- "different_qualities", meckert, dass valid values "better", False oder True sind, wenn man nicht better hinterlegt.. also "no" scheint da nicht zu funktionieren, auch False oder "False" ging bei mir nicht :( das musste ich direkt in der config.yml hinterlegen - gut möglich das ist da aber irgendwas verbockt habe :D
- enable/disable_seasons template ist nicht vorhanden

Ich schaffe es vllt die Tage noch die HDA-Series/-Movies Dinger rund zu machen (da hab ich bei mir jetzt nur die HDW Dinger eingebunden). Ein kurzer Test (ohne staffelpacks) bei SJ mit 3-4 Serien war erfolgreich.

Vllt kannst du noch eine seperate Quality für Serien einbauen? ich lad z.B. Serien bis auf ein paar Ausnahmen nur in 720p

Code:
quality_movies: ## This will target your "main" quality, but falls back to "low" quality, if main quality is not available. "High" is for your Trakt Favorite_List
  low: 720p #Type in your prefered low quality -- e.g. 720p
  main: 1080p webdl+ h264+ dd5.1+ #Type in your prefered main quality -- e.g. 1080p
  high: 1080p webdl+ h264+ dd5.1+ #Type in your prefered high quality -- e.g. 4K
  3D: 1080p+ webdl+ h264+ dd5.1+ #Type in your prefered 3D quality
  
quality_series: ## This will target your "main" quality, but falls back to "low" quality, if main quality is not available. "High" is for your Trakt Favorite_List
  low: 720p #Type in your prefered low quality -- e.g. 720p
  main: 720p webdl+ h264+ dd5.1+ #Type in your prefered main quality -- e.g. 1080p
  high: 1080p webdl+ h264+ dd5.1+ #Type in your prefered high quality -- e.g. 4K

Last edited by topy; 09.09.2019 at 02:58.
Reply With Quote
  #237  
Old 09.09.2019, 13:23
snickers2k snickers2k is offline
JD Addict
 
Join Date: Oct 2015
Posts: 174
Default

Quote:
Originally Posted by snickers2k View Post
...hatte ich noch keine Motivation die Config weiter zu updaten...
Bringt aber so auch noch nichts. Erstmal sollte das ganze laufen - bevor ihr für nichts immer die Options neu eintragt und ich meine Options vor dem Upload permanent cleane. Zumal ich die Options gerade umgebaut hatte.

Habe das jetzt mal getestet.

Zu den Plugins.
Die stream Plugins könnten etwas liebe gebrauchen.

Zum einen, muss unbedingt eine Größe ausgegeben werden. Ohne Größen-filter würden ständig 1080p 60GB Schinken geladen werden. So bricht es jetzt einfach ab.
Zum anderen gibt es bei SJ-stream den Fehler " by urlrewriting plugin because no Episode found"
Da bin ich mir allerdings nicht sicher, ob es ein flexget interner fehler des urlrewrite-plugins ist.

Prinzipiell finde ich die Streams aber absolut wichtig. Zum einen weil damit die Suchanfragen reduziert werden können. Zum anderen weil die Suche mit bestimmten Titles einfach an ihre Grenzen kommt.


Zu den Such-Plugins; da haste wohl nen kleinen typo eingebaut, topy. Jeder Film wird mit einem "s" am Ende gesucht. Also z.B. "Herr der Ringes".
In der entry-list ist der Name allerdings korrekt, also muss der Fehler in den Plugins sein.
Vermute mal
Code:
	query_static = {"cat":0}
	query_param_name = "s"
vs
Code:
    query_static = {"s":"search"}
    query_param_name = "q"
-----
Zur Config:

An den Serien muss ich eh noch einiges fixen.
Bei der Gelegenheit könnte ich auch Serien-Qualität mal einbauen.

Ombi funktioniert inzwischen auch. Allerdings über das inoffizielle flexget-interne plugin von bagobones - sorry topy Da kam dein rss zu spät^^

--
Also hier und da noch ein paar kleinere fixes und das Ding sollte endlich wieder vollumfänglich rennen.
Würde mir auch gut passen, denn in nächster Zeit werde ich mal wieder kaum Zeit haben.

Last edited by snickers2k; 10.09.2019 at 00:45.
Reply With Quote
  #238  
Old 09.09.2019, 15:12
Amiganer Amiganer is offline
JD Fan
 
Join Date: Mar 2019
Posts: 72
Default Ein anderer Ansatz?

Hallo.

Ich habe auch Flexget als Filter vor dem JD2 laufen, aber ich scheine einen anderen Ansatz zu verwenden, den ich hier kurz vorstellen möchte.

Man kann FlexGet einfach die Links sammeln lassen und dann erzeugt man mit dem plugin für "make_html" über ein Template eine crawljob-Datei.

Das Template sieht etwas so aus:
---------------------------------------------------
chunks=0
autoConfirm=true
autoStart=true
deepAnalyseEnabled=true
enabled=true
extractAfterDownload=false
forcedStart=true
packageName=XYZ
#
# Links
#
text={% for entry in task.accepted %}{{ entry.url }}
{% endfor %}
#
--------------------------------------------------------
Das gnaze muß unter einem namen "XYZ.template" ins Verzeichnis "Template" hinterlegt werden.
Es wird ann in der config.yml wie folgt aufgerufen:
--------------------------------------------------------
makeXYZ:
priority: 99
from_digest:
list: XYZLinks
seen: no
accept_all: yes
make_html:
file: JD2\XYZ.crawljob
template: XYZ
---------------------------------------------------------
Im "digest" XYZLinks werden dann die Links gesammelt.
Alle Dateien landen dann bei FlexGet im Verzeichnis JD2. Ich habe damit schlechte Erfahrungen gemacht, die crawljob's direkt ins folderwatch zu schreiben, besonders wenn es viele Links sind. Ich kopiere diese dann zusammen in's folderwatch, wenn alle fertig sind.

Der Syntax in Template geht nach Jinja2 Syntax.

MfG
Christian

Last edited by Amiganer; 09.09.2019 at 15:14. Reason: Links sind nicht möglich
Reply With Quote
  #239  
Old 09.09.2019, 15:47
snickers2k snickers2k is offline
JD Addict
 
Join Date: Oct 2015
Posts: 174
Default

Hey.
Danke dir für den Input. Gerne mehr davon
Irgendwie ist die Flexget-community in DE doch sehr klein :(

Ja, prinzipiell kenne ich diesen Weg.
Habe aber trotzdem noch nicht ganz verstanden, wieso man es so machen sollte :D
Klar, man kann damit sicherstellen, dass alles fertig geschrieben wird bevor es im folderwatch landet, aber ich hatte noch keine Probleme.
Gibt es sonst Vorteile? :D
Ansonsten wäre ich wohl zu Faul es bei mir umzubauen, obwohl es eig läuft

btw. wenn du Ahnung von Flexget hast, kannste gerne mit an meiner Config schrauben
Reply With Quote
  #240  
Old 10.09.2019, 03:27
topy topy is offline
Super Loader
 
Join Date: Aug 2017
Posts: 29
Lightbulb

Ich habe den Plugins mal etwas "Liebe" geschenkt. Zumindest habe ich jetzt sämtliche Crawler-Codes in einer "api" zusammengefasst, dass heißt, die HDA,HDW,MB,SJ Scripte im External-Plugins-Ordner können alle weg. Bitte dafür den alpha branch in meinem Repo beachten..

Dadurch ändert sich im Grunde nicht viel: anstatt jede Datei einzeln auszuführen um die Stream-XMLs zu generieren, gibt es jetzt eine stream.py, der Code da drinne sollte verständlich sein, ist aber auch schon vorkonfiguriert. Bei Gelegenheit könnte ich Sprache und Qualität da noch mit aufnehmen, aktuell geht nur Hoster.

Habe ALLE Suchen und Crawler überarbeitet und mit ein zwei Titeln getestet. Dein drangehängtes s konnte ich bei Filmen nicht reproduzieren; dein Quote bezieht sich auf die URL Parameter. Allerdings gab es beim SJ Plugin ein Bug, das wenn z.B. statt S01 s01 übergeben wurde, das dann "s" stehen blieb und mit in den Suchstring aufgenommen wurde - das ist aber jetzt gefixt.

Der Crawl_Plugins Tasks, könnte jetzt so aussehen:

Code:
  
Crawl_Plugins:
    interval: 1 hours
    template:
      - no_seen
      - no_global
    priority: 1
    no_entries_ok: yes
    exec:
      on_start:
        phase: 
          - "cd {? flexget.path ?}/rss/ && rm *.xml; cd {? flexget.path ?}/ && python3 ./streams.py"
"rss"-Ordner muss natürlich vorher existieren. Ich finde das so übersichtlicher, und vor allem muss ich so nicht den gleichen Code an 20 Stellen warten Ich kann also schneller auf eure Bug-Reports reagieren.
Reply With Quote
Reply

Thread Tools
Display Modes

Posting Rules
You may not post new threads
You may not post replies
You may not post attachments
You may not edit your posts

BB code is On
Smilies are On
[IMG] code is On
HTML code is Off

Forum Jump

All times are GMT +2. The time now is 10:23.
Provided By AppWork GmbH | Privacy | Imprint
Parts of the Design are used from Kirsch designed by Andrew & Austin
Powered by vBulletin® Version 3.8.10 Beta 1
Copyright ©2000 - 2024, Jelsoft Enterprises Ltd.