#201
|
|||
|
|||
Quote:
Code:
GET https--://api.trakt.tv/sync/collection/type Quote:
Last edited by spuntiga; 05.07.2018 at 14:15. Reason: trakt link sichtbar gemacht |
#202
|
|||
|
|||
config geupdated. Waren tatsächlich ne Menge Probleme/Fehler drin. Das meiste sollte gefixed sein. Bei mir funktioniert wieder alles.
- imdb_watchlist limit lag zuletzt bei 250, ist durch nen Workaround wieder bei unendlich. www verzeichnis sollte allerdings entsprechende Rechte haben, oder flexget gleich als root nutzen (auf eigene Gefahr;) ) imdb_id in options muss angepasst werden (sofern genutzt) - SJ-crawl wieder aktiviert - scene files entfernt - quality bei den such-tasks "gefixed" - upgrade movie quality hinzugefügt Last edited by snickers2k; 06.08.2018 at 21:22. |
#203
|
|||
|
|||
Verstehe es irgendwie nicht
Hi,
also kurze Bearbeitung: Flexget-Config geladen von github: Alles nach Anleitung durchgeführt. JD2 installiert usw. ich habe so ziemlich alles getan und meiner Meinung nach auch richtig gemacht. Nur leider passiert nichts. Das Programm läuft durch, gibt auch alle möglichen RSS Feed Rückläufer die auch alle schön geschrieben werden aber es passiert einfach nichts im JDownloader oder mit irgendwelchen Links. Was sollte denn der genaue Output hier sein? Gibt es dann eine Art Liste, in der alle Links drin sind, oder sollte der Zugriff eigentlich direkt auf den JD zugreifen? Ich habe in Trakt als Test alles eingstellt was ich eigentlich benötige. Ein paar Serien und Filme und ? Bitte um Hilfe, wie gesagt, es läuft alles durch, auch ohne Fehler nachdem ich Special und eBook raus genommen habe aus der Config Datei. Ich habe mal 2 Screens angehängt, vll. kann ja damit jemand etwas anfangen. Danke für den Support.. Wenns denn mal klappt, ist es natürlich eine mega geile Sache Last edited by SlashGIP; 02.09.2018 at 04:51. |
#204
|
|||
|
|||
Die Sceens kann ich nicht einsehen... nur für Admins, warum auch immer.
Wenn alles funktioniert hat, ist im JD Ordner ein Ordner "folderwatch". Dort werden .crawljob dateien abgelegt. Wenn JD diese auch erfolgreich annimmt, erscheinen sie in einem weiteren Unterordner "added". Hmm.. mir fällt gerade ein, dass in JD auch "ordnerüberwachung" aktiviert sein muss.. fehlt im tutorial.. ups |
#205
|
|||
|
|||
Hey, I am new to all of this and I am trying to get this to work with Windows 10 and JDownloader2.
Does anyone have instructions for setting this up in Windows 10 and JDownloader2? Thanks for any help on this. |
#206
|
|||
|
|||
Quote:
hab auf raspiberry 3b+ flexget nach deiner Anleitung laufen. Aber die config scheint nicht bei mir richtig zu funksonieren. trakt ist auth. und es findet auch meine gesehene show aber von der watchlist wird nichts geladen bzw. gesucht und die search funktion liefert auch nichts. bsp wird tbbt mit sj.org plugin gsucht aber der findet nichts log pastebin.com/SzbgUi3p options pastebin.com/WjamWf4s danke Last edited by Jiaz; 17.04.2019 at 11:58. |
#207
|
|||
|
|||
Hi, mgpai sent me here after talking about a feature I wanted to create, someone can help?
My purpose is to make that, given a site and target channels of it, JD automatically add and download each new video published from them, when they publish. Better if I don't have to keep JD opened all the time. The site has the feeds RSS, but only global and not for single channels. mgpai said Flexget could realize my purpose anyway, and also allow me to open JD only when I want to download. The issue is that I don't know how to work with codes, neither what Python is. I mean is that I need someone that could guide me with basical instructions I could understand. PS: each method that could realize my purpose with different ways is good anyway. Until now we tried with the script here: **External links are only visible to Support Staff****External links are only visible to Support Staff** The problems were that it seems this site has not the feed RSS for specific channel, so it only could scan the normal page each interval, with the issue that if I will rename, delete or move the file it will be redownloaded each time. A second issue I can't understand where it came from is that adding the link of the channel it also found videos that are not from that channel and that I didn't find opening the link in the browser. Many thanks, sorry for the english |
#208
|
|||
|
|||
Hey Takhen.
Sorry, but i only can help with my own Config, since that way, it's more or less plug and play for most users. Flexget is a really complex peace of software. Of course you can do all sorts of things with it - even run commandline commands (like starting jdownloader). But i'm sorry, what you want to do is way to complex to help you with. Just a little hint: "accept_all: yes", just accepts everything it's feeded with. "seen: yes/local" is for reminding added movies. So even if you move them, it's still marked "seen" in Flexget and won't get downloaded again. |
#209
|
|||
|
|||
You better off with a raspberry
|
#210
|
|||
|
|||
You mean that you can't help me to do it or that no one can help here because it's too complex? And raspberry is something hardware?
|
#211
|
||||
|
||||
raspberry pi is a cheap embedded system(runing linux) and nearly all tutorials/scripts you can find are for linux platform. That's why a raspberry will be *much* easier to use with flexget. But I'm not sure if that's the case for you as you wish RSS stuff and maybe mgpai doesn't know if flexget really can be the solution to your use case.
__________________
JD-Dev & Server-Admin |
#212
|
|||
|
|||
Quote:
Description: Code:
Parses URLs from html page. Useful on sites which have direct download links of any type (mp3, jpg, torrent, …). Many anime-fansubbers do not provide an RSS-feed, this usually works for those cases. Code:
flexget.com/Plugins/html Unfortunately I have no experience in configuring it. |
#213
|
||||
|
||||
Thanks @mgpai for the info. Unfortunately I don't have any experience with this flexget either
__________________
JD-Dev & Server-Admin |
#214
|
|||
|
|||
There is someone else that could know how to proceed or any equivalent method, also without flexget, for the same result?
|
#215
|
||||
|
||||
@Takhen: so basically you want to add a channel link and only process the new found links?
__________________
JD-Dev & Server-Admin |
#216
|
|||
|
|||
That's right
|
#217
|
||||
|
||||
Can you please send me example channel links to support@jdownloader.org ? I've got an idea and would like to test it.
You want to add the same channel link again and only want new links to be added? new = not yet in list, right?
__________________
JD-Dev & Server-Admin |
#218
|
|||
|
|||
I want that, given a channel link, JD downloads only the new videos the channel pubblish. For example, if I delete or move in a different folder a downloaded video, I need it's not automatically redownloaded
I sent the mail with the channel's link |
#219
|
||||
|
||||
Ah okay. It's more complex as you also wish to avoid downloaded files that are no longer in list or moved place. In this case I would recommend to ask mgpai for a script that records final downloaded files from that service and stores information in sort of history/archive file and checks against the file when adding the channel link again
__________________
JD-Dev & Server-Admin |
#220
|
|||
|
|||
There would be cons compared with flexget? There is a way to keep the scanning process when JD is closed to record which link it have to download, and download them all when it's started?
|
#221
|
||||
|
||||
I don't know about flexget so I can't tell :(
In JDownloader there is no scanning process. You would have to write a script that re-adds the channel link again and again and then remove already loaded files via another script.
__________________
JD-Dev & Server-Admin |
#222
|
|||
|
|||
So you mean that I need a script that create an history file that stores the already downloaded link and cut them off from the download list? It doesn't seem a bad idea, it would able me to clean the download list without losing the process. Now I'm thinking about the issues this method would have to better understand limits and possible improvements.
With scanning process I mean when you add a link to JD and it searches the downloadable contents in that link. It would be better don't be forced to keep JD opened all the time, but maybe with your method that search each time all the channel it won't be needed to keep it opened, and this would be good. I'm also trying the frequence of videos that can be downloaded without capchas. I'm still testing, but it seems that the capchas come when you download a video each 10 minutes for some times. Until now I think that a video each 11 minutes would be ok, it mean that if we suppose a 100 videos channel it would need a scan each 1100 minutes, that would be less than 19 hours, also the time seems to be ok with the project. In a fast first looking it seems flexget won't be needed because I can't see big issues with this method. There are other kinds of issues? For example too high band drain or something else I didn't think before to start with this way? |
#223
|
||||
|
||||
Yes, you need one script that creates sort of history of downloaded files. That history file later can be used by other scripts to filter out new/found links to avoid redownload them. Scanning videos should not cause any captchas? Also download should not cause any captchas when not done in real masses.
I don't see any high bandwidth drain as the goal is to achieve to only download stuff that isn't in history/download list yet. Of course this might require some not existing scripts/methods yet, but for that mgpai will contact me and discuss what's needed and how this can be done. Just saying so you know that this is nothing that can be done/scripted within a few minutes but in the end can work very well.
__________________
JD-Dev & Server-Admin |
#224
|
|||
|
|||
The number of videos in the channel depend to the channel, and for the bandwidth I don't know if also the checking process will be "expensive" for the band, for example for a 100 videos channel, where I could download only the last two, but there might be the process where JD takes each the 100 and compare them with the history. But if there is no too high bandwidth and I can open JD only sometime without losing any videos, the method seems good. What I have to do, I wait for you and mgpai for news here?
|
#225
|
||||
|
||||
The method I have in mind doesn't require much bandwidth as the check should find very early/fast that you already have downloaded the file. Did you already contact mgpai about this and ask him for help. He will then contact me for method/features to make this work
__________________
JD-Dev & Server-Admin |
#226
|
|||
|
|||
As mgpai said, a new feature will give a better method than the one we are talking about, so as his advice I stop write here and I continue in https://board.jdownloader.org/showthread.php?t=80899
|
#227
|
|||
|
|||
Mal zurück zum Topic
Aktueller Stand der Config: Teilweise funktioniert das ganze, teilweise nicht. Das Hauptproblem ist allerdings tatsächlich nicht meine Config. Die läuft 95% der Zeit - und die restlichen 5% könnte (außer mir) eigentlich jeder die letzte funktionierende Version nehmen. Falls mal eine (bei anderen) nicht laufende Config auf Github landet, bin ich gerne dazu bereit den Fehler (anhand von Logs bitte) zu fixen. Allerdings sind die Plugins leider problematisch. Wie gesagt, ich bin kein Programmierer und kann die Plugins entweder nur behelfsmäßig updaten oder gar nicht. - Movie-Stream funktioniert wieder - Serien-Suche funktioniert - Movie-Search nur bedingt, weil eben nicht nach clean (regexp) Namen gesucht wird. Entsprechend werden nur Namen gefunden, die keine Umlaute oder Sonderzeichen enthalten. (hier müsste flexget das discover-plugin fixen, damit nach regexp_lists gesucht werden kann (sonst würde es bereits laufen), oder das Movie-Search-Plugin selbst müsste regexp alle namen cleanen). - Serien-Stream Quote:
Aber evtl ist ja noch jemand python/php skilled und interessiert Last edited by snickers2k; 14.08.2019 at 19:17. |
#228
|
|||
|
|||
Excuse me, the translator doesn't work, is it about my request?
|
#229
|
|||
|
|||
No. First line was "back to topic"
I'm sorry, to be honest, i have no idea what you are trying to achieve at all :D |
#230
|
||||
|
||||
@Takhen: not about your request.For a JDownloader solution to your request you will have to wait till myself or another developer finds time to work on the required changes
__________________
JD-Dev & Server-Admin |
#231
|
|||
|
|||
Template fehler
Hi,
Ich bin vor kurzem auf flexget und diese config gestoßen. Leider raff ich nicht ganz was ich falsch mache. Läuft auf nem Pi3 mit python 2.7 Code:
2019-08-27 22:30 CRITICAL template Movies_Watchlist_Stream_Main Unable to find template {? enable-disable.Upgrade_Movies ?}-Upgrade-Movies for task Movies_Watchlist_Stream_Main 2019-08-27 22:30 WARNING task Movies_Watchlist_Stream_Main Aborting task (plugin: template) |
#232
|
|||
|
|||
Sorry, da ich noch auf die gefixten Plugins von topy warte, hatte ich noch keine Motivation die Config weiter zu updaten. Würde aktuell eh nur mit Serien funktionieren.
|
#233
|
|||
|
|||
Hab's eben mal geschafft meinen aktuellen Stand zu comitten. Sollten jetzt alle unter python 3 laufen (und vermutlich nur noch unter p3!) - ein zwei Fehler sollten auch gefixt sein. Habe selber Flexget aber aktuell nicht aktiv - dafür läuft da noch zu viel schief. Habe derzeit leider zu wenig Zeit der Sache nachzugehen. Konkrete Fehlerberichte zu meinen Plugins nehme ich aber gerne entgegen und versuche sie ASAP zu fixen.
|
#234
|
|||
|
|||
ah. hey topy.
vielen dank dir. Werde die Plugins die Tage einbauen und die funktionierende Config updaten. Wenn dann noch was nicht laufen sollte, bekommen wir das sicher gemeinsam hin. |
#235
|
|||
|
|||
Ok das ist ja schön zu hören.
Werde sobald verfügbar dann auf python3 updaten und meine options.yml da rein schmeißen. |
#236
|
|||
|
|||
Alles klar!
ich hatte gestern Abend noch ein wenig drüber geschaut - scheint so als hätten sich in der config noch ein zwei kleine Fehler eingeschlichen. Was mir aufgefallen ist: - "enable_disable" in config.yml, in options.yml heißt der Eintrag disable_enable_tasks - "different_qualities", meckert, dass valid values "better", False oder True sind, wenn man nicht better hinterlegt.. also "no" scheint da nicht zu funktionieren, auch False oder "False" ging bei mir nicht :( das musste ich direkt in der config.yml hinterlegen - gut möglich das ist da aber irgendwas verbockt habe :D - enable/disable_seasons template ist nicht vorhanden Ich schaffe es vllt die Tage noch die HDA-Series/-Movies Dinger rund zu machen (da hab ich bei mir jetzt nur die HDW Dinger eingebunden). Ein kurzer Test (ohne staffelpacks) bei SJ mit 3-4 Serien war erfolgreich. Vllt kannst du noch eine seperate Quality für Serien einbauen? ich lad z.B. Serien bis auf ein paar Ausnahmen nur in 720p Code:
quality_movies: ## This will target your "main" quality, but falls back to "low" quality, if main quality is not available. "High" is for your Trakt Favorite_List low: 720p #Type in your prefered low quality -- e.g. 720p main: 1080p webdl+ h264+ dd5.1+ #Type in your prefered main quality -- e.g. 1080p high: 1080p webdl+ h264+ dd5.1+ #Type in your prefered high quality -- e.g. 4K 3D: 1080p+ webdl+ h264+ dd5.1+ #Type in your prefered 3D quality quality_series: ## This will target your "main" quality, but falls back to "low" quality, if main quality is not available. "High" is for your Trakt Favorite_List low: 720p #Type in your prefered low quality -- e.g. 720p main: 720p webdl+ h264+ dd5.1+ #Type in your prefered main quality -- e.g. 1080p high: 1080p webdl+ h264+ dd5.1+ #Type in your prefered high quality -- e.g. 4K Last edited by topy; 09.09.2019 at 02:58. |
#237
|
|||
|
|||
Quote:
Habe das jetzt mal getestet. Zu den Plugins. Die stream Plugins könnten etwas liebe gebrauchen. Zum einen, muss unbedingt eine Größe ausgegeben werden. Ohne Größen-filter würden ständig 1080p 60GB Schinken geladen werden. So bricht es jetzt einfach ab. Zum anderen gibt es bei SJ-stream den Fehler " by urlrewriting plugin because no Episode found" Da bin ich mir allerdings nicht sicher, ob es ein flexget interner fehler des urlrewrite-plugins ist. Prinzipiell finde ich die Streams aber absolut wichtig. Zum einen weil damit die Suchanfragen reduziert werden können. Zum anderen weil die Suche mit bestimmten Titles einfach an ihre Grenzen kommt. Zu den Such-Plugins; da haste wohl nen kleinen typo eingebaut, topy. Jeder Film wird mit einem "s" am Ende gesucht. Also z.B. "Herr der Ringes". In der entry-list ist der Name allerdings korrekt, also muss der Fehler in den Plugins sein. Vermute mal Code:
query_static = {"cat":0} query_param_name = "s" Code:
query_static = {"s":"search"} query_param_name = "q" Zur Config: An den Serien muss ich eh noch einiges fixen. Bei der Gelegenheit könnte ich auch Serien-Qualität mal einbauen. Ombi funktioniert inzwischen auch. Allerdings über das inoffizielle flexget-interne plugin von bagobones - sorry topy Da kam dein rss zu spät^^ -- Also hier und da noch ein paar kleinere fixes und das Ding sollte endlich wieder vollumfänglich rennen. Würde mir auch gut passen, denn in nächster Zeit werde ich mal wieder kaum Zeit haben. Last edited by snickers2k; 10.09.2019 at 00:45. |
#238
|
|||
|
|||
Ein anderer Ansatz?
Hallo.
Ich habe auch Flexget als Filter vor dem JD2 laufen, aber ich scheine einen anderen Ansatz zu verwenden, den ich hier kurz vorstellen möchte. Man kann FlexGet einfach die Links sammeln lassen und dann erzeugt man mit dem plugin für "make_html" über ein Template eine crawljob-Datei. Das Template sieht etwas so aus: --------------------------------------------------- chunks=0 autoConfirm=true autoStart=true deepAnalyseEnabled=true enabled=true extractAfterDownload=false forcedStart=true packageName=XYZ # # Links # text={% for entry in task.accepted %}{{ entry.url }} {% endfor %} # -------------------------------------------------------- Das gnaze muß unter einem namen "XYZ.template" ins Verzeichnis "Template" hinterlegt werden. Es wird ann in der config.yml wie folgt aufgerufen: -------------------------------------------------------- makeXYZ: priority: 99 from_digest: list: XYZLinks seen: no accept_all: yes make_html: file: JD2\XYZ.crawljob template: XYZ --------------------------------------------------------- Im "digest" XYZLinks werden dann die Links gesammelt. Alle Dateien landen dann bei FlexGet im Verzeichnis JD2. Ich habe damit schlechte Erfahrungen gemacht, die crawljob's direkt ins folderwatch zu schreiben, besonders wenn es viele Links sind. Ich kopiere diese dann zusammen in's folderwatch, wenn alle fertig sind. Der Syntax in Template geht nach Jinja2 Syntax. MfG Christian Last edited by Amiganer; 09.09.2019 at 15:14. Reason: Links sind nicht möglich |
#239
|
|||
|
|||
Hey.
Danke dir für den Input. Gerne mehr davon Irgendwie ist die Flexget-community in DE doch sehr klein :( Ja, prinzipiell kenne ich diesen Weg. Habe aber trotzdem noch nicht ganz verstanden, wieso man es so machen sollte :D Klar, man kann damit sicherstellen, dass alles fertig geschrieben wird bevor es im folderwatch landet, aber ich hatte noch keine Probleme. Gibt es sonst Vorteile? :D Ansonsten wäre ich wohl zu Faul es bei mir umzubauen, obwohl es eig läuft btw. wenn du Ahnung von Flexget hast, kannste gerne mit an meiner Config schrauben |
#240
|
|||
|
|||
Ich habe den Plugins mal etwas "Liebe" geschenkt. Zumindest habe ich jetzt sämtliche Crawler-Codes in einer "api" zusammengefasst, dass heißt, die HDA,HDW,MB,SJ Scripte im External-Plugins-Ordner können alle weg. Bitte dafür den alpha branch in meinem Repo beachten..
Dadurch ändert sich im Grunde nicht viel: anstatt jede Datei einzeln auszuführen um die Stream-XMLs zu generieren, gibt es jetzt eine stream.py, der Code da drinne sollte verständlich sein, ist aber auch schon vorkonfiguriert. Bei Gelegenheit könnte ich Sprache und Qualität da noch mit aufnehmen, aktuell geht nur Hoster. Habe ALLE Suchen und Crawler überarbeitet und mit ein zwei Titeln getestet. Dein drangehängtes s konnte ich bei Filmen nicht reproduzieren; dein Quote bezieht sich auf die URL Parameter. Allerdings gab es beim SJ Plugin ein Bug, das wenn z.B. statt S01 s01 übergeben wurde, das dann "s" stehen blieb und mit in den Suchstring aufgenommen wurde - das ist aber jetzt gefixt. Der Crawl_Plugins Tasks, könnte jetzt so aussehen: Code:
Crawl_Plugins: interval: 1 hours template: - no_seen - no_global priority: 1 no_entries_ok: yes exec: on_start: phase: - "cd {? flexget.path ?}/rss/ && rm *.xml; cd {? flexget.path ?}/ && python3 ./streams.py" |
Thread Tools | |
Display Modes | |
|
|