#1
|
|||
|
|||
Web Monitoring
Hallo,
ich bin mir nicht sicher ob sowas schonmal gepostet wurde, da ich nichts dazu finden konnte. Nun zu meinem Erweiterungsvorschlag: Es wäre cool, wenn es ein Feature geben würde, mit dem man eine Website/ein Teil einer Website, in einem benutzerdefinierten Intervall, auf Änderungen überprüfen kann. Bei einer Änderung wird dann ein vordefinierter Link zum "Link Crawler" hinzugefügt und überprüft. Details: - Hole das HTML File des zu überwachenden Links (get) - Der Nutzer kann nun den zu überwachenden Bereich auswählen z. B. über einen anfangs und end Tag (Zusatzfunktion -> ansonsten wird das gesamte HTML File überwacht) - Eingeben des Überprüfungsintervalls z. B. 5min 1h 2Tage usw. - Läuft das Intervall ab, wird erneut ein get Request, der zu überwachenden URL, gemacht und mit dem vorherigen HTML file verglichen. - tritt eine Veränderung auf, wird die URL oder eine beliebig andere URL, die vom Nutzer zuvor gewählt wurde zum "Link Crawler" hinzugefügt. Das sind so die Grundfunktionen, wenn es bessere Methoden oder Ideen zur Umsetzung gibt, können natürlich auch die verwendet werden^^ Ich hoffe, man konnte den Ablauf einigermaßen nachvollziehen. Last edited by DamonDragon; 06.01.2020 at 00:12. |
#2
|
||||
|
||||
Quote:
Verständlich genug.
__________________
Join 9kw.eu Captcha Service now and let your JD continue downloads while you sleep. |
#3
|
|||
|
|||
Danke für die Antwort! Wäre eigentlich ganz praktisch so ein Feature in combination mit JDownloader zu haben.
Was ist eigentlich mit Jiaz, hab ihn seit dem 16.11 nichts mehr posten gesehen. Normalerweise erstellt er immer sofort ein "Bugtracker" oder antwortet in kürzester Zeit. Geht es ihm gut? Last edited by DamonDragon; 06.01.2020 at 00:18. |
#4
|
|||
|
|||
Ich frage mich auch was mit Jiaz ist!?
|
#5
|
||||
|
||||
Jiaz will be back =]
you can create decrypter plugins or link crawler rules to scrape&parse your desired content. to add on interval you could do this via event scripter on interval. what is missing is feedback on previously crawled content. crawlers just return everything, and has no feedback to previously crawled content. You really need feedback on previously scraped content to halt process otherwise you could be crawling unnecessarily creating load on server end and yours. I said for years that JD requires Database support, eg. for previously downloaded content (history svn tickets exist), but also for previously crawled content based on generic (standard) and specific named databases (for specific user desired crawling). raztoki
__________________
raztoki @ jDownloader reporter/developer http://svn.jdownloader.org/users/170 Don't fight the system, use it to your advantage. :] Last edited by raztoki; 06.01.2020 at 10:33. |
#6
|
|||
|
|||
Ja, dann würde ich jedes mal aufs neue die gesamte Downloadliste bekommen. Bei ein paar links würde das vielleicht noch gehen, aber das würde das Ganze ziemlich unübersichtlich machen.
Ok, den "event scripter" kannte ich noch nicht ich habe bis jetzt nur die "link crawler rules" verwendet, wenn JDownloader meinen link nicht in der Zwischenablage erkannt hat bzw. nichts gefunden hat. Wäre cool, wenn jemand dafür ein "Ticket" erstellen könnte. |
#7
|
||||
|
||||
Wir können zwar für alles tickets erstellen, aber bringt nichts, wenns nicht umgesetzt wird.
Ich empfinde dein Feature-Vorschlag auch als einen, der nur von wenigen Usern genutzt werden würde. Zudem gibt es bereits Tools, die das können was du möchtest. Ich empfehle dir daher, dir selbst was zu basteln was zum Ziel führt. Ein Ticket kann ich erstellen - damit wirst du dein Ziel jedoch nicht erreichen Grüße, psp
__________________
JD Supporter, Plugin Dev. & Community Manager
Erste Schritte & Tutorials || JDownloader 2 Setup Download |
#8
|
|||
|
|||
Ich kenne nur zwei tools, die sowas einigermaßen umfangreich können und nur eins davon ist open source.
Falls du noch ein Vorschlag hast lass es mich gerne wissen. Es wird schon irgendwie gehen JDownloader bzw. den Link Crawler auszuführen, nachdem eine Veränderung stattgefunden hat. Ich fand nur, dass dieses Feature eine nützliche Erweiterung für einen Download Manager sein würde. Schließlich kann ich nicht der Einzige sein, der zweimal auf die gleiche Seite geht um eine neue Datei herunterzuladen. |
#9
|
||||
|
||||
Also ich kenne da nur "HTTrack".
Außerdem bin ich da anderer Meinung: Das was du möchtest würden nur wenige User verwenden. Eine Veränderung einer Webseite festzustellen ist auch nicht so einfach bzw. klappt nur bei simplen Webseiten. Viele Webseiten beinhalten z.B. das aktuelle Datum irgendwo im HTML Code --> Das musst du dann wieder ignorieren Meine Empfehlung ist daher, dir ein EventScripter Script zu bauen. Das kannst du dann auch mit einem eigenen Button o.ä. in JD "einbinden". Zum konkreten Script kann ich dir leider keine Hiflestellung geben dazu findest du im Forum diverse Infos. Grüße, psp
__________________
JD Supporter, Plugin Dev. & Community Manager
Erste Schritte & Tutorials || JDownloader 2 Setup Download |
#10
|
|||
|
|||
"HTTrack" benutze ich auch manchmal, aber das ist nicht exakt das, was ich mir gedacht habe. Ich verstehe aber was dein Gedanke dahinter war, da es ja eine Art update Funktion gibt.
Das klappt nicht nur auf simplen Webseiten solange man, wie oben beschrieben, einen start und end tag bzw. anfangs/end String festlegt. Dadurch werden nur Teile der Webseite auf Veränderungen überprüft. Wie bereits gesagt ist es auch nicht weiter schlimm. Ich bin nur davon ausgegangen, dass vielleicht mehrere von diesem Vorschlag profitieren könnten. Ich meinte eigentlich ein Tool wie **External links are only visible to Support Staff**dieses nur mit einer integrierten download Funktion. Da man JDownloader eh über das Terminal steuern kann und das obige Tool eine Funktion für "Issue command on update" hat, werde ich mir einfach ein Skript schreiben, welches beide miteinander verbindet. Eine Frage hätte ich noch. Sind das alle Kommandos für das terminal? https://jdownloader.org/knowledge/wiki/terminal/index Ich frage nur deshalb, da ein "…" am Ende der Auflistung steht. Last edited by DamonDragon; 26.02.2020 at 07:35. |
#11
|
||||
|
||||
Hier die API Docs zur myjdownloader API:
docs.google.com/document/d/1IGeAwg8bQyaCTeTl_WyjLyBPh4NBOayO0_MAmvP5Mu4/edit Grüße, psp
__________________
JD Supporter, Plugin Dev. & Community Manager
Erste Schritte & Tutorials || JDownloader 2 Setup Download |
#12
|
||||
|
||||
Was hat die myjdownloader API mit dem terminal (commandline befehle an JD) zu tun?
Quote:
__________________
Join 9kw.eu Captcha Service now and let your JD continue downloads while you sleep. |
#13
|
||||
|
||||
Quote:
Es ist die einzige API, die wir offiziell noch unterstützen daher gibt es meinerseits keine andere Antwort. Grüße, psp EDIT Nachtrag zum Thema Terminal Steuerung - Infos von Jiaz: 1. Wie üblich gibt's per "--help" Befehl weitere Infos. 2. Bzlg. Fuktionsfähigkeit des Ganzen: Quote:
__________________
JD Supporter, Plugin Dev. & Community Manager
Erste Schritte & Tutorials || JDownloader 2 Setup Download Last edited by pspzockerscene; 26.02.2020 at 17:30. Reason: Terminal Infos ergänzt |
#14
|
||||
|
||||
Quote:
Insbesondere wenn einzelne Funktionen nicht mehr funktionieren könnten. Dann liste ich mal auf was "--help" bei mir anzeigt: Code:
|-add-containers/-add-container/-co <ContainerPath1> <ContainerPath2> ... <ContainerPath*> Add Container Files to the LinkGrabber |-add-passwords/-add-password/-p Password1\r\nPassword2\r\n....\r\nContainerPath Add Extraction Passwords |-add-links/-add-link/-a <Link1> <Link2> ... <Link*> Add Links to the LinkGrabber |-focus/-f/-afterupdate Focus JDownloader and bring JD to TOP |-minimize/-m Minimize JDownloader to the Taskbar |-h/-help/-? Show this help |-jacShow/-jacTrain Show the JAntiCaptcha Trainer |-reconnect/-r Do a Reconnect | Load Container files |-brdebug Set the Browser Debug Mode. Verbose Connection Infos |-scanextensions/-scanplugins/-scan Rescan Plugins at Startup |-myjd Init MyJdownloader -myjd |-noerr Disable System.err |-set Set Config -set class key value |-threaddump prints thread dump |-n Force a new Instance. |-console Write all Logs to STDOUt or STDERR |-s/--show Show JAC prepared captchas |-t/--train Train a JAC method |-C/--captcha <filepath or url> <method> Get code from image using JAntiCaptcha |-p/--add-password(s) Add passwords |-n --new-instance Force new instance if another jD is running
__________________
Join 9kw.eu Captcha Service now and let your JD continue downloads while you sleep. Last edited by thecoder2012; 26.02.2020 at 18:10. |
#15
|
||||
|
||||
Quote:
Das müssten viele Dinge sowohl in JD als auch auf den dazugehörigen Webseiten. Es gibt dafür weder einen Plan noch eine ETA - nur diese ehrliche Antwort von mir^^ Grüße, psp
__________________
JD Supporter, Plugin Dev. & Community Manager
Erste Schritte & Tutorials || JDownloader 2 Setup Download Last edited by pspzockerscene; 26.02.2020 at 18:10. Reason: Fixed Typo |
#16
|
|||
|
|||
Quote:
Da ja das Terminal in Kombination mit einem vorkonfigurierten GrafischenUserInterface eh so gut wie alle Funktionen unterstützen müsste, ist es auch nicht unbedingt notwendig. Ich hab mir die API zu MyJDownloader noch nicht angeschaut, aber wahrscheinlich kann man damit das Gleiche bzw. noch mehr machen als mit den momentanen Terminal Funktionen. EDIT: Hab es mal kurz überflogen und soweit ich das verstehe kann man mithilfe der MyJDownloader API das Gleiche wie über das Terminal bzw. mehr, da du zusätzlich noch den Vorteil des Remote Accesses hast. Aus diesem Grund wurde sich wahrscheinlich dazu entschieden die API vorzuführen und nicht alles doppelt für das Terminal zu coden. Entfernt wurde es wahrscheinlich deshalb nicht, da es für einfache Funktionen wie einen Link hinzufügen völlig ausreicht die Terminal Funktionen zu verwenden und man nicht extra die API verwenden muss. Last edited by DamonDragon; 28.02.2020 at 06:29. |
#17
|
||||
|
||||
CLI/terminal functions are basically left over from the initial days of JDownloader.
why they still there? some users are probably still using it. there are other functions to add links which give more flexibility like directory/folder watch. or my.jd api if you want ability for control & feedback to external programs/scripts
__________________
raztoki @ jDownloader reporter/developer http://svn.jdownloader.org/users/170 Don't fight the system, use it to your advantage. :] |
#18
|
||||
|
||||
Quote:
Die Terminal Funktionen sind Überbleibsel aus alten Zeiten - es gab hier bereits länger mehr kein Update! Eine Erweiterung der Terminal Funktionalität ist nicht geplant. Wir sind Open Source - Hilfe ist natürlich jederzeit gerne gesehen Grüße, psp
__________________
JD Supporter, Plugin Dev. & Community Manager
Erste Schritte & Tutorials || JDownloader 2 Setup Download |
|
|