JDownloader Community - Appwork GmbH
 

Notices

Reply
 
Thread Tools Display Modes
  #1  
Old 17.11.2019, 20:18
DamonDragon DamonDragon is offline
DSL Light User
 
Join Date: Aug 2016
Posts: 34
Default Web Monitoring

Hallo,

ich bin mir nicht sicher ob sowas schonmal gepostet wurde, da ich nichts dazu finden konnte.

Nun zu meinem Erweiterungsvorschlag:
Es wäre cool, wenn es ein Feature geben würde, mit dem man eine Website/ein Teil einer Website, in einem benutzerdefinierten Intervall, auf Änderungen überprüfen kann. Bei einer Änderung wird dann ein vordefinierter Link zum "Link Crawler" hinzugefügt und überprüft.

Details:
- Hole das HTML File des zu überwachenden Links (get)
- Der Nutzer kann nun den zu überwachenden Bereich auswählen z. B. über einen anfangs und end Tag (Zusatzfunktion -> ansonsten wird das gesamte HTML File überwacht)
- Eingeben des Überprüfungsintervalls z. B. 5min 1h 2Tage usw.
- Läuft das Intervall ab, wird erneut ein get Request, der zu überwachenden URL, gemacht und mit dem vorherigen HTML file verglichen.
- tritt eine Veränderung auf, wird die URL oder eine beliebig andere URL, die vom Nutzer zuvor gewählt wurde zum "Link Crawler" hinzugefügt.

Das sind so die Grundfunktionen, wenn es bessere Methoden oder Ideen zur Umsetzung gibt, können natürlich auch die verwendet werden^^

Ich hoffe, man konnte den Ablauf einigermaßen nachvollziehen.

Last edited by DamonDragon; 06.01.2020 at 01:12.
Reply With Quote
  #2  
Old 18.12.2019, 21:14
thecoder2012's Avatar
thecoder2012 thecoder2012 is offline
Official 9kw.eu Support
 
Join Date: Feb 2013
Location: Internet
Posts: 1,324
Default

Quote:
Originally Posted by DamonDragon View Post
Das sind so die Grundfunktionen, wenn es bessere Methoden oder Ideen zur Umsetzung gibt, können natürlich auch die verwendet werden^^
Allgemein dürfte es per Ereignis-Skripter (per Javascript) umsetzbar sein.

Quote:
Originally Posted by DamonDragon View Post
Ich hoffe, man konnte den Ablauf einigermaßen nachvollziehen.
Verständlich genug.
__________________
Join 9kw.eu Captcha Service now and let your JD continue downloads while you sleep.
Reply With Quote
  #3  
Old 06.01.2020, 01:16
DamonDragon DamonDragon is offline
DSL Light User
 
Join Date: Aug 2016
Posts: 34
Default

Danke für die Antwort! Wäre eigentlich ganz praktisch so ein Feature in combination mit JDownloader zu haben.

Was ist eigentlich mit Jiaz, hab ihn seit dem 16.11 nichts mehr posten gesehen.
Normalerweise erstellt er immer sofort ein "Bugtracker" oder antwortet in kürzester Zeit. Geht es ihm gut?

Last edited by DamonDragon; 06.01.2020 at 01:18.
Reply With Quote
  #4  
Old 06.01.2020, 04:59
mensa mensa is offline
JD Adviser
 
Join Date: Nov 2012
Posts: 106
Default

Ich frage mich auch was mit Jiaz ist!?
Reply With Quote
  #5  
Old 06.01.2020, 11:30
raztoki's Avatar
raztoki raztoki is offline
English Supporter
 
Join Date: Apr 2010
Location: Australia
Posts: 17,611
Default

Jiaz will be back =]

you can create decrypter plugins or link crawler rules to scrape&parse your desired content.

to add on interval you could do this via event scripter on interval.

what is missing is feedback on previously crawled content. crawlers just return everything, and has no feedback to previously crawled content. You really need feedback on previously scraped content to halt process otherwise you could be crawling unnecessarily creating load on server end and yours.

I said for years that JD requires Database support, eg. for previously downloaded content (history svn tickets exist), but also for previously crawled content based on generic (standard) and specific named databases (for specific user desired crawling).

raztoki
__________________
raztoki @ jDownloader reporter/developer
http://svn.jdownloader.org/users/170

Don't fight the system, use it to your advantage. :]

Last edited by raztoki; 06.01.2020 at 11:33.
Reply With Quote
  #6  
Old 24.02.2020, 07:23
DamonDragon DamonDragon is offline
DSL Light User
 
Join Date: Aug 2016
Posts: 34
Default

Ja, dann würde ich jedes mal aufs neue die gesamte Downloadliste bekommen. Bei ein paar links würde das vielleicht noch gehen, aber das würde das Ganze ziemlich unübersichtlich machen.

Ok, den "event scripter" kannte ich noch nicht ich habe bis jetzt nur die "link crawler rules" verwendet, wenn JDownloader meinen link nicht in der Zwischenablage erkannt hat bzw. nichts gefunden hat.

Wäre cool, wenn jemand dafür ein "Ticket" erstellen könnte.
Reply With Quote
  #7  
Old 24.02.2020, 18:06
pspzockerscene's Avatar
pspzockerscene pspzockerscene is offline
Community Manager
 
Join Date: Mar 2009
Location: Deutschland
Posts: 70,922
Default

Wir können zwar für alles tickets erstellen, aber bringt nichts, wenns nicht umgesetzt wird.

Ich empfinde dein Feature-Vorschlag auch als einen, der nur von wenigen Usern genutzt werden würde.

Zudem gibt es bereits Tools, die das können was du möchtest.
Ich empfehle dir daher, dir selbst was zu basteln was zum Ziel führt.
Ein Ticket kann ich erstellen - damit wirst du dein Ziel jedoch nicht erreichen

Grüße, psp
__________________
JD Supporter, Plugin Dev. & Community Manager

Erste Schritte & Tutorials || JDownloader 2 Setup Download
Spoiler:

A users' JD crashes and the first thing to ask is:
Quote:
Originally Posted by Jiaz View Post
Do you have Nero installed?
Reply With Quote
  #8  
Old 25.02.2020, 00:58
DamonDragon DamonDragon is offline
DSL Light User
 
Join Date: Aug 2016
Posts: 34
Default

Ich kenne nur zwei tools, die sowas einigermaßen umfangreich können und nur eins davon ist open source.
Falls du noch ein Vorschlag hast lass es mich gerne wissen.

Es wird schon irgendwie gehen JDownloader bzw. den Link Crawler auszuführen, nachdem eine Veränderung stattgefunden hat.
Ich fand nur, dass dieses Feature eine nützliche Erweiterung für einen Download Manager sein würde.
Schließlich kann ich nicht der Einzige sein, der zweimal auf die gleiche Seite geht um eine neue Datei herunterzuladen.
Reply With Quote
  #9  
Old 25.02.2020, 01:04
pspzockerscene's Avatar
pspzockerscene pspzockerscene is offline
Community Manager
 
Join Date: Mar 2009
Location: Deutschland
Posts: 70,922
Default

Also ich kenne da nur "HTTrack".
Außerdem bin ich da anderer Meinung:
Das was du möchtest würden nur wenige User verwenden.

Eine Veränderung einer Webseite festzustellen ist auch nicht so einfach bzw. klappt nur bei simplen Webseiten.
Viele Webseiten beinhalten z.B. das aktuelle Datum irgendwo im HTML Code --> Das musst du dann wieder ignorieren

Meine Empfehlung ist daher, dir ein EventScripter Script zu bauen.
Das kannst du dann auch mit einem eigenen Button o.ä. in JD "einbinden".

Zum konkreten Script kann ich dir leider keine Hiflestellung geben dazu findest du im Forum diverse Infos.

Grüße, psp
__________________
JD Supporter, Plugin Dev. & Community Manager

Erste Schritte & Tutorials || JDownloader 2 Setup Download
Spoiler:

A users' JD crashes and the first thing to ask is:
Quote:
Originally Posted by Jiaz View Post
Do you have Nero installed?
Reply With Quote
  #10  
Old 26.02.2020, 08:32
DamonDragon DamonDragon is offline
DSL Light User
 
Join Date: Aug 2016
Posts: 34
Default

"HTTrack" benutze ich auch manchmal, aber das ist nicht exakt das, was ich mir gedacht habe. Ich verstehe aber was dein Gedanke dahinter war, da es ja eine Art update Funktion gibt.

Das klappt nicht nur auf simplen Webseiten solange man, wie oben beschrieben, einen start und end tag bzw. anfangs/end String festlegt. Dadurch werden nur Teile der Webseite auf Veränderungen überprüft.

Wie bereits gesagt ist es auch nicht weiter schlimm. Ich bin nur davon ausgegangen, dass vielleicht mehrere von diesem Vorschlag profitieren könnten.

Ich meinte eigentlich ein Tool wie **External links are only visible to Support Staff**dieses nur mit einer integrierten download Funktion.
Da man JDownloader eh über das Terminal steuern kann und das obige Tool eine Funktion für "Issue command on update" hat, werde ich mir einfach ein Skript schreiben, welches beide miteinander verbindet.

Eine Frage hätte ich noch. Sind das alle Kommandos für das terminal?
https://jdownloader.org/knowledge/wiki/terminal/index
Ich frage nur deshalb, da ein "…" am Ende der Auflistung steht.

Last edited by DamonDragon; 26.02.2020 at 08:35.
Reply With Quote
  #11  
Old 26.02.2020, 17:20
pspzockerscene's Avatar
pspzockerscene pspzockerscene is offline
Community Manager
 
Join Date: Mar 2009
Location: Deutschland
Posts: 70,922
Default

Hier die API Docs zur myjdownloader API:
docs.google.com/document/d/1IGeAwg8bQyaCTeTl_WyjLyBPh4NBOayO0_MAmvP5Mu4/edit

Grüße, psp
__________________
JD Supporter, Plugin Dev. & Community Manager

Erste Schritte & Tutorials || JDownloader 2 Setup Download
Spoiler:

A users' JD crashes and the first thing to ask is:
Quote:
Originally Posted by Jiaz View Post
Do you have Nero installed?
Reply With Quote
  #12  
Old 26.02.2020, 18:03
thecoder2012's Avatar
thecoder2012 thecoder2012 is offline
Official 9kw.eu Support
 
Join Date: Feb 2013
Location: Internet
Posts: 1,324
Default

Quote:
Originally Posted by pspzockerscene View Post
Hier die API Docs zur myjdownloader API:
Was hat die myjdownloader API mit dem terminal (commandline befehle an JD) zu tun?

Quote:
Originally Posted by DamonDragon View Post
Eine Frage hätte ich noch. Sind das alle Kommandos für das terminal?
https://jdownloader.org/knowledge/wiki/terminal/index
Ich frage nur deshalb, da ein "…" am Ende der Auflistung steht.
Wüsste ich auch gern mal.
__________________
Join 9kw.eu Captcha Service now and let your JD continue downloads while you sleep.
Reply With Quote
  #13  
Old 26.02.2020, 18:15
pspzockerscene's Avatar
pspzockerscene pspzockerscene is offline
Community Manager
 
Join Date: Mar 2009
Location: Deutschland
Posts: 70,922
Default

Quote:
Originally Posted by thecoder2012 View Post
Was hat die myjdownloader API mit dem terminal (commandline befehle an JD) zu tun?
Nichts.
Es ist die einzige API, die wir offiziell noch unterstützen daher gibt es meinerseits keine andere Antwort.

Grüße, psp
EDIT

Nachtrag zum Thema Terminal Steuerung - Infos von Jiaz:

1. Wie üblich gibt's per "--help" Befehl weitere Infos.
2. Bzlg. Fuktionsfähigkeit des Ganzen:
Quote:
aber ich würde mich nicht auf funktionsfähigkeit und co verlassen, keine ahnung ob die noch alle gehen
__________________
JD Supporter, Plugin Dev. & Community Manager

Erste Schritte & Tutorials || JDownloader 2 Setup Download
Spoiler:

A users' JD crashes and the first thing to ask is:
Quote:
Originally Posted by Jiaz View Post
Do you have Nero installed?

Last edited by pspzockerscene; 26.02.2020 at 18:30. Reason: Terminal Infos ergänzt
Reply With Quote
  #14  
Old 26.02.2020, 19:05
thecoder2012's Avatar
thecoder2012 thecoder2012 is offline
Official 9kw.eu Support
 
Join Date: Feb 2013
Location: Internet
Posts: 1,324
Default

Quote:
Originally Posted by pspzockerscene View Post
Es ist die einzige API, die wir offiziell noch unterstützen daher gibt es meinerseits keine andere Antwort.
Wäre mir neu aber okay. Wenn es sowieso nicht mehr gewartet wird, dann sollte es entfernt werden.
Insbesondere wenn einzelne Funktionen nicht mehr funktionieren könnten.

Quote:
Originally Posted by pspzockerscene View Post
1. Wie üblich gibt's per "--help" Befehl weitere Infos.
Dann liste ich mal auf was "--help" bei mir anzeigt:
Code:
   |-add-containers/-add-container/-co <ContainerPath1> <ContainerPath2> ... <ContainerPath*> Add Container Files to the LinkGrabber
   |-add-passwords/-add-password/-p Password1\r\nPassword2\r\n....\r\nContainerPath Add Extraction Passwords
   |-add-links/-add-link/-a <Link1> <Link2> ... <Link*> Add Links to the LinkGrabber
   |-focus/-f/-afterupdate       Focus JDownloader and bring JD to TOP
   |-minimize/-m         Minimize JDownloader to the Taskbar
   |-h/-help/-?  Show this help
   |-jacShow/-jacTrain   Show the JAntiCaptcha Trainer
   |-reconnect/-r        Do a Reconnect
   |     Load Container files
   |-brdebug     Set the Browser Debug Mode. Verbose Connection Infos
   |-scanextensions/-scanplugins/-scan   Rescan Plugins at Startup
   |-myjd        Init MyJdownloader -myjd
   |-noerr       Disable System.err
   |-set         Set Config -set class key value
   |-threaddump  prints thread dump
   |-n   Force a new Instance.
   |-console     Write all Logs to STDOUt or STDERR
   |-s/--show           Show JAC prepared captchas
   |-t/--train          Train a JAC method
   |-C/--captcha <filepath or url> <method>     Get code from image using JAntiCaptcha
   |-p/--add-password(s)        Add passwords
   |-n --new-instance   Force new instance if another jD is running
__________________
Join 9kw.eu Captcha Service now and let your JD continue downloads while you sleep.

Last edited by thecoder2012; 26.02.2020 at 19:10.
Reply With Quote
  #15  
Old 26.02.2020, 19:10
pspzockerscene's Avatar
pspzockerscene pspzockerscene is offline
Community Manager
 
Join Date: Mar 2009
Location: Deutschland
Posts: 70,922
Default

Quote:
Originally Posted by thecoder2012 View Post
Wenn es sowieso nicht mehr gewartet wird, dann sollte es entfernt werden.
Insbesondere wenn einzelne Funktionen nicht mehr funktionieren könnten.
Richtig.
Das müssten viele Dinge sowohl in JD als auch auf den dazugehörigen Webseiten.
Es gibt dafür weder einen Plan noch eine ETA - nur diese ehrliche Antwort von mir^^

Grüße, psp
__________________
JD Supporter, Plugin Dev. & Community Manager

Erste Schritte & Tutorials || JDownloader 2 Setup Download
Spoiler:

A users' JD crashes and the first thing to ask is:
Quote:
Originally Posted by Jiaz View Post
Do you have Nero installed?

Last edited by pspzockerscene; 26.02.2020 at 19:10. Reason: Fixed Typo
Reply With Quote
  #16  
Old 28.02.2020, 07:26
DamonDragon DamonDragon is offline
DSL Light User
 
Join Date: Aug 2016
Posts: 34
Default

Quote:
Originally Posted by pspzockerscene View Post
Nichts.
Es ist die einzige API, die wir offiziell noch unterstützen daher gibt es meinerseits keine andere Antwort.:
Mit nicht unterstützen meinst du wahrscheinlich, dass es nur die grundlegenden Befehle für das Terminal gibt, da alle Funktionen zu unterstützen wahrscheinlich zu aufwendig wäre.
Da ja das Terminal in Kombination mit einem vorkonfigurierten GrafischenUserInterface eh so gut wie alle Funktionen unterstützen müsste, ist es auch nicht unbedingt notwendig.

Ich hab mir die API zu MyJDownloader noch nicht angeschaut, aber wahrscheinlich kann man damit das Gleiche bzw. noch mehr machen als mit den momentanen Terminal Funktionen.

EDIT:

Quote:
Originally Posted by thecoder2012 View Post
Was hat die myjdownloader API mit dem terminal (commandline befehle an JD) zu tun?:
Hab es mal kurz überflogen und soweit ich das verstehe kann man mithilfe der MyJDownloader API das Gleiche wie über das Terminal bzw. mehr, da du zusätzlich noch den Vorteil des Remote Accesses hast. Aus diesem Grund wurde sich wahrscheinlich dazu entschieden die API vorzuführen und nicht alles doppelt für das Terminal zu coden. Entfernt wurde es wahrscheinlich deshalb nicht, da es für einfache Funktionen wie einen Link hinzufügen völlig ausreicht die Terminal Funktionen zu verwenden und man nicht extra die API verwenden muss.

Last edited by DamonDragon; 28.02.2020 at 07:29.
Reply With Quote
  #17  
Old 28.02.2020, 10:38
raztoki's Avatar
raztoki raztoki is offline
English Supporter
 
Join Date: Apr 2010
Location: Australia
Posts: 17,611
Default

CLI/terminal functions are basically left over from the initial days of JDownloader.
why they still there? some users are probably still using it.
there are other functions to add links which give more flexibility like directory/folder watch.
or my.jd api if you want ability for control & feedback to external programs/scripts
__________________
raztoki @ jDownloader reporter/developer
http://svn.jdownloader.org/users/170

Don't fight the system, use it to your advantage. :]
Reply With Quote
  #18  
Old 02.03.2020, 18:33
pspzockerscene's Avatar
pspzockerscene pspzockerscene is offline
Community Manager
 
Join Date: Mar 2009
Location: Deutschland
Posts: 70,922
Default

Quote:
Originally Posted by raztoki View Post
CLI/terminal functions are basically left over from the initial days of JDownloader.
Um seine Antwort nochmal in Teilen zu übersetzen:

Die Terminal Funktionen sind Überbleibsel aus alten Zeiten - es gab hier bereits länger mehr kein Update!
Eine Erweiterung der Terminal Funktionalität ist nicht geplant.
Wir sind Open Source - Hilfe ist natürlich jederzeit gerne gesehen

Grüße, psp
__________________
JD Supporter, Plugin Dev. & Community Manager

Erste Schritte & Tutorials || JDownloader 2 Setup Download
Spoiler:

A users' JD crashes and the first thing to ask is:
Quote:
Originally Posted by Jiaz View Post
Do you have Nero installed?
Reply With Quote
Reply

Thread Tools
Display Modes

Posting Rules
You may not post new threads
You may not post replies
You may not post attachments
You may not edit your posts

BB code is On
Smilies are On
[IMG] code is On
HTML code is Off

Forum Jump

All times are GMT +2. The time now is 20:24.
Provided By AppWork GmbH | Privacy | Imprint
Parts of the Design are used from Kirsch designed by Andrew & Austin
Powered by vBulletin® Version 3.8.10 Beta 1
Copyright ©2000 - 2024, Jelsoft Enterprises Ltd.