JDownloader Community - Appwork GmbH
 

Reply
 
Thread Tools Display Modes
  #1  
Old 23.07.2018, 14:29
DerJens DerJens is offline
Super Loader
 
Join Date: Aug 2012
Posts: 29
Default Linkgrabber Queue

Bei mir hängen mehrere tausend Links in der Linkgrabber Warteschlange. Der Online-Check verzögert das Hinzufügen der Links in den Linksammler inzwischen seit 2 Tagen. Der Linkgrabber hat sich nicht aufgehängt. 10-20 Links pro Minute werden geprüft und zum Linksammler hinzugefügt.

Den Online-Check habe ich inzwischen in den Settings deaktiviert. Leider greift die Einstellung erst nach einem Neustart des JD.
Was passiert, wenn ich den JD jetzt beende? Sind alle ungeprüften bzw. ungeparsten Links in der Linkgrabber Warteschlange irgendwo persistent gespeichert? Ich würde sie ungern durch den Neustart verlieren und neu zusammensuchen.
Attached Images
File Type: png Unbenannt.PNG (12.0 KB, 2 views)
Reply With Quote
  #2  
Old 23.07.2018, 15:14
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 58,897
Default

Links welche nicht in der Linkliste sind, gehen bei einem Neustart des JDownloader verloren.
Welche Art Links werden denn hinzugefügt? Für mich klingt das entweder nach komplexen Links (zb yt) oder der Arbeitspeicher für Java wird knapp (siehe About Dialog des JDownloader, bitte mal einen Screenshot posten) und Java verbringt fast alle Zeit nur noch für den Speicherhaushalt oder die entsprechende Seite antwortet sehr sehr langsam auf die Requests.

Erstelle bitte auch mal ein Log, siehe https://support.jdownloader.org/Know...d-session-logs
und poste die logID hier. Dann kann ich mal prüfen wo genau JDownloader *gerade steckt*.
__________________
JD-Dev & Server-Admin
Reply With Quote
  #3  
Old 23.07.2018, 16:28
DerJens DerJens is offline
Super Loader
 
Join Date: Aug 2012
Posts: 29
Default

Moin Jiaz,

danke. Dann weiß ich, dass ich das "Link-Grabben" aussitzen muss, ohne den JD neu zu starten.

Das Problem mit der Performance kommt eindeutig von einem der Hoster, bei dem offenbar ein Throttling aktiviert ist. Also kein Problem des JD an sich.
In meinem Fall wäre es jetzt schön gewesen, wenn die Deaktivierung des Online-Checks ohne Neustart gegriffen hätte oder wenn die Warteschlange des Linkgrabbers beim Neustart nicht verloren gehen würde. Aber ich komme da jetzt irgendwie durch
Reply With Quote
  #4  
Old 23.07.2018, 17:32
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 58,897
Default

Um welchen Hoster handelt es sich denn?
Ein *Wiederaufnehmen* von abgebrochenen Linkcrawler Vorgängen hab ich auch meiner *mal ausprobieren wie Komplex das wäre* Liste
__________________
JD-Dev & Server-Admin
Reply With Quote
  #5  
Old 23.07.2018, 17:54
DerJens DerJens is offline
Super Loader
 
Join Date: Aug 2012
Posts: 29
Default

Der Hoster ist Keep2Share. Bei anderen Hostern ist der LinkGrabber normal schnell.
Reply With Quote
  #6  
Old 23.07.2018, 18:13
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 58,897
Default

Hmm, das Plugin hat keine Limits und nutzt für den Massencheck die API/schnell
In wenigen Sekunden kann ich so viele Hundert Links verarbeiten.
Daher wäre ein Log evtl ganz hilfreich um zu sehen wo JDownloader wirklich die Zeit *wartet*. Evtl ist es auch ein Fehler bei zuvielen gleichzeitigen Linkcrawler.

Wieviel CPU baucht der JD denn aktuell?
__________________
JD-Dev & Server-Admin
Reply With Quote
  #7  
Old 23.07.2018, 23:59
DerJens DerJens is offline
Super Loader
 
Join Date: Aug 2012
Posts: 29
Default

Der JD Prozess nimmt zwischen 9 und 26% CPU.

Ich habe ein Log erstellt.
21.07.18 22.40.45 <--> 23.07.18 22.56.22 jdlog://7302164433151/
Reply With Quote
  #8  
Old 24.07.2018, 11:20
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 58,897
Default

Das Keep2Share Plugin setzt ein RequestLimit von 20 Requests/Minute damit bei größeren Mengen von Links kein Limit erreicht wird. Das erklärt die *langsame* Geschwindigkeit zum Hinzufügen. Sprich es liegt nicht am Linkcheck sondern an pluginspezifischen Limits
__________________
JD-Dev & Server-Admin
Reply With Quote
  #9  
Old 24.07.2018, 12:55
DerJens DerJens is offline
Super Loader
 
Join Date: Aug 2012
Posts: 29
Default

OK, danke.
Das Limit habt ihr vermutlich aufgrund einer Vorgabe / API Spezifikation seitens Keep2Share eingebaut und man kann daran nichts ändern, richtig?
Reply With Quote
  #10  
Old 24.07.2018, 12:59
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 58,897
Default

Die Limits haben wir eingebaut da es ohne zu schnell zu Problemen kam, aufgrund von *unbekannten* Limits Serverseitig. Sprich das sind Limits wie sie in der Entwicklung als *okay* herausgerstellt haben.
Und nein, diese kann man nicht ändern.
__________________
JD-Dev & Server-Admin
Reply With Quote
Reply

Thread Tools
Display Modes

Posting Rules
You may not post new threads
You may not post replies
You may not post attachments
You may not edit your posts

BB code is On
Smilies are On
[IMG] code is On
HTML code is Off

Forum Jump

All times are GMT +2. The time now is 04:29.
Provided By AppWork GmbH | Privacy | Imprint
Parts of the Design are used from Kirsch designed by Andrew & Austin
Powered by vBulletin® Version 3.8.10 Beta 1
Copyright ©2000 - 2018, Jelsoft Enterprises Ltd.