#1
|
|||
|
|||
Linkgrabber Queue
Bei mir hängen mehrere tausend Links in der Linkgrabber Warteschlange. Der Online-Check verzögert das Hinzufügen der Links in den Linksammler inzwischen seit 2 Tagen. Der Linkgrabber hat sich nicht aufgehängt. 10-20 Links pro Minute werden geprüft und zum Linksammler hinzugefügt.
Den Online-Check habe ich inzwischen in den Settings deaktiviert. Leider greift die Einstellung erst nach einem Neustart des JD. Was passiert, wenn ich den JD jetzt beende? Sind alle ungeprüften bzw. ungeparsten Links in der Linkgrabber Warteschlange irgendwo persistent gespeichert? Ich würde sie ungern durch den Neustart verlieren und neu zusammensuchen. |
#2
|
||||
|
||||
Links welche nicht in der Linkliste sind, gehen bei einem Neustart des JDownloader verloren.
Welche Art Links werden denn hinzugefügt? Für mich klingt das entweder nach komplexen Links (zb yt) oder der Arbeitspeicher für Java wird knapp (siehe About Dialog des JDownloader, bitte mal einen Screenshot posten) und Java verbringt fast alle Zeit nur noch für den Speicherhaushalt oder die entsprechende Seite antwortet sehr sehr langsam auf die Requests. Erstelle bitte auch mal ein Log, siehe https://support.jdownloader.org/Know...d-session-logs und poste die logID hier. Dann kann ich mal prüfen wo genau JDownloader *gerade steckt*.
__________________
JD-Dev & Server-Admin |
#3
|
|||
|
|||
Moin Jiaz,
danke. Dann weiß ich, dass ich das "Link-Grabben" aussitzen muss, ohne den JD neu zu starten. Das Problem mit der Performance kommt eindeutig von einem der Hoster, bei dem offenbar ein Throttling aktiviert ist. Also kein Problem des JD an sich. In meinem Fall wäre es jetzt schön gewesen, wenn die Deaktivierung des Online-Checks ohne Neustart gegriffen hätte oder wenn die Warteschlange des Linkgrabbers beim Neustart nicht verloren gehen würde. Aber ich komme da jetzt irgendwie durch |
#4
|
||||
|
||||
Um welchen Hoster handelt es sich denn?
Ein *Wiederaufnehmen* von abgebrochenen Linkcrawler Vorgängen hab ich auch meiner *mal ausprobieren wie Komplex das wäre* Liste
__________________
JD-Dev & Server-Admin |
#5
|
|||
|
|||
Der Hoster ist Keep2Share. Bei anderen Hostern ist der LinkGrabber normal schnell.
|
#6
|
||||
|
||||
Hmm, das Plugin hat keine Limits und nutzt für den Massencheck die API/schnell
In wenigen Sekunden kann ich so viele Hundert Links verarbeiten. Daher wäre ein Log evtl ganz hilfreich um zu sehen wo JDownloader wirklich die Zeit *wartet*. Evtl ist es auch ein Fehler bei zuvielen gleichzeitigen Linkcrawler. Wieviel CPU baucht der JD denn aktuell?
__________________
JD-Dev & Server-Admin |
#7
|
|||
|
|||
Der JD Prozess nimmt zwischen 9 und 26% CPU.
Ich habe ein Log erstellt. 21.07.18 22.40.45 <--> 23.07.18 22.56.22 jdlog://7302164433151/ |
#8
|
||||
|
||||
Das Keep2Share Plugin setzt ein RequestLimit von 20 Requests/Minute damit bei größeren Mengen von Links kein Limit erreicht wird. Das erklärt die *langsame* Geschwindigkeit zum Hinzufügen. Sprich es liegt nicht am Linkcheck sondern an pluginspezifischen Limits
__________________
JD-Dev & Server-Admin |
#9
|
|||
|
|||
OK, danke.
Das Limit habt ihr vermutlich aufgrund einer Vorgabe / API Spezifikation seitens Keep2Share eingebaut und man kann daran nichts ändern, richtig? |
#10
|
||||
|
||||
Die Limits haben wir eingebaut da es ohne zu schnell zu Problemen kam, aufgrund von *unbekannten* Limits Serverseitig. Sprich das sind Limits wie sie in der Entwicklung als *okay* herausgerstellt haben.
Und nein, diese kann man nicht ändern.
__________________
JD-Dev & Server-Admin |
Thread Tools | |
Display Modes | |
|
|