JDownloader Community - Appwork GmbH
 

Reply
 
Thread Tools Display Modes
  #1  
Old 13.04.2017, 21:41
Erdapfel Erdapfel is offline
JD Beta
 
Join Date: Mar 2015
Posts: 57
Default Linkgrabber verlangsamen?

Hi, hab mal wieder so ein kleines Spezialproblem...
Ich muss irgendwie den Linkgrabber stark verlangsamen, z. B. auf 1 Link pro 1 oder 3 Sekunden, oder ähnlich. Denn der Server macht ständig die Schotten dicht bei zu vielen zu schnellen Anfragen (mit 503). Da ich aber ein paar Zehntausende Links grabben will und bei jedem Versuch nur so 100 durchkommen, ist das wirklich unschön. :D

Gibt es eine (schon existierende) Möglichkeit, das ganze zu verlangsamen? Wenn nicht, würde ich das als mögliche neue Verberesserung vorschlagen.
Reply With Quote
  #2  
Old 18.04.2017, 16:17
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 66,134
Default

Kannst du BspLinks an support@jdownloader.org schicken? Dann kann ich evtl dem JDownloader beibringen automatisch RequestLimits zu setzen.
__________________
JD-Dev & Server-Admin
Reply With Quote
  #3  
Old 19.04.2017, 05:07
Erdapfel Erdapfel is offline
JD Beta
 
Join Date: Mar 2015
Posts: 57
Default

Naja, da das Problem bei völlig beliebigen Quellen passieren kann, wäre es hier wirklich besser, wenn der Nutzer das einfach in den Profieinstellungen global für jeden Linkgrab-Schritt setzen könnte... Das betrifft halt vor allem Direktlinks zu Bildern deren Links ich mir mit Scripten aus großen Bildarchivseiten sammle, oder auch Videoseiten usw.
Reply With Quote
  #4  
Old 19.04.2017, 15:13
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 66,134
Default

Das hat nichts mit dem Linkgrabber zu tun Sondern es geht rein um Anzahl der Requests/ pro Zeit XY. Denn auch wenn du die Links in der Liste hast, kann der Download das selbe Problem verursachen.
__________________
JD-Dev & Server-Admin
Reply With Quote
  #5  
Old 19.04.2017, 23:06
Erdapfel Erdapfel is offline
JD Beta
 
Join Date: Mar 2015
Posts: 57
Default

Den Download selbst kann ich aber schon regeln per Downloadeinstellungen.
Einfach auf 1 pro Hoster setzen und/oder ein niedriges Geschwindigkeitslimit erledigen das hervorragend.
Reply With Quote
  #6  
Old 22.07.2017, 12:08
Erdapfel Erdapfel is offline
JD Beta
 
Join Date: Mar 2015
Posts: 57
Default

Wollt noch mal mich kurz melden und gucken wie es bisher aussieht?

Und noch mal klarstellen, ich brauch das nicht für irgendwelche ausgewählten Seiten, wie es im Ticket steht. Das wäre viel zu aufwendig umzusetzen. Es reicht völlig, wenn das global einstellbar ist. Einfach nur eine einstellbare waiting time nach jedem gefundenen Link im Linkgrabber. Da es advanced ist muss man es ja eh manuell einstellen und somit wird man auch wissen wie man es wieder deaktiviert wenn man wieder Links schneller von anderen Seiten laden will. Und für den Download braucht es auch keine Wartezeit, denn da reicht die Kombi aus Anzahl- und Geschwindigkeitsbegrenzung und die Möglichkeit, fehlgeschlagene immer mal zu wiederholen, völlig aus. Das Hauptproblem bleibt aber, überhaupt erstmal irgendwie an die Direktlinks ranzukommen.
Reply With Quote
  #7  
Old 22.07.2017, 17:22
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 66,134
Default

Geht es denn um ein Decrypter Plugin oder sind es direkte http links?
Denn ein Plugin wäre durchaus in der Lage einen 503 zu handeln.

Ich werd nächste Woche mal was basteln, sofern es die Zeit zulässt
__________________
JD-Dev & Server-Admin
Reply With Quote
Reply

Thread Tools
Display Modes

Posting Rules
You may not post new threads
You may not post replies
You may not post attachments
You may not edit your posts

BB code is On
Smilies are On
[IMG] code is On
HTML code is Off

Forum Jump

All times are GMT +2. The time now is 12:17.
Provided By AppWork GmbH | Privacy | Imprint
Parts of the Design are used from Kirsch designed by Andrew & Austin
Powered by vBulletin® Version 3.8.10 Beta 1
Copyright ©2000 - 2020, Jelsoft Enterprises Ltd.