#1
|
|||
|
|||
Linkgrabber verlangsamen?
Hi, hab mal wieder so ein kleines Spezialproblem...
Ich muss irgendwie den Linkgrabber stark verlangsamen, z. B. auf 1 Link pro 1 oder 3 Sekunden, oder ähnlich. Denn der Server macht ständig die Schotten dicht bei zu vielen zu schnellen Anfragen (mit 503). Da ich aber ein paar Zehntausende Links grabben will und bei jedem Versuch nur so 100 durchkommen, ist das wirklich unschön. :D Gibt es eine (schon existierende) Möglichkeit, das ganze zu verlangsamen? Wenn nicht, würde ich das als mögliche neue Verberesserung vorschlagen. |
#2
|
||||
|
||||
Kannst du BspLinks an support@jdownloader.org schicken? Dann kann ich evtl dem JDownloader beibringen automatisch RequestLimits zu setzen.
__________________
JD-Dev & Server-Admin |
#3
|
|||
|
|||
Naja, da das Problem bei völlig beliebigen Quellen passieren kann, wäre es hier wirklich besser, wenn der Nutzer das einfach in den Profieinstellungen global für jeden Linkgrab-Schritt setzen könnte... Das betrifft halt vor allem Direktlinks zu Bildern deren Links ich mir mit Scripten aus großen Bildarchivseiten sammle, oder auch Videoseiten usw.
|
#4
|
||||
|
||||
Das hat nichts mit dem Linkgrabber zu tun Sondern es geht rein um Anzahl der Requests/ pro Zeit XY. Denn auch wenn du die Links in der Liste hast, kann der Download das selbe Problem verursachen.
__________________
JD-Dev & Server-Admin |
#5
|
|||
|
|||
Den Download selbst kann ich aber schon regeln per Downloadeinstellungen.
Einfach auf 1 pro Hoster setzen und/oder ein niedriges Geschwindigkeitslimit erledigen das hervorragend. |
#6
|
|||
|
|||
Wollt noch mal mich kurz melden und gucken wie es bisher aussieht?
Und noch mal klarstellen, ich brauch das nicht für irgendwelche ausgewählten Seiten, wie es im Ticket steht. Das wäre viel zu aufwendig umzusetzen. Es reicht völlig, wenn das global einstellbar ist. Einfach nur eine einstellbare waiting time nach jedem gefundenen Link im Linkgrabber. Da es advanced ist muss man es ja eh manuell einstellen und somit wird man auch wissen wie man es wieder deaktiviert wenn man wieder Links schneller von anderen Seiten laden will. Und für den Download braucht es auch keine Wartezeit, denn da reicht die Kombi aus Anzahl- und Geschwindigkeitsbegrenzung und die Möglichkeit, fehlgeschlagene immer mal zu wiederholen, völlig aus. Das Hauptproblem bleibt aber, überhaupt erstmal irgendwie an die Direktlinks ranzukommen. |
#7
|
||||
|
||||
Geht es denn um ein Decrypter Plugin oder sind es direkte http links?
Denn ein Plugin wäre durchaus in der Lage einen 503 zu handeln. Ich werd nächste Woche mal was basteln, sofern es die Zeit zulässt
__________________
JD-Dev & Server-Admin |
Thread Tools | |
Display Modes | |
|
|