JDownloader Community - Appwork GmbH
 

Reply
 
Thread Tools Display Modes
  #1  
Old 30.05.2022, 18:48
StefanM's Avatar
StefanM StefanM is offline
JD VIP
 
Join Date: Oct 2020
Posts: 312
Default Kann man beim LinkGrabber zwischen den Links ein Delay einfügen?

Hintergrund der Frage ist das Problem, dass manche Seiten bei zu vielen Requests die IP des Requesters temporär blocken.

Beispiel: Videolinks auf VK.com / VKontakte.ru

Der LinkGrabber crawlt einen Link nach dem anderen, ohne Pause dazwischen. Dies führt bei einer größeren Anzahl dazu, dass die IP temporär geblockt wird.

Ich hatte dieses Problem hier bereits unter "Probleme" gepostet. Der Thread wurde - warum auch immer - gelöscht.

Evtl. gibt es ja einen Workaround, wie man das Crawlen verlangsamen kann?

Last edited by StefanM; 30.05.2022 at 18:49. Reason: Tippfehler
Reply With Quote
  #2  
Old 30.05.2022, 19:17
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 76,876
Default

Quote:
Originally Posted by StefanM View Post
Ich hatte dieses Problem hier bereits unter "Probleme" gepostet. Der Thread wurde - warum auch immer - gelöscht.
Weil es keine 3 Threads zu dem gleichen Thema braucht.
Siehe meine Antwort hier auf deinen Post
https://board.jdownloader.org/showpo...postcount=3205
Bitte ein Log erstellen zu dem Problem und dann in dem Thread die logID posten
__________________
JD-Dev & Server-Admin
Reply With Quote
Reply

Thread Tools
Display Modes

Posting Rules
You may not post new threads
You may not post replies
You may not post attachments
You may not edit your posts

BB code is On
Smilies are On
[IMG] code is On
HTML code is Off

Forum Jump

All times are GMT +2. The time now is 05:38.
Provided By AppWork GmbH | Privacy | Imprint
Parts of the Design are used from Kirsch designed by Andrew & Austin
Powered by vBulletin® Version 3.8.10 Beta 1
Copyright ©2000 - 2022, Jelsoft Enterprises Ltd.