[StefanM]

Hintergrund der Frage ist das Problem, dass manche Seiten bei zu vielen Requests die IP des Requesters temporär blocken.

Beispiel: Videolinks auf VK.com / VKontakte.ru

Der LinkGrabber crawlt einen Link nach dem anderen, ohne Pause dazwischen. Dies führt bei einer größeren Anzahl dazu, dass die IP temporär geblockt wird.

Ich hatte dieses Problem hier bereits unter "Probleme" gepostet. Der Thread wurde - warum auch immer - gelöscht.

Evtl. gibt es ja einen Workaround, wie man das Crawlen verlangsamen kann?

[Jiaz]

Originally Posted by StefanM

Ich hatte dieses Problem hier bereits unter "Probleme" gepostet. Der Thread wurde - warum auch immer - gelöscht.

Weil es keine 3 Threads zu dem gleichen Thema braucht.
Siehe meine Antwort hier auf deinen Post
https://board.jdownloader.org/showpo...postcount=3205
Bitte ein Log erstellen zu dem Problem und dann in dem Thread die logID posten