JDownloader Community - Appwork GmbH
 

Reply
 
Thread Tools Display Modes
  #21  
Old 06.09.2022, 09:40
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 79,044
Default

@zToRm777: Bitte um Feedback ob das Plugin wie gewünscht funktioniert
__________________
JD-Dev & Server-Admin
Reply With Quote
  #22  
Old 06.09.2022, 16:00
zToRm777 zToRm777 is offline
Fibre Channel User
 
Join Date: May 2019
Posts: 123
Default

@jiaz

in Linksammler einfügen klappt perfekt.

Nur beim Download blinkt "Rate Limit" auf

Nicht immer aber ab und zu

teilweise läufts dann wieder stundenlang ohne Probleme
Reply With Quote
  #23  
Old 06.09.2022, 16:02
pspzockerscene's Avatar
pspzockerscene pspzockerscene is offline
Community Manager
 
Join Date: Mar 2009
Location: Deutschland
Posts: 66,509
Default

Das war zu erwarten.
Wir könnten das RequestInterval entweder erhöhen* (derzeit max 1 Aufruf pro 500ms), eine Einstellungsmöglichkeit dafür bereitstellen oder es so lassen.

*Erhöhung des RequestInterval verlangsamt den Linkcheck.

Danke für dein Feedback.
__________________
JD Supporter, Plugin Dev. & Community Manager
JDownloader 2 Setup Download
Spoiler:

A users' JD crashes and the first thing to ask is:
Quote:
Originally Posted by Jiaz View Post
Do you have Nero installed?
That's true James
Quote:
Originally Posted by James
Die Leute verstehen einfach nicht dass nur weil man mit einer Waffe auch auf Menschen schießen kann dass ein Schützenver​ein kein Ort für Amoklaufide​en ist
Reply With Quote
  #24  
Old 06.09.2022, 16:03
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 79,044
Default

Quote:
Originally Posted by zToRm777 View Post
Nur beim Download blinkt "Rate Limit" auf
Das Rate Limit kann das Plugin ja nicht umgehen, aber halt automatisiert verarbeiten
__________________
JD-Dev & Server-Admin
Reply With Quote
  #25  
Old 07.09.2022, 15:07
zToRm777 zToRm777 is offline
Fibre Channel User
 
Join Date: May 2019
Posts: 123
Default

mit Linkcheck ist das einfügen der Links in den Linksammler oder?

Könnte man ja pausieren während man downloaded

Eine Einstellungsmöglichkeit wäre evtl. nicht schlecht, da man diese wieder zurückstellen könnte.

Der Download bei knapp 1 Mio Bilder ist so ne Katastrophe xD
Reply With Quote
  #26  
Old 07.09.2022, 15:13
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 79,044
Default

Quote:
Originally Posted by zToRm777 View Post
Der Download bei knapp 1 Mio Bilder ist so ne Katastrophe xD
Verstehe ich nicht? Warum? JDownloader kümmert sich doch selbst um das Limit. Wo ist das Problem?
Einfach rein mit den Links und los gehts. Du kannst natürlich dne Linkcheck beim einfügen deaktivieren, Einstellungen->Profieinstellungen->LinkCollector.dolinkcheck
__________________
JD-Dev & Server-Admin
Reply With Quote
  #27  
Old 07.09.2022, 15:20
pspzockerscene's Avatar
pspzockerscene pspzockerscene is offline
Community Manager
 
Join Date: Mar 2009
Location: Deutschland
Posts: 66,509
Default

Quote:
Originally Posted by Jiaz View Post
Du kannst natürlich dne Linkcheck beim einfügen deaktivieren
Das würde ich in diesem Fall definitiv empfehlen sonst wartet zToRm777 bei so vielen Links ewig auf den Linkcheck, obwohl er eigentlich schon vorher weiß, dass diese online/ladbar sind.
__________________
JD Supporter, Plugin Dev. & Community Manager
JDownloader 2 Setup Download
Spoiler:

A users' JD crashes and the first thing to ask is:
Quote:
Originally Posted by Jiaz View Post
Do you have Nero installed?
That's true James
Quote:
Originally Posted by James
Die Leute verstehen einfach nicht dass nur weil man mit einer Waffe auch auf Menschen schießen kann dass ein Schützenver​ein kein Ort für Amoklaufide​en ist
Reply With Quote
  #28  
Old 07.09.2022, 16:37
zToRm777 zToRm777 is offline
Fibre Channel User
 
Join Date: May 2019
Posts: 123
Default

Quote:
Originally Posted by Jiaz View Post
Verstehe ich nicht? Warum? JDownloader kümmert sich doch selbst um das Limit. Wo ist das Problem? Einstellungen->Profieinstellungen->LinkCollector.dolinkcheck
Wie ich ja schon geschrieben hab, blinkt Rate Limit auf.

teilweise stoppt er dann für Stunden den Download.

Derzeit schaff ich 5000 Bilder in 3 Tagen

Wenn er dann Bilder lädt, steht unter Status: Starte
Dieser Status steht ein paar Minuten so da, dann lädt das Bild und komm wieder der gleiche Status.

Zwischendurch wieder das Rate Limit
Reply With Quote
  #29  
Old 07.09.2022, 16:43
pspzockerscene's Avatar
pspzockerscene pspzockerscene is offline
Community Manager
 
Join Date: Mar 2009
Location: Deutschland
Posts: 66,509
Default

Wie schon erklärt ist das Rate-Limit nicht umgehbar.
Dass JD es erreicht und dir das dann anzeigt, ist kein Bug.

Es kann natürlich gut sein, dass die Webseite das komplexer handhabt und z.B. nach 2000 Zugriffen eine längere Sperre bringt.
Dagegen könnte dann das Wechseln deiner IP helfen.
Was ich anbieten kann:
  • Einstellungsmöglichkeit für Wartezeit zwischen Webseitenzugriffen (RequestInterval). Ein höherer Wert bedeutet längere Wartezeiten zwischen den Webseitenzugriffen, aber im besten Fall erreichst du das Rate-Limit so niemals und kannst mehr Bilder in weniger Zeit herunterladen. So könntest du selbst probieren, wo der "Sweet Spot" ist sprich, was der beste Wert für dich ist.
  • Optional kann das Erreichen des Rate-Limits ein IP Limit triggern und JD damit dazu auffordern, automatisch einen Reconnect auszuführen. Das klappt natürlich nur, wenn du diesen vorher entsprechend konfiguriert hast.

Grüße, psp
__________________
JD Supporter, Plugin Dev. & Community Manager
JDownloader 2 Setup Download
Spoiler:

A users' JD crashes and the first thing to ask is:
Quote:
Originally Posted by Jiaz View Post
Do you have Nero installed?
That's true James
Quote:
Originally Posted by James
Die Leute verstehen einfach nicht dass nur weil man mit einer Waffe auch auf Menschen schießen kann dass ein Schützenver​ein kein Ort für Amoklaufide​en ist

Last edited by pspzockerscene; 07.09.2022 at 16:48. Reason: "Sweet Spot" ergänzt
Reply With Quote
  #30  
Old 07.09.2022, 16:45
pspzockerscene's Avatar
pspzockerscene pspzockerscene is offline
Community Manager
 
Join Date: Mar 2009
Location: Deutschland
Posts: 66,509
Default

Quote:
Originally Posted by zToRm777 View Post
teilweise stoppt er dann für Stunden den Download.
Das konnte ich in meinen Tests nicht nachstellen, aber wie erklärt ist das schon möglich.
Kannst du in dieser Zeit im Browser Bilder auf der Wallhaven Webseite anschauen?
__________________
JD Supporter, Plugin Dev. & Community Manager
JDownloader 2 Setup Download
Spoiler:

A users' JD crashes and the first thing to ask is:
Quote:
Originally Posted by Jiaz View Post
Do you have Nero installed?
That's true James
Quote:
Originally Posted by James
Die Leute verstehen einfach nicht dass nur weil man mit einer Waffe auch auf Menschen schießen kann dass ein Schützenver​ein kein Ort für Amoklaufide​en ist
Reply With Quote
  #31  
Old 07.09.2022, 19:20
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 79,044
Default

@zToRm777: Nur als Information, das Plugin greift nur für neu hinzugefügte Links. Sofern du schon Links in der Liste hast, werden die weiterhin vom generischen Http Plugin verarbeitet. Hast du die Links neu hinzugefügt? Sobald das Plugin das Limit erreicht/erkannt hat, sollte für einen Zeitraum von 30 Sekunden (aktuell so hinterlegt) gar kein neuer Download loslaufen, da alle Links warten bis der Timer abgelaufen ist.
__________________
JD-Dev & Server-Admin
Reply With Quote
  #32  
Old 07.09.2022, 23:59
zToRm777 zToRm777 is offline
Fibre Channel User
 
Join Date: May 2019
Posts: 123
Default

@jiaz

nein, ich hab noch viele alte Links drinnen.

edit: hier mal ein Video mit aktuellen Links: **External links are only visible to Support Staff****External links are only visible to Support Staff**

Last edited by zToRm777; 08.09.2022 at 00:19.
Reply With Quote
  #33  
Old 08.09.2022, 10:05
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 79,044
Default

@zToRm777: Bitte die Links in der Liste vor dem eigentlichen Plugin entfernen, da dies das gesamte Rate Limit Handling zunichte macht und somit nicht funktionieren kann. Bitte nur neue Links in der Liste belassen, dann kann das Plugin auch richtig mit dem Rate Limit umgehen. Das auf dem Video ist so gewollt, da das Request Limit auf 2 Requests pro Sekunde und maximal 2 Downloads aktuell eingestellt ist. Wir können hier mit dem nächsten Plugin Update mal das obere Limit an gleichzeitigen Downloads erhöhen.
Mit nächstem Update sind nun Limits wie folgt:
-maximal 10 gleichzeitige Downloads
-website 300ms request limit
-download 500 ms request limit
__________________
JD-Dev & Server-Admin

Last edited by Jiaz; 08.09.2022 at 10:14.
Reply With Quote
  #34  
Old 08.09.2022, 14:41
pspzockerscene's Avatar
pspzockerscene pspzockerscene is offline
Community Manager
 
Join Date: Mar 2009
Location: Deutschland
Posts: 66,509
Default

Quote:
Originally Posted by Jiaz View Post
Mit nächstem Update sind nun Limits wie folgt:
Damit ist das nächste CORE-Update gemeint.

Bitte auf das nächste CORE-Update warten!

Please wait for the next CORE-Update!

Wartest du auf einen angekündigten Bugfix oder ein neues Feature?
Updates werden nicht immer sofort bereitgestellt!
Bitte lies unser Update FAQ! | Please read our Update FAQ!

---
Are you waiting for recently announced changes to get released?
Updates to not necessarily get released immediately!
Bitte lies unser Update FAQ! | Please read our Update FAQ!


-psp-
__________________
JD Supporter, Plugin Dev. & Community Manager
JDownloader 2 Setup Download
Spoiler:

A users' JD crashes and the first thing to ask is:
Quote:
Originally Posted by Jiaz View Post
Do you have Nero installed?
That's true James
Quote:
Originally Posted by James
Die Leute verstehen einfach nicht dass nur weil man mit einer Waffe auch auf Menschen schießen kann dass ein Schützenver​ein kein Ort für Amoklaufide​en ist
Reply With Quote
  #35  
Old 27.09.2022, 16:54
zToRm777 zToRm777 is offline
Fibre Channel User
 
Join Date: May 2019
Posts: 123
Default

Hey,

ich hab bei einigen Bilder einen Plugin Fehler.
Dies betrifft anscheinend nur Bilder, die man unter NSFW findet:
**External links are only visible to Support Staff****External links are only visible to Support Staff**

Könnt ihr da kurzfristig was machen?

Test:

**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**

danke
Reply With Quote
  #36  
Old 27.09.2022, 16:59
pspzockerscene's Avatar
pspzockerscene pspzockerscene is offline
Community Manager
 
Join Date: Mar 2009
Location: Deutschland
Posts: 66,509
Default

Hi,
Errorhandling für solche Bilder habe ich bereits eingebaut, aber Updates wurden noch nicht released.

Man muss dort eingeloggt sein, um NSFW Bilder herunterladen zu können.
Falls du das möchtest, schicke uns bitte deine- oder Test-Zugangsdaten an support@jdownloader.org.

Für alle hier erwähnten Code-Änderungen gilt:

Bitte auf das nächste CORE-Update warten!

Please wait for the next CORE-Update!

Wartest du auf einen angekündigten Bugfix oder ein neues Feature?
Updates werden nicht immer sofort bereitgestellt!
Bitte lies unser Update FAQ! | Please read our Update FAQ!

---
Are you waiting for recently announced changes to get released?
Updates to not necessarily get released immediately!
Bitte lies unser Update FAQ! | Please read our Update FAQ!


-psp-
__________________
JD Supporter, Plugin Dev. & Community Manager
JDownloader 2 Setup Download
Spoiler:

A users' JD crashes and the first thing to ask is:
Quote:
Originally Posted by Jiaz View Post
Do you have Nero installed?
That's true James
Quote:
Originally Posted by James
Die Leute verstehen einfach nicht dass nur weil man mit einer Waffe auch auf Menschen schießen kann dass ein Schützenver​ein kein Ort für Amoklaufide​en ist
Reply With Quote
  #37  
Old 27.09.2022, 17:10
zToRm777 zToRm777 is offline
Fibre Channel User
 
Join Date: May 2019
Posts: 123
Default

@pspzockerscene

hab sie dir geschickt
Reply With Quote
  #38  
Old 27.09.2022, 17:11
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 79,044
Default

@zToRm777: Danke, habe die Mail an pspzockerscene weitergegeben
__________________
JD-Dev & Server-Admin
Reply With Quote
  #39  
Old 27.09.2022, 17:23
pspzockerscene's Avatar
pspzockerscene pspzockerscene is offline
Community Manager
 
Join Date: Mar 2009
Location: Deutschland
Posts: 66,509
Default

Account Unterstützung eingebaut.
Du kannst dein wallhaven Passwort nun ändern.
Für alle hier erwähnten Änderungen gilt:

Bitte auf das nächste CORE-Update warten!

Please wait for the next CORE-Update!

Wartest du auf einen angekündigten Bugfix oder ein neues Feature?
Updates werden nicht immer sofort bereitgestellt!
Bitte lies unser Update FAQ! | Please read our Update FAQ!

---
Are you waiting for recently announced changes to get released?
Updates to not necessarily get released immediately!
Bitte lies unser Update FAQ! | Please read our Update FAQ!


-psp-
__________________
JD Supporter, Plugin Dev. & Community Manager
JDownloader 2 Setup Download
Spoiler:

A users' JD crashes and the first thing to ask is:
Quote:
Originally Posted by Jiaz View Post
Do you have Nero installed?
That's true James
Quote:
Originally Posted by James
Die Leute verstehen einfach nicht dass nur weil man mit einer Waffe auch auf Menschen schießen kann dass ein Schützenver​ein kein Ort für Amoklaufide​en ist
Reply With Quote
  #40  
Old 27.09.2022, 22:05
zToRm777 zToRm777 is offline
Fibre Channel User
 
Join Date: May 2019
Posts: 123
Default

@pspzockerscene

danke, bin dann mal gespannt
Reply With Quote
Reply

Thread Tools
Display Modes

Posting Rules
You may not post new threads
You may not post replies
You may not post attachments
You may not edit your posts

BB code is On
Smilies are On
[IMG] code is On
HTML code is Off

Forum Jump

All times are GMT +2. The time now is 21:00.
Provided By AppWork GmbH | Privacy | Imprint
Parts of the Design are used from Kirsch designed by Andrew & Austin
Powered by vBulletin® Version 3.8.10 Beta 1
Copyright ©2000 - 2023, Jelsoft Enterprises Ltd.