#1
|
|||
|
|||
wallhaven.cc Bilder in JD einfügen
Hallo,
Auf dieser Seite: **External links are only visible to Support Staff****External links are only visible to Support Staff** sieht man links: Page 2 / 17175 Sind also 17175 Seiten Kann man z.B. diesen Link: **External links are only visible to Support Staff****External links are only visible to Support Staff** in JD2 einfügen sodass alle Bilder dieser Seite eingefügt werden? Sollte die höchste Auflösung sein. Wichtig ist, dass es alle Formate wie png, jpg, jpeg nimmt Ich würde mir per Batch die 17175 Seiten als Link erstellen und per Crawler einfügen. Habs schon probiert aber hat nicht wirklich geklappt Zusammenfassung: Bildlink: **External links are only visible to Support Staff****External links are only visible to Support Staff** **External links are only visible to Support Staff** ist immer gleich Seitenlink: **External links are only visible to Support Staff****External links are only visible to Support Staff** **External links are only visible to Support Staff** ist immer gleich thx |
#2
|
||||
|
||||
Hallo zToRm777,
1. Wir bauen keine Crawler, die komplette Webseiten crawlen können. Kategorien und "such-links" unterstützen unsere Crawler idR. nicht. 2. Wir haben [noch] kein Plugin für die Webseite "wallhaven.cc". In diesem Thread wurde mal eines angefragt. Grüße, psp
__________________
JD Supporter, Plugin Dev. & Community Manager
Erste Schritte & Tutorials || JDownloader 2 Setup Download Last edited by pspzockerscene; 30.08.2022 at 10:23. Reason: Tippfehler fixed |
#3
|
||||
|
||||
__________________
JD-Dev & Server-Admin |
#4
|
||||
|
||||
Hier eine mögliche LinkCrawler Regel für einzelne wallhaven Bilder EDIT die hab ich wohl vor einem Jahr erstellt und vergessen, sie im anderen Thread zu verlinken:
Code:
[ { "enabled" : true, "logging" : false, "maxDecryptDepth" : 1, "name" : "wallhaven.cc example rule", "pattern" : "https?://wallhaven\\.cc/w/[A-Za-z0-9]+", "rule" : "DEEPDECRYPT", "packageNamePattern" : "<title>(.*?) | \\d+x\\d+ Wallpaper \\- wallhaven\\.cc</title>", "passwordPattern" : null, "deepPattern" : "(**External links are only visible to Support Staff**]+)\"" } ] pastebin.com/raw/mUTqTFzi Grüße, psp
__________________
JD Supporter, Plugin Dev. & Community Manager
Erste Schritte & Tutorials || JDownloader 2 Setup Download Last edited by pspzockerscene; 30.08.2022 at 16:35. |
#5
|
|||
|
|||
Hey,
kannst dum mal testen ob der Crawler klappt, denn bei mir fügt er nichts ein: Testlinks: **External links are only visible to Support Staff****External links are only visible to Support Staff** **External links are only visible to Support Staff****External links are only visible to Support Staff** **External links are only visible to Support Staff****External links are only visible to Support Staff** **External links are only visible to Support Staff****External links are only visible to Support Staff** **External links are only visible to Support Staff****External links are only visible to Support Staff** **External links are only visible to Support Staff****External links are only visible to Support Staff** **External links are only visible to Support Staff****External links are only visible to Support Staff** **External links are only visible to Support Staff****External links are only visible to Support Staff** **External links are only visible to Support Staff****External links are only visible to Support Staff** **External links are only visible to Support Staff****External links are only visible to Support Staff** |
#6
|
||||
|
||||
Funktioniert hier einwandfrei.
Evtl. blockiert Cloudflare bei dir. Bitte setze "logging" in der Regel auf "true" und poste einen Log. Please post your log-ID here | bitte poste deine Log-ID hier. -psp- EDIT Nur ein Followup solltest du die Regel doch zum Laufen bekommen: Mithilfe folgender Anleitung solltest du auch Profile/Kategorien mit relativ geringem Aufwand in JDownloader einfügen können: https://support.jdownloader.org/Know...orted-websites
__________________
JD Supporter, Plugin Dev. & Community Manager
Erste Schritte & Tutorials || JDownloader 2 Setup Download |
#7
|
||||
|
||||
Hier ebenfalls. Wir warten mal auf ein Log von dir
__________________
JD-Dev & Server-Admin |
#8
|
|||
|
|||
Hier schonmal der Log:
02.09.22 14.23.08 <--> 02.09.22 17.18.15 jdlog://2569211370661/ |
#9
|
||||
|
||||
@zToRm777: Du hast im Linkgrabber auf der rechten Seite keine Filter/Hoster ausgeblendet? oder in Einstellungen->Linkgrabber Filter was gesetzt?
Das Log zeigt deutlich wie die Regel funktioniert und Bilder gefunden/geprüft werden
__________________
JD-Dev & Server-Admin |
#10
|
|||
|
|||
Nein, ausgeblendet hab ich nichts, auch keine Filter.
Wenn ich mehrere Links einfüge sucht er, hört aber gleich wieder auf. Es werden nur sehr wenige Bilder gefunden. Bei 10 Links hat er nur 5 Bilder gefunden, teilweise auch weniger obwohl die Links richtig sind |
#11
|
||||
|
||||
@zToRm777: Könntest du mal ein neues Log machen? Also am besten so dass man nur den Fehler sieht, zb JD neustarten, dann 5 Links einfügen, geht es, dann JD neustarten und 10 Links einfügen, geht, wieder vor vorne. Und sobald der Fehler auftritt dann ein Log.Nebenbei keinerlei anderen Aktivitäten/Downloads, so bleibt das Log übersichtlich.
Wieviel Links auf einmal versuchst du denn?
__________________
JD-Dev & Server-Admin |
#12
|
|||
|
|||
Hier der neue log:
hatte nicht anderes inzwischen aktiv. 02.09.22 22.02.35 <--> 02.09.22 22.03.51 jdlog://5569211370661/ getestet mit 5 Links: **External links are only visible to Support Staff****External links are only visible to Support Staff** **External links are only visible to Support Staff****External links are only visible to Support Staff** **External links are only visible to Support Staff****External links are only visible to Support Staff** **External links are only visible to Support Staff****External links are only visible to Support Staff** **External links are only visible to Support Staff****External links are only visible to Support Staff** nur 2 wurden eingefügt. Später möchte ich 5000 auf einmal einfügen. |
#13
|
||||
|
||||
Danke, schau ich mir am Montag dann an
__________________
JD-Dev & Server-Admin |
#14
|
||||
|
||||
@zToRm777
Dein Problem ist, dass man bei wallhaven wohl sehr schnell in ein Rate-Limit rennt. Auszug aus der html Antwort in diesem Fall: Code:
<body bgcolor="white"> <center><h1>429 Too Many Requests</h1></center> <hr><center>nginx</center> </body> </html> Mehr Infos zu rate Limits habe ich letztens in diesem Thread gepostet. Hier hat ein User bereits ein Script dazu angefragt. Bedenke, dass du dann später beim Download gegebenfalls auch in das Rate-Limit rennst und ggf. dafür sorgen musst, dass JD nur alle X Sekunden einen Download von dieser Webseite startet. Grüße, psp
__________________
JD Supporter, Plugin Dev. & Community Manager
Erste Schritte & Tutorials || JDownloader 2 Setup Download |
#15
|
||||
|
||||
Aktuell kann man in Linkcrawler Rules noch keine Limits definieren, aber das sollte sich relativ leicht umsetzen lassen. Aber kann dir hier leider keine ETA geben.
Da der Hoster beim Crawlen und Downloaden das Limit hat, wäre hier auf lange Zeit ein richtiges JDownloader Plugin wohl die bessere Wahl. Ansonsten wäre die Nutzung eines kleines Skripts via Eventscripter, welches zwischen den Crawling Vorgängen von diesem Hoster eine *kurze* Pause macht, die einfachste Lösung. Am besten hierzu in dem Eventscripter Thread um Rat/Hilfe fragen.
__________________
JD-Dev & Server-Admin Last edited by Jiaz; 04.09.2022 at 10:14. |
#16
|
|||
|
|||
ok, danke schonmal.
Ich warte einfach und versuche inzwischen selbst vllt. was zu finden. |
#17
|
||||
|
||||
Ich hab mal ein Hosterplugin für einzelne wallhaven.cc Bilder gebaut.
Es versucht, das rate-limit nicht zu erreichen und hat folgende "special Features":
Wer ganze Profile oder Kategorien laden möchte, muss die Links wie hier beschrieben sammeln. Wartest du auf einen angekündigten Bugfix oder ein neues Feature? Updates werden nicht immer sofort bereitgestellt! Bitte lies unser Update FAQ! | Please read our Update FAQ! --- Are you waiting for recently announced changes to get released? Updates to not necessarily get released immediately! Bitte lies unser Update FAQ! | Please read our Update FAQ! -psp-
__________________
JD Supporter, Plugin Dev. & Community Manager
Erste Schritte & Tutorials || JDownloader 2 Setup Download |
#18
|
|||
|
|||
funktioniert das schon oder muss man noch auf ein Update warten?
grüße |
#19
|
||||
|
||||
@zToRm777: Das Update mit dem Plugin ist nun verfügbar.
__________________
JD-Dev & Server-Admin |
#20
|
|||
|
|||
@jiaz
danke Last edited by zToRm777; 05.09.2022 at 21:08. |
#21
|
||||
|
||||
@zToRm777: Bitte um Feedback ob das Plugin wie gewünscht funktioniert
__________________
JD-Dev & Server-Admin |
#22
|
|||
|
|||
@jiaz
in Linksammler einfügen klappt perfekt. Nur beim Download blinkt "Rate Limit" auf Nicht immer aber ab und zu teilweise läufts dann wieder stundenlang ohne Probleme |
#23
|
||||
|
||||
Das war zu erwarten.
Wir könnten das RequestInterval entweder erhöhen* (derzeit max 1 Aufruf pro 500ms), eine Einstellungsmöglichkeit dafür bereitstellen oder es so lassen. *Erhöhung des RequestInterval verlangsamt den Linkcheck. Danke für dein Feedback.
__________________
JD Supporter, Plugin Dev. & Community Manager
Erste Schritte & Tutorials || JDownloader 2 Setup Download |
#24
|
||||
|
||||
Das Rate Limit kann das Plugin ja nicht umgehen, aber halt automatisiert verarbeiten
__________________
JD-Dev & Server-Admin |
#25
|
|||
|
|||
mit Linkcheck ist das einfügen der Links in den Linksammler oder?
Könnte man ja pausieren während man downloaded Eine Einstellungsmöglichkeit wäre evtl. nicht schlecht, da man diese wieder zurückstellen könnte. Der Download bei knapp 1 Mio Bilder ist so ne Katastrophe xD |
#26
|
||||
|
||||
Verstehe ich nicht? Warum? JDownloader kümmert sich doch selbst um das Limit. Wo ist das Problem?
Einfach rein mit den Links und los gehts. Du kannst natürlich dne Linkcheck beim einfügen deaktivieren, Einstellungen->Profieinstellungen->LinkCollector.dolinkcheck
__________________
JD-Dev & Server-Admin |
#27
|
||||
|
||||
Das würde ich in diesem Fall definitiv empfehlen sonst wartet zToRm777 bei so vielen Links ewig auf den Linkcheck, obwohl er eigentlich schon vorher weiß, dass diese online/ladbar sind.
__________________
JD Supporter, Plugin Dev. & Community Manager
Erste Schritte & Tutorials || JDownloader 2 Setup Download |
#28
|
|||
|
|||
Quote:
teilweise stoppt er dann für Stunden den Download. Derzeit schaff ich 5000 Bilder in 3 Tagen Wenn er dann Bilder lädt, steht unter Status: Starte Dieser Status steht ein paar Minuten so da, dann lädt das Bild und komm wieder der gleiche Status. Zwischendurch wieder das Rate Limit |
#29
|
||||
|
||||
Wie schon erklärt ist das Rate-Limit nicht umgehbar.
Dass JD es erreicht und dir das dann anzeigt, ist kein Bug. Es kann natürlich gut sein, dass die Webseite das komplexer handhabt und z.B. nach 2000 Zugriffen eine längere Sperre bringt. Dagegen könnte dann das Wechseln deiner IP helfen. Was ich anbieten kann:
Grüße, psp
__________________
JD Supporter, Plugin Dev. & Community Manager
Erste Schritte & Tutorials || JDownloader 2 Setup Download Last edited by pspzockerscene; 07.09.2022 at 16:48. Reason: "Sweet Spot" ergänzt |
#30
|
||||
|
||||
Das konnte ich in meinen Tests nicht nachstellen, aber wie erklärt ist das schon möglich.
Kannst du in dieser Zeit im Browser Bilder auf der Wallhaven Webseite anschauen?
__________________
JD Supporter, Plugin Dev. & Community Manager
Erste Schritte & Tutorials || JDownloader 2 Setup Download |
#31
|
||||
|
||||
@zToRm777: Nur als Information, das Plugin greift nur für neu hinzugefügte Links. Sofern du schon Links in der Liste hast, werden die weiterhin vom generischen Http Plugin verarbeitet. Hast du die Links neu hinzugefügt? Sobald das Plugin das Limit erreicht/erkannt hat, sollte für einen Zeitraum von 30 Sekunden (aktuell so hinterlegt) gar kein neuer Download loslaufen, da alle Links warten bis der Timer abgelaufen ist.
__________________
JD-Dev & Server-Admin |
#32
|
|||
|
|||
@jiaz
nein, ich hab noch viele alte Links drinnen. edit: hier mal ein Video mit aktuellen Links: **External links are only visible to Support Staff****External links are only visible to Support Staff** Last edited by zToRm777; 08.09.2022 at 00:19. |
#33
|
||||
|
||||
@zToRm777: Bitte die Links in der Liste vor dem eigentlichen Plugin entfernen, da dies das gesamte Rate Limit Handling zunichte macht und somit nicht funktionieren kann. Bitte nur neue Links in der Liste belassen, dann kann das Plugin auch richtig mit dem Rate Limit umgehen. Das auf dem Video ist so gewollt, da das Request Limit auf 2 Requests pro Sekunde und maximal 2 Downloads aktuell eingestellt ist. Wir können hier mit dem nächsten Plugin Update mal das obere Limit an gleichzeitigen Downloads erhöhen.
Mit nächstem Update sind nun Limits wie folgt: -maximal 10 gleichzeitige Downloads -website 300ms request limit -download 500 ms request limit
__________________
JD-Dev & Server-Admin Last edited by Jiaz; 08.09.2022 at 10:14. |
#34
|
||||
|
||||
Damit ist das nächste CORE-Update gemeint.
Bitte auf das nächste CORE-Update warten! Please wait for the next CORE-Update! Wartest du auf einen angekündigten Bugfix oder ein neues Feature? Updates werden nicht immer sofort bereitgestellt! Bitte lies unser Update FAQ! | Please read our Update FAQ! --- Are you waiting for recently announced changes to get released? Updates to not necessarily get released immediately! Bitte lies unser Update FAQ! | Please read our Update FAQ! -psp-
__________________
JD Supporter, Plugin Dev. & Community Manager
Erste Schritte & Tutorials || JDownloader 2 Setup Download |
#35
|
|||
|
|||
Hey,
ich hab bei einigen Bilder einen Plugin Fehler. Dies betrifft anscheinend nur Bilder, die man unter NSFW findet: **External links are only visible to Support Staff****External links are only visible to Support Staff** Könnt ihr da kurzfristig was machen? Test: **External links are only visible to Support Staff****External links are only visible to Support Staff** **External links are only visible to Support Staff****External links are only visible to Support Staff** danke |
#36
|
||||
|
||||
Hi,
Errorhandling für solche Bilder habe ich bereits eingebaut, aber Updates wurden noch nicht released. Man muss dort eingeloggt sein, um NSFW Bilder herunterladen zu können. Falls du das möchtest, schicke uns bitte deine- oder Test-Zugangsdaten an support@jdownloader.org. Für alle hier erwähnten Code-Änderungen gilt: Bitte auf das nächste CORE-Update warten! Please wait for the next CORE-Update! Wartest du auf einen angekündigten Bugfix oder ein neues Feature? Updates werden nicht immer sofort bereitgestellt! Bitte lies unser Update FAQ! | Please read our Update FAQ! --- Are you waiting for recently announced changes to get released? Updates to not necessarily get released immediately! Bitte lies unser Update FAQ! | Please read our Update FAQ! -psp-
__________________
JD Supporter, Plugin Dev. & Community Manager
Erste Schritte & Tutorials || JDownloader 2 Setup Download |
#37
|
|||
|
|||
@pspzockerscene
hab sie dir geschickt |
#38
|
||||
|
||||
@zToRm777: Danke, habe die Mail an pspzockerscene weitergegeben
__________________
JD-Dev & Server-Admin |
#39
|
||||
|
||||
Account Unterstützung eingebaut.
Du kannst dein wallhaven Passwort nun ändern. Für alle hier erwähnten Änderungen gilt: Bitte auf das nächste CORE-Update warten! Please wait for the next CORE-Update! Wartest du auf einen angekündigten Bugfix oder ein neues Feature? Updates werden nicht immer sofort bereitgestellt! Bitte lies unser Update FAQ! | Please read our Update FAQ! --- Are you waiting for recently announced changes to get released? Updates to not necessarily get released immediately! Bitte lies unser Update FAQ! | Please read our Update FAQ! -psp-
__________________
JD Supporter, Plugin Dev. & Community Manager
Erste Schritte & Tutorials || JDownloader 2 Setup Download |
#40
|
|||
|
|||
@pspzockerscene
danke, bin dann mal gespannt |
|
|