[zToRm777]

Hallo,

Auf dieser Seite:

**External links are only visible to Support Staff****External links are only visible to Support Staff**

sieht man links: Page 2 / 17175

Sind also 17175 Seiten

Kann man z.B. diesen Link: **External links are only visible to Support Staff****External links are only visible to Support Staff**

in JD2 einfügen sodass alle Bilder dieser Seite eingefügt werden?
Sollte die höchste Auflösung sein.

Wichtig ist, dass es alle Formate wie png, jpg, jpeg nimmt

Ich würde mir per Batch die 17175 Seiten als Link erstellen und per Crawler einfügen.

Habs schon probiert aber hat nicht wirklich geklappt

Zusammenfassung:

Bildlink: **External links are only visible to Support Staff****External links are only visible to Support Staff** **External links are only visible to Support Staff** ist immer gleich
Seitenlink: **External links are only visible to Support Staff****External links are only visible to Support Staff** **External links are only visible to Support Staff** ist immer gleich

thx

[pspzockerscene]

Hallo zToRm777,
1. Wir bauen keine Crawler, die komplette Webseiten crawlen können.
Kategorien und "such-links" unterstützen unsere Crawler idR. nicht.

2. Wir haben [noch] kein Plugin für die Webseite "wallhaven.cc".
In diesem Thread wurde mal eines angefragt.

Grüße, psp

[Jiaz]

[pspzockerscene]

Hier eine mögliche LinkCrawler Regel für einzelne wallhaven Bilder EDIT die hab ich wohl vor einem Jahr erstellt und vergessen, sie im anderen Thread zu verlinken:

[ {
  "enabled" : true,
  "logging" : false,
  "maxDecryptDepth" : 1,
  "name" : "wallhaven.cc example rule",
  "pattern" : "https?://wallhaven\\.cc/w/[A-Za-z0-9]+",
  "rule" : "DEEPDECRYPT",
  "packageNamePattern" : "<title>(.*?) | \\d+x\\d+ Wallpaper \\- wallhaven\\.cc</title>",
  "passwordPattern" : null,
  "deepPattern" : "(**External links are only visible to Support Staff**]+)\"" 
} ]

Regel als Plaintext zum einfacheren Kopieren & Einfügen:
pastebin.com/raw/mUTqTFzi

Grüße, psp

[zToRm777]

Hey,

kannst dum mal testen ob der Crawler klappt, denn bei mir fügt er nichts ein:

Testlinks:

**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**

[pspzockerscene]

Funktioniert hier einwandfrei.
Evtl. blockiert Cloudflare bei dir.
Bitte setze "logging" in der Regel auf "true" und poste einen Log.

Please post your log-ID here | bitte poste deine Log-ID hier.

-psp-
EDIT

Nur ein Followup solltest du die Regel doch zum Laufen bekommen:
Mithilfe folgender Anleitung solltest du auch Profile/Kategorien mit relativ geringem Aufwand in JDownloader einfügen können:
https://support.jdownloader.org/Know...orted-websites

[Jiaz]

Originally Posted by pspzockerscene

Funktioniert hier einwandfrei.

Hier ebenfalls. Wir warten mal auf ein Log von dir

[zToRm777]

Hier schonmal der Log:
02.09.22 14.23.08 <--> 02.09.22 17.18.15 jdlog://2569211370661/

[Jiaz]

@zToRm777: Du hast im Linkgrabber auf der rechten Seite keine Filter/Hoster ausgeblendet? oder in Einstellungen->Linkgrabber Filter was gesetzt?
Das Log zeigt deutlich wie die Regel funktioniert und Bilder gefunden/geprüft werden

[zToRm777]

Nein, ausgeblendet hab ich nichts, auch keine Filter.

Wenn ich mehrere Links einfüge sucht er, hört aber gleich wieder auf.

Es werden nur sehr wenige Bilder gefunden.

Bei 10 Links hat er nur 5 Bilder gefunden, teilweise auch weniger obwohl die Links richtig sind

[Jiaz]

@zToRm777: Könntest du mal ein neues Log machen? Also am besten so dass man nur den Fehler sieht, zb JD neustarten, dann 5 Links einfügen, geht es, dann JD neustarten und 10 Links einfügen, geht, wieder vor vorne. Und sobald der Fehler auftritt dann ein Log.Nebenbei keinerlei anderen Aktivitäten/Downloads, so bleibt das Log übersichtlich.
Wieviel Links auf einmal versuchst du denn?

[zToRm777]

Hier der neue log:
hatte nicht anderes inzwischen aktiv.

02.09.22 22.02.35 <--> 02.09.22 22.03.51 jdlog://5569211370661/

getestet mit 5 Links:

**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**

nur 2 wurden eingefügt.

Später möchte ich 5000 auf einmal einfügen.

[Jiaz]

Danke, schau ich mir am Montag dann an

[pspzockerscene]

@zToRm777
Dein Problem ist, dass man bei wallhaven wohl sehr schnell in ein Rate-Limit rennt.
Auszug aus der html Antwort in diesem Fall:

<body bgcolor="white">
<center><h1>429 Too Many Requests</h1></center>
<hr><center>nginx</center>
</body>
</html>

Du müsstest hier also zusätzlich eine Lösung finden, um JD z.B. nur alle 2 Sekunden mit einem Link zu füttern.
Mehr Infos zu rate Limits habe ich letztens in diesem Thread gepostet.
Hier hat ein User bereits ein Script dazu angefragt.

Bedenke, dass du dann später beim Download gegebenfalls auch in das Rate-Limit rennst und ggf. dafür sorgen musst, dass JD nur alle X Sekunden einen Download von dieser Webseite startet.

Grüße, psp

[Jiaz]

Aktuell kann man in Linkcrawler Rules noch keine Limits definieren, aber das sollte sich relativ leicht umsetzen lassen. Aber kann dir hier leider keine ETA geben.



Da der Hoster beim Crawlen und Downloaden das Limit hat, wäre hier auf lange Zeit ein richtiges JDownloader Plugin wohl die bessere Wahl. Ansonsten wäre die Nutzung eines kleines Skripts via Eventscripter, welches zwischen den Crawling Vorgängen von diesem Hoster eine *kurze* Pause macht, die einfachste Lösung. Am besten hierzu in dem Eventscripter Thread um Rat/Hilfe fragen.

[zToRm777]

ok, danke schonmal.

Ich warte einfach und versuche inzwischen selbst vllt. was zu finden.

[pspzockerscene]

Ich hab mal ein Hosterplugin für einzelne wallhaven.cc Bilder gebaut.
Es versucht, das rate-limit nicht zu erreichen und hat folgende "special Features":

• Kommagetrennte Tags der Bilder können per plugin Property 'tags_comma_separated' mit dem Packagizer in den Dateinamen verwendet werden
• Fullsize URLs werden auch vom Plugin verarbeitet
• Fügt man (versehentlich) Thumbnail-URLs ein, wird trotzdem fullsize heruntergeladen

Wer ganze Profile oder Kategorien laden möchte, muss die Links wie hier beschrieben sammeln.

Wartest du auf einen angekündigten Bugfix oder ein neues Feature?
Updates werden nicht immer sofort bereitgestellt!
Bitte lies unser Update FAQ! | Please read our Update FAQ!
---
Are you waiting for recently announced changes to get released?
Updates to not necessarily get released immediately!
Bitte lies unser Update FAQ! | Please read our Update FAQ!

-psp-

[zToRm777]

funktioniert das schon oder muss man noch auf ein Update warten?
grüße

[Jiaz]

@zToRm777: Das Update mit dem Plugin ist nun verfügbar.

[zToRm777]

@jiaz

danke