JDownloader Community - Appwork GmbH
 

Reply
 
Thread Tools Display Modes
  #1  
Old 29.08.2022, 22:34
zToRm777 zToRm777 is offline
Giga Loader
 
Join Date: May 2019
Posts: 95
Default wallhaven.cc Bilder in JD einfügen

Hallo,

Auf dieser Seite:

**External links are only visible to Support Staff****External links are only visible to Support Staff**

sieht man links: Page 2 / 17175

Sind also 17175 Seiten

Kann man z.B. diesen Link: **External links are only visible to Support Staff****External links are only visible to Support Staff**

in JD2 einfügen sodass alle Bilder dieser Seite eingefügt werden?
Sollte die höchste Auflösung sein.

Wichtig ist, dass es alle Formate wie png, jpg, jpeg nimmt

Ich würde mir per Batch die 17175 Seiten als Link erstellen und per Crawler einfügen.

Habs schon probiert aber hat nicht wirklich geklappt

Zusammenfassung:

Bildlink: **External links are only visible to Support Staff****External links are only visible to Support Staff** **External links are only visible to Support Staff** ist immer gleich
Seitenlink: **External links are only visible to Support Staff****External links are only visible to Support Staff** **External links are only visible to Support Staff** ist immer gleich

thx
Reply With Quote
  #2  
Old 30.08.2022, 11:06
pspzockerscene's Avatar
pspzockerscene pspzockerscene is offline
Community Manager
 
Join Date: Mar 2009
Location: Deutschland
Posts: 64,016
Default

Hallo zToRm777,
1. Wir bauen keine Crawler, die komplette Webseiten crawlen können.
Kategorien und "such-links" unterstützen unsere Crawler idR. nicht.

2. Wir haben [noch] kein Plugin für die Webseite "wallhaven.cc".
In diesem Thread wurde mal eines angefragt.

Grüße, psp
__________________
JD Supporter, Plugin Dev. & Community Manager
JDownloader 2 Setup Download
Spoiler:

A users' JD crashes and the first thing to ask is:
Quote:
Originally Posted by Jiaz View Post
Do you have Nero installed?
That's true James
Quote:
Originally Posted by James
Die Leute verstehen einfach nicht dass nur weil man mit einer Waffe auch auf Menschen schießen kann dass ein Schützenver​ein kein Ort für Amoklaufide​en ist

Last edited by pspzockerscene; 30.08.2022 at 11:23. Reason: Tippfehler fixed
Reply With Quote
  #3  
Old 30.08.2022, 11:21
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 78,379
Default

__________________
JD-Dev & Server-Admin
Reply With Quote
  #4  
Old 30.08.2022, 11:25
pspzockerscene's Avatar
pspzockerscene pspzockerscene is offline
Community Manager
 
Join Date: Mar 2009
Location: Deutschland
Posts: 64,016
Default

Hier eine mögliche LinkCrawler Regel für einzelne wallhaven Bilder EDIT die hab ich wohl vor einem Jahr erstellt und vergessen, sie im anderen Thread zu verlinken:

Code:
[ {
  "enabled" : true,
  "logging" : false,
  "maxDecryptDepth" : 1,
  "name" : "wallhaven.cc example rule",
  "pattern" : "https?://wallhaven\\.cc/w/[A-Za-z0-9]+",
  "rule" : "DEEPDECRYPT",
  "packageNamePattern" : "<title>(.*?) | \\d+x\\d+ Wallpaper \\- wallhaven\\.cc</title>",
  "passwordPattern" : null,
  "deepPattern" : "(**External links are only visible to Support Staff**]+)\"" 
} ]
Regel als Plaintext zum einfacheren Kopieren & Einfügen:
pastebin.com/raw/mUTqTFzi

Grüße, psp
__________________
JD Supporter, Plugin Dev. & Community Manager
JDownloader 2 Setup Download
Spoiler:

A users' JD crashes and the first thing to ask is:
Quote:
Originally Posted by Jiaz View Post
Do you have Nero installed?
That's true James
Quote:
Originally Posted by James
Die Leute verstehen einfach nicht dass nur weil man mit einer Waffe auch auf Menschen schießen kann dass ein Schützenver​ein kein Ort für Amoklaufide​en ist

Last edited by pspzockerscene; 30.08.2022 at 17:35.
Reply With Quote
  #5  
Old 31.08.2022, 21:05
zToRm777 zToRm777 is offline
Giga Loader
 
Join Date: May 2019
Posts: 95
Default

Hey,

kannst dum mal testen ob der Crawler klappt, denn bei mir fügt er nichts ein:

Testlinks:

**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**
Reply With Quote
  #6  
Old 01.09.2022, 13:46
pspzockerscene's Avatar
pspzockerscene pspzockerscene is offline
Community Manager
 
Join Date: Mar 2009
Location: Deutschland
Posts: 64,016
Default

Funktioniert hier einwandfrei.
Evtl. blockiert Cloudflare bei dir.
Bitte setze "logging" in der Regel auf "true" und poste einen Log.

Please post your log-ID here | bitte poste deine Log-ID hier.

-psp-
EDIT

Nur ein Followup solltest du die Regel doch zum Laufen bekommen:
Mithilfe folgender Anleitung solltest du auch Profile/Kategorien mit relativ geringem Aufwand in JDownloader einfügen können:
https://support.jdownloader.org/Know...orted-websites
__________________
JD Supporter, Plugin Dev. & Community Manager
JDownloader 2 Setup Download
Spoiler:

A users' JD crashes and the first thing to ask is:
Quote:
Originally Posted by Jiaz View Post
Do you have Nero installed?
That's true James
Quote:
Originally Posted by James
Die Leute verstehen einfach nicht dass nur weil man mit einer Waffe auch auf Menschen schießen kann dass ein Schützenver​ein kein Ort für Amoklaufide​en ist
Reply With Quote
  #7  
Old 01.09.2022, 14:23
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 78,379
Default

Quote:
Originally Posted by pspzockerscene View Post
Funktioniert hier einwandfrei.
Hier ebenfalls. Wir warten mal auf ein Log von dir
__________________
JD-Dev & Server-Admin
Reply With Quote
  #8  
Old 02.09.2022, 18:18
zToRm777 zToRm777 is offline
Giga Loader
 
Join Date: May 2019
Posts: 95
Default

Hier schonmal der Log:
02.09.22 14.23.08 <--> 02.09.22 17.18.15 jdlog://2569211370661/
Reply With Quote
  #9  
Old 02.09.2022, 19:35
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 78,379
Default

@zToRm777: Du hast im Linkgrabber auf der rechten Seite keine Filter/Hoster ausgeblendet? oder in Einstellungen->Linkgrabber Filter was gesetzt?
Das Log zeigt deutlich wie die Regel funktioniert und Bilder gefunden/geprüft werden
__________________
JD-Dev & Server-Admin
Reply With Quote
  #10  
Old 02.09.2022, 20:32
zToRm777 zToRm777 is offline
Giga Loader
 
Join Date: May 2019
Posts: 95
Default

Nein, ausgeblendet hab ich nichts, auch keine Filter.

Wenn ich mehrere Links einfüge sucht er, hört aber gleich wieder auf.

Es werden nur sehr wenige Bilder gefunden.

Bei 10 Links hat er nur 5 Bilder gefunden, teilweise auch weniger obwohl die Links richtig sind
Reply With Quote
  #11  
Old 02.09.2022, 21:26
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 78,379
Default

@zToRm777: Könntest du mal ein neues Log machen? Also am besten so dass man nur den Fehler sieht, zb JD neustarten, dann 5 Links einfügen, geht es, dann JD neustarten und 10 Links einfügen, geht, wieder vor vorne. Und sobald der Fehler auftritt dann ein Log.Nebenbei keinerlei anderen Aktivitäten/Downloads, so bleibt das Log übersichtlich.
Wieviel Links auf einmal versuchst du denn?
__________________
JD-Dev & Server-Admin
Reply With Quote
  #12  
Old 02.09.2022, 23:03
zToRm777 zToRm777 is offline
Giga Loader
 
Join Date: May 2019
Posts: 95
Default

Hier der neue log:
hatte nicht anderes inzwischen aktiv.

02.09.22 22.02.35 <--> 02.09.22 22.03.51 jdlog://5569211370661/

getestet mit 5 Links:

**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**

nur 2 wurden eingefügt.

Später möchte ich 5000 auf einmal einfügen.
Reply With Quote
  #13  
Old 03.09.2022, 09:58
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 78,379
Default

Danke, schau ich mir am Montag dann an
__________________
JD-Dev & Server-Admin
Reply With Quote
  #14  
Old 03.09.2022, 17:58
pspzockerscene's Avatar
pspzockerscene pspzockerscene is offline
Community Manager
 
Join Date: Mar 2009
Location: Deutschland
Posts: 64,016
Default

@zToRm777
Dein Problem ist, dass man bei wallhaven wohl sehr schnell in ein Rate-Limit rennt.
Auszug aus der html Antwort in diesem Fall:
Code:
<body bgcolor="white">
<center><h1>429 Too Many Requests</h1></center>
<hr><center>nginx</center>
</body>
</html>
Du müsstest hier also zusätzlich eine Lösung finden, um JD z.B. nur alle 2 Sekunden mit einem Link zu füttern.
Mehr Infos zu rate Limits habe ich letztens in diesem Thread gepostet.
Hier hat ein User bereits ein Script dazu angefragt.

Bedenke, dass du dann später beim Download gegebenfalls auch in das Rate-Limit rennst und ggf. dafür sorgen musst, dass JD nur alle X Sekunden einen Download von dieser Webseite startet.

Grüße, psp
__________________
JD Supporter, Plugin Dev. & Community Manager
JDownloader 2 Setup Download
Spoiler:

A users' JD crashes and the first thing to ask is:
Quote:
Originally Posted by Jiaz View Post
Do you have Nero installed?
That's true James
Quote:
Originally Posted by James
Die Leute verstehen einfach nicht dass nur weil man mit einer Waffe auch auf Menschen schießen kann dass ein Schützenver​ein kein Ort für Amoklaufide​en ist
Reply With Quote
  #15  
Old 04.09.2022, 11:08
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 78,379
Default

Aktuell kann man in Linkcrawler Rules noch keine Limits definieren, aber das sollte sich relativ leicht umsetzen lassen. Aber kann dir hier leider keine ETA geben.



Da der Hoster beim Crawlen und Downloaden das Limit hat, wäre hier auf lange Zeit ein richtiges JDownloader Plugin wohl die bessere Wahl. Ansonsten wäre die Nutzung eines kleines Skripts via Eventscripter, welches zwischen den Crawling Vorgängen von diesem Hoster eine *kurze* Pause macht, die einfachste Lösung. Am besten hierzu in dem Eventscripter Thread um Rat/Hilfe fragen.
__________________
JD-Dev & Server-Admin

Last edited by Jiaz; 04.09.2022 at 11:14.
Reply With Quote
  #16  
Old 04.09.2022, 22:18
zToRm777 zToRm777 is offline
Giga Loader
 
Join Date: May 2019
Posts: 95
Default

ok, danke schonmal.

Ich warte einfach und versuche inzwischen selbst vllt. was zu finden.
Reply With Quote
  #17  
Old 05.09.2022, 16:32
pspzockerscene's Avatar
pspzockerscene pspzockerscene is offline
Community Manager
 
Join Date: Mar 2009
Location: Deutschland
Posts: 64,016
Default

Ich hab mal ein Hosterplugin für einzelne wallhaven.cc Bilder gebaut.
Es versucht, das rate-limit nicht zu erreichen und hat folgende "special Features":
  • Kommagetrennte Tags der Bilder können per plugin Property 'tags_comma_separated' mit dem Packagizer in den Dateinamen verwendet werden
  • Fullsize URLs werden auch vom Plugin verarbeitet
  • Fügt man (versehentlich) Thumbnail-URLs ein, wird trotzdem fullsize heruntergeladen

Wer ganze Profile oder Kategorien laden möchte, muss die Links wie hier beschrieben sammeln.

Wartest du auf einen angekündigten Bugfix oder ein neues Feature?
Updates werden nicht immer sofort bereitgestellt!
Bitte lies unser Update FAQ! | Please read our Update FAQ!

---
Are you waiting for recently announced changes to get released?
Updates to not necessarily get released immediately!
Bitte lies unser Update FAQ! | Please read our Update FAQ!


-psp-
__________________
JD Supporter, Plugin Dev. & Community Manager
JDownloader 2 Setup Download
Spoiler:

A users' JD crashes and the first thing to ask is:
Quote:
Originally Posted by Jiaz View Post
Do you have Nero installed?
That's true James
Quote:
Originally Posted by James
Die Leute verstehen einfach nicht dass nur weil man mit einer Waffe auch auf Menschen schießen kann dass ein Schützenver​ein kein Ort für Amoklaufide​en ist
Reply With Quote
  #18  
Old 05.09.2022, 19:36
zToRm777 zToRm777 is offline
Giga Loader
 
Join Date: May 2019
Posts: 95
Default

funktioniert das schon oder muss man noch auf ein Update warten?
grüße
Reply With Quote
  #19  
Old 05.09.2022, 20:05
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 78,379
Default

@zToRm777: Das Update mit dem Plugin ist nun verfügbar.
__________________
JD-Dev & Server-Admin
Reply With Quote
  #20  
Old 05.09.2022, 20:15
zToRm777 zToRm777 is offline
Giga Loader
 
Join Date: May 2019
Posts: 95
Default

@jiaz

danke

Last edited by zToRm777; 05.09.2022 at 22:08.
Reply With Quote
Reply

Thread Tools
Display Modes

Posting Rules
You may not post new threads
You may not post replies
You may not post attachments
You may not edit your posts

BB code is On
Smilies are On
[IMG] code is On
HTML code is Off

Forum Jump

All times are GMT +2. The time now is 10:59.
Provided By AppWork GmbH | Privacy | Imprint
Parts of the Design are used from Kirsch designed by Andrew & Austin
Powered by vBulletin® Version 3.8.10 Beta 1
Copyright ©2000 - 2022, Jelsoft Enterprises Ltd.