#1
|
|||
|
|||
[LinkCrawler Regeln] 3D Models & Texturen in JD kopieren models-resource.com
Hey,
Ich bräuchte z.B. bei dieser Seite: **External links are only visible to Support Staff****External links are only visible to Support Staff** alle Texturen Hier: **External links are only visible to Support Staff****External links are only visible to Support Staff** unter Download this Texture bekommt man diese Das gleiche hier: **External links are only visible to Support Staff****External links are only visible to Support Staff** und hier wieder der Beispiel DL: **External links are only visible to Support Staff****External links are only visible to Support Staff** Download this Model Kann man dieses irgendwie in JD einfügen? Wenn möglich mit den Bildern, die unter Download this Model stehen Es ist alles Nummerriert und benannt, von daher müsste alles nur reinkopiert werden. Wäre toll, aber kein muss wenn die Dateien irgendwie in die entsprechenden Ordner kopiert werden, z.B. Characters Enemies wie hier zu finden: **External links are only visible to Support Staff****External links are only visible to Support Staff** thx |
#2
|
||||
|
||||
Sers zToRm777,
ja ein automatisches Erkennen dieser Links ist möglich mit zwei LinkCrawler Regeln. Man könnte auch noch eine dritte Regel machen, die alle URLs innerhalb dieser "Übersichtsseiten" (dein erster Link) holt, aber das klappt auch mit unserem generischen deep-Crawler bereits. Hier mal zwei Regeln für "textures-resources.com": Code:
[ { "enabled": true, "updateCookies": true, "logging": false, "maxDecryptDepth": 1, "name": "example textures-resource.com create direct URLs out of single texture URLs", "pattern": "**External links are only visible to Support Staff**, "rule": "REWRITE", "rewriteReplaceWith": "**External links are only visible to Support Staff** }, { "enabled": true, "logging": false, "maxDecryptDepth": 1, "name": "example textures-resource accept direct URLs", "pattern": "**External links are only visible to Support Staff**, "rule": "DIRECTHTTP" } ] pastebin.com/raw/yVNcvfm0 Die andere Webseite funktioniert sehr ähnlich. Evtl. schaffst du es anhand meines Beispiels bzw. unserer Wissensdatenbank, für models-resource.com deine eigenen Regeln zu basteln. Grüße, psp
__________________
JD Supporter, Plugin Dev. & Community Manager
Erste Schritte & Tutorials || JDownloader 2 Setup Download |
#3
|
|||
|
|||
vielen dank, funktioniert, die 2. Seite werde ich bei Gelegenheit selber machen (probieren xD)
edit: er lädt jetzt alles so wie es sein soll, nur das größe Bild noch nicht Last edited by zToRm777; 02.02.2022 at 21:52. |
#4
|
||||
|
||||
Quote:
Quote:
Bitte poste einen Testlink, dann den Direkten Link zu dem Bild/Qualitätsstufe, die JD lädt und einen Link zum Bild/Qualitätsstufe, die du eigentlich möchtest. Grüße, psp
__________________
JD Supporter, Plugin Dev. & Community Manager
Erste Schritte & Tutorials || JDownloader 2 Setup Download |
#5
|
|||
|
|||
**External links are only visible to Support Staff****External links are only visible to Support Staff**
Der Link in dem das Bild ist Da gibt es nur eine Größe und sollte so reinkopiert werden **External links are only visible to Support Staff****External links are only visible to Support Staff** Wenn man auf das Bild klickt, wird das Archiv geladen |
#6
|
||||
|
||||
Funktioniert hier einwandfrei --> Deine Regel ist korrekt.
JD lädt ebenfalls das identische Archiv mit einer Dateigröße von ca 20KB. Grüße, psp
__________________
JD Supporter, Plugin Dev. & Community Manager
Erste Schritte & Tutorials || JDownloader 2 Setup Download |
#7
|
|||
|
|||
Hab jetzt hier: **External links are only visible to Support Staff****External links are only visible to Support Staff**
als Test alles reinkopiert. Bild 9386 hat im JD 20,88 kb https://abload.de/image.php?img=9386t0j8l.png Original 107 kb https://abload.de/image.php?img=9386k3kk7.png also lädt er nur die kleinen Bilder |
#8
|
||||
|
||||
Ich glaube wir reden irgendwie aneinander vorbei also nochmal von vorne:
Mit den von mir erstellten Regeln passiert hier folgendes: Dieser Link: models-resource.com/3ds/pokemonxy/model/9386/ ...wird geändert zu: models-resource.com/download/9386/ ...und dann wird eine .zip Datei mit der Größe von ~600KiB heruntergeladen. In dieser .zip Datei befinden sich verschiedene Dateien. Falls du die .zip Datei nicht möchtest sondern nur das Bild müssen die Regeln ganz anders aussehen. Der Direktlink zu dem Bild der Größe von ~107KB wäre dieser: models-resource.com/resources/big_icons/10/9386.png Grüße, psp
__________________
JD Supporter, Plugin Dev. & Community Manager
Erste Schritte & Tutorials || JDownloader 2 Setup Download |
#9
|
|||
|
|||
Ich bräuchte das Bild und die Zip Datei
|
#10
|
||||
|
||||
Schwierig!
Angenommen die Fullsize-Bilder liegen immer unter: models-resource.com/resources/big_icons/10/<BilderID>.png ...kannst du die Regel einfach so abändern, dass aus den Übersichts-Links eben diese erstellt werden. Das einfachste wäre wohl ein Script, das dir alle erstellt der du machst einmal nen Durchlauf mit der Regel, die dir die .zip Dateien holt und einmal einen mit der, die die Bilder holt. Hier mal beispielhaft eine Regel, die die Links zu den Bildern aus den Übersichts-Links erstellt: Code:
[ { "enabled": true, "updateCookies": true, "logging": false, "maxDecryptDepth": 1, "name": "example models-resource.com create direct URLs out of single texture URLs", "pattern": "**External links are only visible to Support Staff**, "rule": "REWRITE", "rewriteReplaceWith": "**External links are only visible to Support Staff** }, { "enabled": true, "logging": false, "maxDecryptDepth": 1, "name": "example models-resource.com accept direct URLs", "pattern": "**External links are only visible to Support Staff**, "rule": "DIRECTHTTP" } ] Grüße, psp
__________________
JD Supporter, Plugin Dev. & Community Manager
Erste Schritte & Tutorials || JDownloader 2 Setup Download |
#11
|
|||
|
|||
Also der Link hier ist immer gleich:
**External links are only visible to Support Staff****External links are only visible to Support Staff** nur die Zahl "/10/<BilderID>.png" verändert sich immer |
#12
|
||||
|
||||
Hier eine Beispiel-Regel, die jeweils nur die "big_icons" URL extrahiert:
Code:
[ { "enabled": true, "logging": false, "maxDecryptDepth": 1, "name": "example models-resource.com find picture direct-URLs for single models", "pattern": "**External links are only visible to Support Staff**, "rule": "DEEPDECRYPT", "deepPattern": "(/resources/big_icons/[0-9]+/[0-9]+\\.png)" } ] pastebin.com/raw/5mpE0fm7 Grüße, psp
__________________
JD Supporter, Plugin Dev. & Community Manager
Erste Schritte & Tutorials || JDownloader 2 Setup Download |
#13
|
|||
|
|||
Super, funktioniert, jetzt alles.
Hab nur noch ne allerletzte Frage. Da ich ja alles auf einmel reinkopiere und zum Schluss nicht mehr weiß in welchen Ordner die Bilder gehören. Kann man jetzt z.B. die Bilder (40404, 40403, 40402, 40401...) beim einfügen entweder den Namen aus dem Link: "**External links are only visible to Support Staff** "3dchallengee3techdemo" geben -> 3dchallengee3techdemo40404 https://abload.de/image.php?img=1231djko.png oder er erstellt automatisch einen Ordner mit 3dchallengee3techdemo in dem die Bilder drinnen sind? Evtl. auch irgendwas anderes danke Last edited by zToRm777; 09.02.2022 at 20:36. |
#14
|
||||
|
||||
__________________
JD Supporter, Plugin Dev. & Community Manager
Erste Schritte & Tutorials || JDownloader 2 Setup Download |
#15
|
|||
|
|||
Funktioniert, Pakete werden im JD erstellt, Bilder aber leider offline.
Bilder sind aber auf jedenfall online, da ich diese ohne der regel schon drinnen hatte hm ;( |
#16
|
||||
|
||||
Funktioniert hier einwandfrei (nur getestet mit models-resource.com).
Bitte poste Testlinks und einen Log. -psp-
__________________
JD Supporter, Plugin Dev. & Community Manager
Erste Schritte & Tutorials || JDownloader 2 Setup Download |
#17
|
|||
|
|||
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff** **External links are only visible to Support Staff****External links are only visible to Support Staff** 24.02.22 15.10.20 <--> 24.02.22 15.14.32 jdlog://3285925302851/ |
#18
|
||||
|
||||
Die Links in deinem Log lassen vermuten, dass du noch die nicht funktionierende REWRITE Regel aus Post #10 verwendest.
Nimm die Regel aus Post #12, um funktionierende Direktlinks zu erhalten. Da du die Regel zum "Erkennen" der .zip Downloadlinks vermutlich auch verwenden möchtest, würdest du vermutlich gerne diese beiden Regeln zusammen verwenden also z.B. so: Code:
[ { "enabled": true, "logging": false, "maxDecryptDepth": 1, "name": "example models-resource.com find picture direct-URLs for single models", "pattern": "**External links are only visible to Support Staff**, "rule": "DEEPDECRYPT", "deepPattern": "(/resources/big_icons/[0-9]+/[0-9]+\\.png)" }, { "enabled": true, "logging": false, "maxDecryptDepth": 1, "name": "example models-resource.com accept direct URLs", "pattern": "**External links are only visible to Support Staff**, "rule": "DIRECTHTTP" } ] pastebin.com/raw/ehVMWhJh Grüße, psp
__________________
JD Supporter, Plugin Dev. & Community Manager
Erste Schritte & Tutorials || JDownloader 2 Setup Download Last edited by pspzockerscene; 24.02.2022 at 16:23. Reason: Plaintext pastebin Link ergänzt |
#19
|
|||
|
|||
Jetzt klappt alles, danke
|
#20
|
||||
|
||||
Super
Danke für dein Feedback. Grüße, psp
__________________
JD Supporter, Plugin Dev. & Community Manager
Erste Schritte & Tutorials || JDownloader 2 Setup Download |
#21
|
|||
|
|||
Hey hab derzeit was schwieriges und dies bereits per Script geladen, leider funktioniert das nicht komplett.
**External links are only visible to Support Staff****External links are only visible to Support Staff** sind 26 Seiten mit 96 Animationen pro Seite Unter dem Download-Link kann man verschiedene Formate auswählen. Ab und zu gibt es noch ein par "Packs" die mehrere Animationen enthalten Kann man sowas auch irgendwie in JD2 reinkopieren (mit dem Namen unter dem Bild) und auch evtl. das Bild dazu (kein muss) thx |
#22
|
||||
|
||||
Scheinbar wird dafür ein Account benötigt -> Ohne Zugangsdaten kann ich da keine Aussage treffen.
Zugangsdaten bitte schicken an: support@jdownloader.org. Grüße, psp
__________________
JD Supporter, Plugin Dev. & Community Manager
Erste Schritte & Tutorials || JDownloader 2 Setup Download |
#23
|
|||
|
|||
Hab die Daten geschickt
|
#24
|
||||
|
||||
Ich hab mir die Seite mixamo.com soeben angeschaut, hier meine Meinung dazu:
1. Die Webseite arbeitet nicht mit sichtbaren URLs in der Adresszeile. Das ist schonmal schlecht und bedeutet eigentlich, dass man wenn dann einen Crawler schreiben müsste, der die komplette Seite crawlt, wenn man den Link zur Hauptseite einfügt -> Machen wir eigentlich nicht. 2. Die Seite gehört zu Adobe und ein Account wird benötigt. Der Login Prozess ist ebenfalls kompliziert. 3. Nein mit den simplen LinkCrawler Regeln kann man hier gar nichts erreichen. Von dieser Seite ließe sich nur mit extra dafür geschriebenen Skripten/JD Plugin "komfortabel" herunterladen. Grüße, psp
__________________
JD Supporter, Plugin Dev. & Community Manager
Erste Schritte & Tutorials || JDownloader 2 Setup Download Last edited by pspzockerscene; 21.03.2022 at 18:39. Reason: Name der Webseite ergänzt |
#25
|
|||
|
|||
Ein Script für Chrome hab ich hier:
**External links are only visible to Support Staff****External links are only visible to Support Staff** Hilft aber nichts oder? Mit dem kann ich z.B. alles einfach laden, kann man das irgendwie verwenden? |
#26
|
||||
|
||||
Wenn du JD zum Download verwenden möchtest, kannst du es ggf. entsprechend so abändern, dass es die Links nur sammelt und ausgibt statt sie direkt per Browser zu laden.
Grüße, psp
__________________
JD Supporter, Plugin Dev. & Community Manager
Erste Schritte & Tutorials || JDownloader 2 Setup Download |
#27
|
|||
|
|||
Ich würde es auch einzeln laden, nur das Problem ist, sobald ich die Seite wechsel oder aktualisiere, mischt er alle Animationen wieder. Es ist unmöglich alles richtig zu laden, egal wie.
Würde nur gehen, wenn alles auf 1 Seite wäre, aber es geht nur 96. Mal nur so als Frage, würdet ihr gegen Bezahlung was machen, damit man alles laden kann? Kostenlos macht Ihr das ja bestimmt nicht, nur wegen mir xD. Crawler oder Plugin? |
#28
|
||||
|
||||
Quote:
Intern wird es ja wohl irgendeine fixe Sortierung/Ordnung geben? Quote:
Für diesen Fall wird mindestens ain Crawler-Plugin und ein Hoster Plugin (für den Login-Prozess) benötigt. Ich empfehle dir folgende mögliche Lösungen:
Grüße, psp
__________________
JD Supporter, Plugin Dev. & Community Manager
Erste Schritte & Tutorials || JDownloader 2 Setup Download Last edited by pspzockerscene; 23.03.2022 at 13:01. Reason: Zitat repariert |
#29
|
|||
|
|||
Hey,
hab da mal ne Frage zu dem: [ { "enabled": true, "logging": false, "maxDecryptDepth": 1, "name": "example textures-resource.com find picture direct-URLs for single models", "pattern": "**External links are only visible to Support Staff**, "rule": "DEEPDECRYPT", "deepPattern": "(/resources/big_icons/[0-9]+/[0-9]+\\.png)" }, { "enabled": true, "logging": false, "maxDecryptDepth": 1, "name": "example textures-resource.com accept direct URLs", "pattern": "**External links are only visible to Support Staff**, "rule": "DIRECTHTTP" } ] Ich hab schon mehreres ausprobiert, aber er lädt immer das falsche. Ich will von den Seiten, z.B.: **External links are only visible to Support Staff****External links are only visible to Support Staff** die Bilder mit Namen haben. Er lädt mir aber immer die Texturen, egal welchen Link ich verwende. Hab eig. schon alle möglichen Variationen durch, aber immer das gleiche Ergebnis. |
#30
|
||||
|
||||
Mir scheint als hättest du dich nach wie vor nicht wirklich mit den Regeln befasst und einfach irgendwelche Regeln zusammengewürfelt...
Hier ist eine Regel, die auf bestimmte textures-resource.com URLs lauscht und die Bilder rausholt. Ob es das ist was du wolltest, kanns nur du wissen: Code:
[ { "enabled": true, "logging": false, "maxDecryptDepth": 1, "name": "example textures-resource.com find picture direct-URLs for single textures", "pattern": "**External links are only visible to Support Staff**, "rule": "DEEPDECRYPT", "deepPattern": "(/resources/sheets/[0-9]+/[0-9]+\\.png[^\"]*)" } ] pastebin.com/raw/ssjRGFkx Es ist eine veränderte Version der ersten Regel in meinem Post #18. Angepasst wurden: - Die Domain überall (also auch im pattern) - Der Wert bei deepPattern, da die textures-resource.com Webseite nunmal andere Bilder-URLs hat als die models-resource Webseite. Wenn man wollte könnte man natürlich auch hier alle 4 Regeln für die beiden Webseiten zusammenpacken. Grüße, psp
__________________
JD Supporter, Plugin Dev. & Community Manager
Erste Schritte & Tutorials || JDownloader 2 Setup Download |
#31
|
|||
|
|||
Bei anderen Seiten hab ich den Crawler selbst erstellt und hat alles geklappt, nur bei dieser Seite funktionierts einfach nicht.
Das böde ist hier: **External links are only visible to Support Staff****External links are only visible to Support Staff** und **External links are only visible to Support Staff****External links are only visible to Support Staff** Einmal Bild, einmal Texture. Es werden beide reinkopiert. |
#32
|
||||
|
||||
Okay ich glaube ich weiß ungefähr was passiert und was du erwartest.
Derzeit und mit der Regel aus meinem letzten Post: Die Regel greift für solche Links: textures-resource.com/playstation_2/crashtwinsanity/texture/5215/ ...und holt dann diese: textures-resource.com/resources/sheets/6/5215.png Was du aber willst ist, dass du folgenden Link einfügst: textures-resource.com/update-39/showall/#updatesheets ...und er sich dann alle von den "/texture/" Links holt, die wiederum über die Regel laufen und die Regel holt dann die Bilder Direktlinks. Derzeit passiert aber folgendes: 1. Du fügst den hier ein: textures-resource.com/update-39/showall/#updatesheets 2. Für den gibt es weder nen Plugin noch ne Regel also wandert der standard deep-crawler durch den html Code und sucht alles an Links was er finden kann. Wenn du also möchtest, dass beim Einfügen von diesen nennen wir sie mal "/showall/" Links eben nur die "/texture/" Links gefunden werden, brauchst du genau dafür eine weitere LinkCrawler Regel. Ist das soweit korrekt? Grüße, psp
__________________
JD Supporter, Plugin Dev. & Community Manager
Erste Schritte & Tutorials || JDownloader 2 Setup Download |
#33
|
|||
|
|||
Ich füge den hier ein:
textures-resource.com/update-39/showall/#updatesheets und er lädt dann alle Bilder die auf der Seite zu sehen sind, die mit dem link anfangen: **External links are only visible to Support Staff****External links are only visible to Support Staff**.................................. und **External links are only visible to Support Staff****External links are only visible to Support Staff**................................ soll er nicht finden, da ich sonst die Texturen wieder mit drinnen hab |
#34
|
||||
|
||||
Anhand dieser Antwort kann ich wieder nur mutmaßen was du möchtest.
Bitte in Zukunft statt "ich möchte die Textur" oder "das Bild" konkret beschreiben was z.B.: Ich möchte, diesen Link einfügen: textures-resource.com/playstation_2/crashtwinsanity/texture/5215/ ... dann solche finden: textures-resource.com/playstation_2/crashtwinsanity/texture/5215/ ...und am ende genau diese laden: textures-resource.com/resources/sheets/6/5215.png Ich habe mal ne Regel erstellt, die die "/texture/" URLs holt welche dann nochmals durch die zweite Regel wandern, welche dann die BilderURLs holt wie z.B.: textures-resource.com/playstation_2/crashtwinsanity/texture/5215/ --> textures-resource.com/resources/sheets/6/5215.png --> Das scheinen die Texturen zu sein. Falls du stattdessen die Bilder möchtest, müsstest du die zweite Regel entsprechend anpassen. Regeln: Code:
[ { "enabled": true, "logging": false, "maxDecryptDepth": 1, "name": "example textures-resource.com find picture direct-URLs for single textures", "pattern": "**External links are only visible to Support Staff**, "rule": "DEEPDECRYPT", "deepPattern": "\"([^\"]+/texture/([0-9]+)/)" }, { "enabled": true, "logging": false, "maxDecryptDepth": 1, "name": "example textures-resource.com find picture direct-URLs for single textures", "pattern": "**External links are only visible to Support Staff**, "rule": "DEEPDECRYPT", "deepPattern": "(/resources/sheets/[0-9]+/[0-9]+\\.png[^\"]*)" } ] pastebin.com/raw/GJR2cmSN Grüße, psp
__________________
JD Supporter, Plugin Dev. & Community Manager
Erste Schritte & Tutorials || JDownloader 2 Setup Download |
Thread Tools | |
Display Modes | |
|
|