JDownloader Community - Appwork GmbH
 

Reply
 
Thread Tools Display Modes
  #1  
Old 06.11.2024, 19:58
zToRm777 zToRm777 is offline
JD Addict
 
Join Date: May 2019
Posts: 169
Default [LinkCrawler Rules] curseforge.com/legacy.curseforge.com

Hallo,

curseforge.com bzw. legacy.curseforge.com

bietet sehr viele ADDONS, die kaum einzeln ladbar sind, da es zu viele sind.

JDownloader erkennt die Links einzeln, zeigt auch online an, beim download aber "kurzzeitig nicht verfügbar" an.

Beispielseite: **External links are only visible to Support Staff****External links are only visible to Support Staff**
Downloadlink: **External links are only visible to Support Staff****External links are only visible to Support Staff**

Ich hab einen Premium Account, den ich zur Verfügung stellen könnte.
Der Link wird aber nur mit Account so angezeigt.

Gibt es eine Möglichkeit die zu laden, am besten über diesen 1. Link:
**External links are only visible to Support Staff****External links are only visible to Support Staff**

auch wenn es mehrere Seiten sind? Die Dateien müssten aber sortiert in Ordner eingefügt werden, z.B. wäre das hier "court-of-stars-helper"
da die Dateien andere Namen haben.

thx
Reply With Quote
  #2  
Old 07.11.2024, 12:09
pspzockerscene's Avatar
pspzockerscene pspzockerscene is offline
Community Manager
 
Join Date: Mar 2009
Location: Deutschland
Posts: 75,286
Default

Sers,
ich sehe keine Notwendigkeit, ein Plugin für diese Webseite zu erstellen, aber ich zeige dir gerne den groben Weg, wie du möglichst viel mithilfe von LinkCrawler Regeln automatisieren kannst.
Ich nehme dein Beispiel:
curseforge.com/wow/addons/court-of-stars-helper/files/all?page=1&pageSize=50

Im html Code stehen keinerlei verarbeitbare URLs daher ist der Weg etwas manueller:
1. AddonID finden:
Dafür einmal händisch einen direkten Downloadlink besorgen z.B.
Code:
curseforge.com/api/v1/mods/256918/files/4367247/download
-> Die ID ist diese: 256918
Alle direkten Downloadlinks dieses "Addons" sehen also so aus:
Code:
curseforge.com/api/v1/mods/256918/files/<fileID>/download
2. Nun kannst du diese Links händisch sammeln:
curseforge.com/wow/addons/court-of-stars-helper/files/4367247
Folgende Methode kann hilfreich sein, um den Prozess zu vereinfachen:
https://support.jdownloader.org/know...orted-websites

3. Jetzt musst du JDownloader noch beibringen, wie er aus den "nicht Direktlinks" die Direktlinks macht.
Dafür brauchst du eine LinkCrawler Regel des Typs REWRITE, die das was in 1. beschrieben ist automatisiert.
Anleitung:
https://support.jdownloader.org/know...kcrawler-rules

4. Nun brauchst du noch eine LinkCrawler Regel vom Typ DIRECTHTTP, damit diee Direktlinks verarbeitet werden aka:
curseforge.com/api/v1/mods/256918/files/4367247/download
Anleitung:
https://support.jdownloader.org/know...ple-directhttp

Vorteil: Kein Plugin benötigt
Nachteil: Funktioniert nur für die Addons, deren IDs du vorher in separaten Regeln definiert hast.
__________________
JD Supporter, Plugin Dev. & Community Manager

Erste Schritte & Tutorials || JDownloader 2 Setup Download
Spoiler:

A users' JD crashes and the first thing to ask is:
Quote:
Originally Posted by Jiaz View Post
Do you have Nero installed?
Reply With Quote
  #3  
Old 07.11.2024, 15:30
zToRm777 zToRm777 is offline
JD Addict
 
Join Date: May 2019
Posts: 169
Default

Also ich mach es derzeit so, dass ich z.B. hier:
**External links are only visible to Support Staff****External links are only visible to Support Staff**
die Links mit Link Gopher suche und diese dann mit Open Multiple URLs in Firefox öffnen lasse, sodass er die ADDONs sofort ladet, die ich dann in die Ordner einsortiere.

Denke da ist meine Methode schneller und ich bleib dann bei der.

Mit JD würde es sich so nicht lohnen.
thx
Reply With Quote
  #4  
Old 07.11.2024, 15:49
pspzockerscene's Avatar
pspzockerscene pspzockerscene is offline
Community Manager
 
Join Date: Mar 2009
Location: Deutschland
Posts: 75,286
Default

Wenn du viele verschiedene Addons laden willst, ist meine Methode definitiv etwas umständlich.
Ich habe testweise mal zwei Regeln erstellt:
Code:
[
  {
    "enabled": true,
    "logging": false,
    "maxDecryptDepth": 1,
    "name": "curseforge.com Direktlinks",
    "pattern": "**External links are only visible to Support Staff**,
    "rule": "DIRECTHTTP"
  },
  {
    "enabled": true,
    "name": "curseforge.com Addon court-of-stars-helper Direktlinks erstellen",
    "pattern": "**External links are only visible to Support Staff**,
    "rule": "REWRITE",
    "rewriteReplaceWith": "**External links are only visible to Support Staff**
  }
]
Auf pastebin zum einfacheren Kopieren:
pastebin.com/raw/sTMciA9H
Nach dem Einfügen der Regeln kannst du wie folgt z.B. alle Dateien des Addons "court-of-stars-helper" herunterladen:
1. Addon Downloadseite besuchen:
curseforge.com/wow/addons/court-of-stars-helper/files/all?page=1&pageSize=50
2. Händisch oder mithilfe eines addons alle "/files/..." Links kopieren.
JD wird diese direkt annehmen und im Linkgrabber anzeigen.
__________________
JD Supporter, Plugin Dev. & Community Manager

Erste Schritte & Tutorials || JDownloader 2 Setup Download
Spoiler:

A users' JD crashes and the first thing to ask is:
Quote:
Originally Posted by Jiaz View Post
Do you have Nero installed?
Reply With Quote
  #5  
Old 07.11.2024, 16:10
zToRm777 zToRm777 is offline
JD Addict
 
Join Date: May 2019
Posts: 169
Default

Die Regel bringt aber eig. nichts, da man einen Premium Account braucht um alles zu laden.

In JD einfügen geht ja auch ohne Regel, aber ohne Account muss man jedes ADDON einzeln laden und hat Wartezeit.

Funktionieren tut der download so ohnehin nicht.

Ich wollte eig. die Download-Links: mit **External links are only visible to Support Staff****External links are only visible to Support Staff**

massenweise mit Firefox-ADDONS raussuchen, in JD reinkopieren und mit dem Paketverwalter automatisch vom Website-Link das hier z.B. : court-of-stars-helper
als Ordner nehmen.

Aber der Account muss auf jedenfall in JD, wenns dann auch so klappt...
Reply With Quote
  #6  
Old 07.11.2024, 16:17
pspzockerscene's Avatar
pspzockerscene pspzockerscene is offline
Community Manager
 
Join Date: Mar 2009
Location: Deutschland
Posts: 75,286
Default

Quote:
Originally Posted by zToRm777 View Post
Die Regel bringt aber eig. nichts, da man einen Premium Account braucht um alles zu laden.
Das ist nicht korrekt.
Du kannst die Login Cookies deiner eingeloggten Session ebenfalls mit in die Regel(n) packen (Anleitung).

Quote:
Originally Posted by zToRm777 View Post
Funktionieren tut der download so ohnehin nicht.
Bei mir schon.
Log bitte.
Log Anleitung:
https://support.jdownloader.org/know...d-session-logs

Quote:
Originally Posted by zToRm777 View Post
Ich wollte eig. die Download-Links: mit[...]
Du weißt ja nun, wie du von den sichtbaren Links zu den einzelnen Dateien in der Übersicht zu den Direktlinks kommst.
__________________
JD Supporter, Plugin Dev. & Community Manager

Erste Schritte & Tutorials || JDownloader 2 Setup Download
Spoiler:

A users' JD crashes and the first thing to ask is:
Quote:
Originally Posted by Jiaz View Post
Do you have Nero installed?

Last edited by pspzockerscene; 07.11.2024 at 16:23. Reason: Kaputten Satz fixed, LinkCrawler Regeln Anleitung Hyperlink ergänzt
Reply With Quote
  #7  
Old 07.11.2024, 16:41
zToRm777 zToRm777 is offline
JD Addict
 
Join Date: May 2019
Posts: 169
Default

Hier der Log: 07.11.24 16.37.19 <--> 07.11.24 16.41.43 jdlog://8756411370661/
Reply With Quote
  #8  
Old 07.11.2024, 16:58
pspzockerscene's Avatar
pspzockerscene pspzockerscene is offline
Community Manager
 
Join Date: Mar 2009
Location: Deutschland
Posts: 75,286
Default

Dein Log zeigt folgendes:
Code:
ConnectIP: edge.forgecdn.net/54.230.228.32:443
Connection-Timeout: 20000ms
Read-Timeout: 60000ms
----------------Request-------------------------
GET /files/ZENSIERT/ZENSIERT/AutoRollGreed-1.0.0.zip HTTP/1.1
Host: edge.forgecdn.net
User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64; rv:76.0) Gecko/20100101 Firefox/76.0
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
Accept-Language: en-gb, en;q=0.8
Accept-Encoding: identity
Cache-Control: no-cache
Range: bytes=0-

----------------Response Information------------
Connection-Time: keep-Alive
Request-Time: 105ms
----------------Response------------------------
HTTP/1.1 404 Not Found
Content-Length: 0
Connection: keep-alive
Derselbe Link aus deinem Log ist hier mit JD ladbar.
Bei mir wird "edge.forgecdn.net" zur IP "18.244.18.33" aufgelöst.
Versuche folgendes:
- DNS Server ändern. Anleitung: https://support.jdownloader.org/de/k...nge-dns-server
- Gehe sicher, dass nichts anderes (z.B. Adware oder eine Firewall) hier blockiert
__________________
JD Supporter, Plugin Dev. & Community Manager

Erste Schritte & Tutorials || JDownloader 2 Setup Download
Spoiler:

A users' JD crashes and the first thing to ask is:
Quote:
Originally Posted by Jiaz View Post
Do you have Nero installed?
Reply With Quote
  #9  
Old 07.11.2024, 20:17
zToRm777 zToRm777 is offline
JD Addict
 
Join Date: May 2019
Posts: 169
Default

07.11.24 20.12.37 <--> 07.11.24 20.13.24 jdlog://0856411370661/

Hab hier mal einen log, DNS geändert, Norton gelöscht, Firewall komplett deaktiviert. Hoffe da kommt was anderes raus
Reply With Quote
  #10  
Old 08.11.2024, 09:15
pspzockerscene's Avatar
pspzockerscene pspzockerscene is offline
Community Manager
 
Join Date: Mar 2009
Location: Deutschland
Posts: 75,286
Default

Selbes Problem.
Versuche folgendes:
  • Lass AdwCleaner 1x durchlaufen und versuche es danach erneut: malwarebytes.com/de/adwcleaner
  • Poste einen Screenshot von: ipv6-test.com
  • Verwende einen VPN und schau, ob es damit läuft
  • Ergänze testweise einen Eintrag in deinem Hosts File, der edge.forgecdn.net auf die IP 18.244.18.33 zeigen lässt und teste erneut
__________________
JD Supporter, Plugin Dev. & Community Manager

Erste Schritte & Tutorials || JDownloader 2 Setup Download
Spoiler:

A users' JD crashes and the first thing to ask is:
Quote:
Originally Posted by Jiaz View Post
Do you have Nero installed?
Reply With Quote
  #11  
Old 08.11.2024, 15:44
zToRm777 zToRm777 is offline
JD Addict
 
Join Date: May 2019
Posts: 169
Default

AdwCleaner hab ich durchlaufen lassen, Screenshot: **External links are only visible to Support Staff****External links are only visible to Support Staff**
VPN brachte nichts, der Hosteintrag war nicht drinnen, hab ihn manuel hinzugefügt unter: C:\Windows\System32\drivers\etc\hosts
Reply With Quote
  #12  
Old 08.11.2024, 15:51
pspzockerscene's Avatar
pspzockerscene pspzockerscene is offline
Community Manager
 
Join Date: Mar 2009
Location: Deutschland
Posts: 75,286
Default

VPN hast du bereits ausprobiert?

Ich bin mit meinen Ideen erstmal am Ende.

Du kannst noch den letzten Punkt (Punkt 12 der mit "IPV4/6") aus folgender Anleitung ausprobieren:
https://support.jdownloader.org/de/k...-downloadspeed

An dieser Stelle müssen entweder andere Supporter übernehmen oder du schaffst es, das Problem selbst zu lösen.
Nachtrag:
Ich kann dir höchstens noch nächste Woche eine Teamviewer live Session anbieten.
__________________
JD Supporter, Plugin Dev. & Community Manager

Erste Schritte & Tutorials || JDownloader 2 Setup Download
Spoiler:

A users' JD crashes and the first thing to ask is:
Quote:
Originally Posted by Jiaz View Post
Do you have Nero installed?

Last edited by pspzockerscene; 08.11.2024 at 15:53. Reason: Nachtrag
Reply With Quote
  #13  
Old 08.11.2024, 16:14
zToRm777 zToRm777 is offline
JD Addict
 
Join Date: May 2019
Posts: 169
Default

VPN hab ich schon benutzt, ich probier unter anderem selber noch rum, hab auf reddit welche gesehen, die haben genau das gleiche Problem. Irgedwann klappt das schon. Trotzdem danke für die Mühe
Reply With Quote
  #14  
Old 10.11.2024, 19:52
pspzockerscene's Avatar
pspzockerscene pspzockerscene is offline
Community Manager
 
Join Date: Mar 2009
Location: Deutschland
Posts: 75,286
Default

Okay.
Solltest du eine Lösung finden, teile sie gerne mit uns.
EDIT

Thread als Erledigt markiert.
__________________
JD Supporter, Plugin Dev. & Community Manager

Erste Schritte & Tutorials || JDownloader 2 Setup Download
Spoiler:

A users' JD crashes and the first thing to ask is:
Quote:
Originally Posted by Jiaz View Post
Do you have Nero installed?

Last edited by pspzockerscene; 11.11.2024 at 23:55. Reason: EDIT
Reply With Quote
  #15  
Old 08.12.2024, 18:53
zToRm777 zToRm777 is offline
JD Addict
 
Join Date: May 2019
Posts: 169
Default

Hab jetzt noch was rausgefunden, da ich unteranderem andere Download-Manager getestet habe und überall das gleiche Problem habe.

Der eig. Download-Link, den ich über Firefox lade ist: **External links are only visible to Support Staff****External links are only visible to Support Staff**

Sobald die Datei geladen ist, kopiere ich aus Firefox diese Link: **External links are only visible to Support Staff****External links are only visible to Support Staff**

Dieser Link funktioniert bei ir im JD2 einwandfrei, nur kann ich leider nicht die URL als Ordnernamen verwenden.

Mit z.B. dem Open Manager (Download all Sources) Firefox ADDON, könnte ich dies machen, aber da müsste der 1. Link verwendet werden, der aber nur eine .datei liefert.

Aber ich denke nicht, dass man damit irgendwas sinnvolles anfangen kann.
Reply With Quote
  #16  
Old 09.12.2024, 12:05
pspzockerscene's Avatar
pspzockerscene pspzockerscene is offline
Community Manager
 
Join Date: Mar 2009
Location: Deutschland
Posts: 75,286
Default

Quote:
Originally Posted by zToRm777 View Post
nur kann ich leider nicht die URL als Ordnernamen verwenden
Doch kannst du.
Willst du die ganze URL als Ordnernamen verwenden oder nur den Dateinamen also das letzte Pfadsegment der URL?
Ich nehme an, du meinst letzteres.

Wenn du den Link einzeln hinzufügst landet er per default im Paket "Verschiedenes", da es eben ein einzelner Link ist.
Wenn du das abstellst, wird er bereits in einem Paket landen, dessen Name dem Dateinamen nachempfunden ist.
Siehe Einstellungen -> Allgemein -> "Einzelne Dateien in Paket "verschiedenes" gruppieren" -> Häckchen entfernen
Das könnte schon zu dem von dir gewollten Verhalten führen.
__________________
JD Supporter, Plugin Dev. & Community Manager

Erste Schritte & Tutorials || JDownloader 2 Setup Download
Spoiler:

A users' JD crashes and the first thing to ask is:
Quote:
Originally Posted by Jiaz View Post
Do you have Nero installed?
Reply With Quote
  #17  
Old 30.06.2025, 15:19
zToRm777 zToRm777 is offline
JD Addict
 
Join Date: May 2019
Posts: 169
Default

Hallo nochmal, bin jetzt mit den Links nicht weitergekommen, aber wenn ich jetzte diesen Link nehme:

**External links are only visible to Support Staff****External links are only visible to Support Staff**
und diesen in:
**External links are only visible to Support Staff****External links are only visible to Support Staff**
ändere (legacy ist die alte Seite, als Archiv)
startet der Download sofort im Browser, ohne Account. Auch Massendownload mit 500 oder mehr würde ohne Probleme gehen.

Die Links hab ich bereits alle gesammelt. Mir geht es aber darum, dass ich alle Links mit dem JD2 laden kann, damit ich diese automatisch in einen Ordner beim Download packen kann, Beispiel hier wäre es: court-of-stars-helper

Beim Browser download müsste ich diese immer manuell machen.

Eventuell kann man (bzw. ich) diese Links zum laufen bringen, da eig. die anderen jetzt keinen Sinn mehr ergeben.
Reply With Quote
  #18  
Old 30.06.2025, 18:15
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 82,980
Default

@zToRm777: Der *sofort im Browser* Download Button hängt noch ein /file an die URL und das initiert den Download. Du brauchst im Rewrite also noch zusätzlich hinten das /file dranhängen und dann noch eine DirectHTTP Regel für diese legacy URLs (alternativ via Rewrite direct**External links are only visible to Support Staff** Siehe https://support.jdownloader.org/de/k...xample-rewrite
und https://support.jdownloader.org/de/k...ple-directhttp

Bitte versuch dich zunächst selbst daran und bei Fragen/Problemen, helfen wir natürlich weiter
__________________
JD-Dev & Server-Admin

Last edited by Jiaz; 30.06.2025 at 18:25.
Reply With Quote
  #19  
Old 30.06.2025, 19:32
zToRm777 zToRm777 is offline
JD Addict
 
Join Date: May 2019
Posts: 169
Default

Das mit dem /file ist mir gar nicht aufgefallen, danke dafür, das hilft mir schonmal.
Hab mir aber alternative den "Download All Sources" geholt, da muss ich nur den Link eingeben und sogar der Paketverwalter funktioniert. Da ich einfach zu dumm für Crawler und Paketverwalter bin und ich dies meistens nicht hinbekomme, nehm ich dies nun als alternative. thx
Reply With Quote
  #20  
Old 30.06.2025, 21:02
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 82,980
Default

@zToRm777: Wie genau hilft dir diese Erweiterung beim Download deiner URLs? Kannst du das erklären?

Es gibt kein *zu Dumm*, aber ein *zu Faul* Aber du könntest es ja einfach mal versuchen und wir helfen gerne. Wir wollen hier gerne eine gewisse Eigeninitiative der Nutzer, sondern wird wegen jeder kleinen Änderung nachgefragt, anstatt selbst die Lösung zu basteln.
__________________
JD-Dev & Server-Admin
Reply With Quote
  #21  
Old 30.06.2025, 21:17
zToRm777 zToRm777 is offline
JD Addict
 
Join Date: May 2019
Posts: 169
Default

also, ich hänge das /file an den Link, sieht dann so aus:

**External links are only visible to Support Staff****External links are only visible to Support Staff**

Derzeit hab ich 3000 Links in "Download All Sources" drinnen, auf 4 gleichzeitige Downloads eingestellt und :path: als Ordnername angegeben

Der Ordner sieht dann so aus:

wow/addons/acotools/download/3380898/AcoTools.zip

Er sortiert jetzt automatisch alles ein, sogar noch viel besser als ich eigentlich wollte.

Keine Ahnung ob der JD2 solch eine Struktur machen kann, da ich eigentlich immer nur als Beispiel "acotools" als Ordner hatte.

Aber noch als Frage, warum macht man sowas nicht im JD2?
Würde doch jedem helfen und euch würde keiner mehr nerven.

Download location [Optional]
:path: URL root path (/path/to/file -> path/to)
usw.

Auch die Links nimmt er einfach so, ohne das man was machen muss.
:)
Reply With Quote
  #22  
Old 01.07.2025, 10:23
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 82,980
Default

@zToRm777: Wenn du die Links doch schon hast, einfach via Texteditor deiner Wahl ans Ende ein "/file" und an den Anfang ein "direct**External links are only visible to Support Staff** und dann alle Links markieren und ab in die Zwischenablage und JDownloader *frisst und lädt* diese dann.
Das sind genau 2 mal Search/Replace angewandt auf beliebig viele Links auf einmal.
Linkcrawler Regeln benötigst du nur wenn du die Links normal aus dem Browser herauskopieren willst, also ohne "/link" und dann JDownloader diese automatisiert verarbeiten soll.

Den Pfad als Ordnername einzurichten ist via Paketverwalter einfach.

Quote:
Originally Posted by zToRm777 View Post
Aber noch als Frage, warum macht man sowas nicht im JD2?
1.) "Download All Sources" ist eine Browsererweiterung und hat somit mehr Möglichkeiten/Zugriff als JDownloader selbst, ohne Browser/Umgebung. Beide funktionieren völlig unterschiedlich und haben andere Zielnutzer im Blick.
2.) Kannst du auch im JDownloader einfach deine Regeln anlegen im Paketverwalter. Da heisst es halt nicht "path" oder so, aber du kannst genauso das gleiche Resultat erzielen.
3.) Muss ich jetzt nicht als Zielgruppe unbedingt die gleiche Zielgruppe wie die Erweiterung abdecken/bedienen, vor allem nicht wenn man mit wenigen Handgriffen (zb Texteditor) oder einmaligen Anlegen von Regeln gleiche automatisierte Resultate erzielen kann.

Außerdem gibt es unterschiedliche Auffassungen von "path".
Ich würde hier nämlich erwarten das dies dann "/files/5196/525/" wäre, weil das der Pfad des eigentlichen Downloads ist. Und weil ein jeder andere Vorstellungen / Wünsche hat, sehe ich hier wenig Sinn in Abstraktionen, die jedoch je nach Nutzer/Nutzung anders interpretiert werden (können).
__________________
JD-Dev & Server-Admin

Last edited by Jiaz; 01.07.2025 at 10:29.
Reply With Quote
Reply

Thread Tools
Display Modes

Posting Rules
You may not post new threads
You may not post replies
You may not post attachments
You may not edit your posts

BB code is On
Smilies are On
[IMG] code is On
HTML code is Off

Forum Jump

All times are GMT +2. The time now is 20:35.
Provided By AppWork GmbH | Privacy | Imprint
Parts of the Design are used from Kirsch designed by Andrew & Austin
Powered by vBulletin® Version 3.8.10 Beta 1
Copyright ©2000 - 2025, Jelsoft Enterprises Ltd.