[zToRm777]

Hey,

kann man mit dem JDownloader Traffic Blocks umgehen?

Beispiel:

Website: **External links are only visible to Support Staff****External links are only visible to Support Staff**
Die eigentliche Website der Mods


Download: **External links are only visible to Support Staff****External links are only visible to Support Staff**
Der Download-Link (oder Links) in der Linken Spalte, dieser führt dann zu nachfolgender Seite:

Weiterleitung: **External links are only visible to Support Staff****External links are only visible to Support Staff**
Dies ist die Datei die geladen wird, diese wird auch im JD2 erkannt und ich konnte sie schon laden.

Nach ein paar Downloads würde diese Meldung kommen:
Due to a high number of requests we have temporarily blocked traffic from your ip address for 1 minute - please try again after this time.

Im JD2 kommt dann als Vergleich Error 429 Rate Limit reached.
Muss man 5 Minuten warten

Habs zum testen die Links erstmal einzeln rauskopiert, damit ich weiß was passiert, da ich noch keinen Crawler hab, bzw. werden die Download-Links erst erstellt, wenn ich wie genannt, diesen Links anklicke:
**External links are only visible to Support Staff****External links are only visible to Support Staff**

Glaub da kommt man nicht ran mit dem Crawler.

Wäre jetzt mal interessant, ob man da mit dem JD2 was machen kann.

thx

[Jiaz]

Originally Posted by zToRm777

kann man mit dem JDownloader Traffic Blocks umgehen?
Due to a high number of requests we have temporarily blocked traffic from your ip address for 1 minute - please try again after this time.)

Hmm, andere IP/IP Wechseln oder, wie es in der Meldung genannt wird, sollte der Link nach einer Minute ja wieder funktionieren?

[Jiaz]

@zToRm777 Mittels https://support.jdownloader.org/de/k...kcrawler-rules könntest du dem JDownloader *beibringen* diese Download URLs zu verarbeiten

[zToRm777]

Hi,

hab mal eine alte Vorlage genommen und ein bisschen angepasst:

[
{
"enabled": true,
"logging": false,
"maxDecryptDepth": 2,
"name": "example de.gta5-mods.com",
"pattern": "**External links are only visible to Support Staff**,
"rule": "DEEPDECRYPT",
"deepPattern": ""([^"]+/files/([0-9]+)/)"
}
]

Die Hauptseite wäre: **External links are only visible to Support Staff****External links are only visible to Support Staff**
Verlinkung zum Download: **External links are only visible to Support Staff****External links are only visible to Support Staff**
Der Downloadlink: **External links are only visible to Support Staff****External links are only visible to Support Staff**

Er müsste jetzt ja nach files oder uploads suchen, dass würde reichen um an die Links zu kommen.

**External links are only visible to Support Staff****External links are only visible to Support Staff**
wäre die Kategorie, die ich dann immer anpasse

Er findet jetzt im JD2 sehr viel, nur noch nicht die eig. Datei



Diese Links "**External links are only visible to Support Staff** brauch ich, die sind im JD2 auch ladbar und den Trafficblock lass ich einfach, sollte normal dann automatsich weiterladen.

[pspzockerscene]

So kann das nicht funktionieren.
Dein Versuch schaut aus als hättest du das Grundprinzip nicht verstanden:
- pattern falsch
- deepPattern falsch
- maxDecryptDepth: 2 -> Nicht nötig

Ich empfehle, die Dokumentation erneut zu lesen und dir Beispiele im Forum anzuschauen:
https://support.jdownloader.org/de/k...kcrawler-rules

Teile den Vorhaben in mehrere Schritte auf, dann klappt es.
Fange von hinten an also bei em Schritt direkt vorm Download:
Bringe JD bei, von sowas: /scripts/sp-outfit-saving-extended/download/76040
... nach sowas zu finden: files.gta5-mods.com/uploads/sp-outfit-saving-extended/ca0f2b-worldsettingsv13.rar

Mit folgender Regel geht das:

{
    "enabled": true,
    "logging": false,
    "maxDecryptDepth": 1,
    "name": "gta5-mods.com finde Direktlinks zu einzelnen Downloadlinks",
    "pattern": "https?://de\\.gta5-mods\\.com/scripts/[a-z0-9-]+/download/[0-9]+",
    "rule": "DEEPDECRYPT",
    "packageNamePattern": null,
    "deepPattern": "\"(**External links are only visible to Support Staff**]+)"
}

Regel als Plaintext:
pastebin.com/raw/11f8WNuW

Wenn du nun den Schritt "finde alle Dateien einer Mod Übersicht" auch automatisieren möchtest, benötigst du eine zweite Regel.

Zweite Regel:

{
    "enabled": true,
    "logging": false,
    "maxDecryptDepth": 1,
    "name": "gta5-mods.com finde alle Downloadlinks zu einem Mod",
    "pattern": "https?://de\\.gta5-mods\\.com/scripts/[a-z0-9-]+$",
    "rule": "DEEPDECRYPT",
    "packageNamePattern": null,
    "deepPattern": "(/scripts/[a-z0-9-]+/download/[0-9]+)"
}

Beide zusammen:

[
  {
    "enabled": true,
    "logging": false,
    "maxDecryptDepth": 1,
    "name": "gta5-mods.com finde Direktlinks zu einzelnen Downloadlinks",
    "pattern": "https?://de\\.gta5-mods\\.com/scripts/[a-z0-9-]+/download/[0-9]+",
    "rule": "DEEPDECRYPT",
    "packageNamePattern": null,
    "deepPattern": "\"(**External links are only visible to Support Staff**]+)"
  },
  {
    "enabled": true,
    "logging": false,
    "maxDecryptDepth": 1,
    "name": "gta5-mods.com finde alle Downloadlinks zu einem Mod",
    "pattern": "https?://de\\.gta5-mods\\.com/scripts/[a-z0-9-]+$",
    "rule": "DEEPDECRYPT",
    "packageNamePattern": null,
    "deepPattern": "(/scripts/[a-z0-9-]+/download/[0-9]+)"
  }]

Plaintext:
pastebin.com/raw/Rhr5fxZM

Bei Bedarf kannst du nun noch ein "packageNamePattern" setzen, um z.B. alle Ergebnisse in einem Paket zu haben, das nach dem Titel der Webseite benannt wird.

Anmerkung von mir, nachdem ich diesen Post fertiggeschrieben hatte:
In diesem Fall klappt es sogar nur mit beiden Regeln zusammen, da "gta5-mods.com" einen minimalen Referer-Schutz hat soll heißen, Links wie der folgende funktionieren z.B. nicht in einem privaten Tab:
de.gta5-mods.com/scripts/sp-outfit-saving-extended/download/76040

[zToRm777]

danke
habs mir mal gespeichert, wenn ich wieder was hab schaff ich es mit der Vorlage bestimmt selber.

packageNamePattern hab ich selbst hinbekommen

Hab jetzt "sp-outfit-saving-extended" als Ordnernamen und dort ist dann alles drinnen

edit: das einzige was mir noch aufgefallen ist, dass maximal 6 Links pro Minute nimmt, gleiches wenn man im browser diese einzeln anklickt, sperrt er nach 6 Links.
Kann man die nicht doch irgendwie in JD2 trotzdem einfügen, da ich von den Lesezeichen aus immer so viel wie möglich kopiere und einfüge, Beispiel ich hab 10 Mods, sind dann 6 Dateien im JD2, aber ich weiß nicht wieviele es insgesamt sind

[pspzockerscene]

Originally Posted by zToRm777

ass maximal 6 Links pro Minute nimmt, gleiches wenn man im browser diese einzeln anklickt, sperrt er nach 6 Links.

Das bedeutet "sperrt"?
Zeigt die Webseite dann eine Fehlermeldung statt der Downloads?
Falls ja: Wie denkst du, soll der Crawler diese umgehen?

Originally Posted by zToRm777

Kann man die nicht doch irgendwie in JD2 trotzdem einfügen,

Bitte poste folgende Informationen:
- Genug Testlinks, um das Problem nachzustellen
- Ändere "logging" in beiden Regeln auf "true" und poste ein Log, das fehlgeschlagene Crawlvorgänge nach 6 Links zeigt

Please post your log-ID here.
For plugin or download issues, provide example URLs.
For login or crawler plugin issues, enable debug mode before creating logs (see guide).

Bitte poste deine Log-ID hier.
Bei Plugin- oder Download-Problemen füge Testlinks hinzu.
Bei Login- oder Crawler-Plugin-Problemen aktiviere den Debug-Modus vor dem Log-Erstellen (siehe Anleitung).

-psp-

[zToRm777]

Website bringt "Due to a high number of requests we have temporarily blocked traffic from your ip address for 1 minute - please try again after this time. "

Log: 03.07.25 14.01.13 <--> 03.07.25 14.04.21 jdlog://8742511370661/

Testlinks:

**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**

Diese Links kannst du nicht einfügen, der nimmt dann nur ein paar.
Ich wollte diese Links immer wieder einfügen, bis er alle im JD2 hat, aber dann nimmt er auch die alten Links und würde diese wieder einfügen.

[pspzockerscene]

Okay verstehe.
Das wird so, also ohne Plugin und nur mit LinkCrawler Regeln nicht vollautomatisiert funktionieren.

Entweder du fügst die Links selbst so zeitversetzt ein, dass das Problem vermieden wird oder du baust dir ein EventScripter Script (oder ein externes Script), das dies tut.

EventScripter subforum:
https://board.jdownloader.org/forumdisplay.php?f=52
EventScripter help article:
https://support.jdownloader.org/know...event-scripter

[zToRm777]

Hab ne Lösung gefunden und zwar, wie genannt, sind kommt der ip-block bei dieser Seite:
**External links are only visible to Support Staff****External links are only visible to Support Staff**

Aber nicht bei den eigentlichen Dateien z.B. **External links are only visible to Support Staff****External links are only visible to Support Staff**


Ich füge jetzt viele solcher Links "**External links are only visible to Support Staff** mit dem Crawler in den JD2 ein.

Erstelle einen log und öffne diesen Log "LinkCrawlerRule.1751480409880.log.0"

öffne die Datei mit notepad++ kopiere alles darin in BatchTextReplacer und lösche alles außer die Links.

Diese Links, also meistens .zip Dateien kann ich laden ohne das ein IP-Block kommt.

Alternativ wäre noch gut zu wissen ob man irgendwie diese Links anderweitig bekommt, sodass ich diese: **External links are only visible to Support Staff****External links are only visible to Support Staff**

und nicht diese **External links are only visible to Support Staff****External links are only visible to Support Staff**

in den JD2 einfügen kann

edit: sind aber anscheinend auch nur ein paar drinnen...

[pspzockerscene]

Ich verstehe deinen Lösungsansatz nicht wirklich:
Die Regel holt doch bereits die Direktlinks.
Um an diese zu kommen, müssen die vorigen Schritte ausgeführt werden.

Diese Schritte verursachen jedoch den Block.
Um den Block also zu verhindern, müsstest du entweder die Links über verschiedene IPs/Proxies einfügen oder eben langsam nacheinander.

Sie aus den Logs zu extrahieren ist unnötig:
Alle Direktlinks, die in den Logs stehen, sollten auch im Linkgrabber auftauchen.

[zToRm777]

Der Block kommt nur bei diesen Links: **External links are only visible to Support Staff****External links are only visible to Support Staff**

Durch diesen Links wird ja die Datei "**External links are only visible to Support Staff**

in den JD2 eingefügt

Und diese, meistens .zip Dateien werden nicht blockiert, da kann ich alle auf einmal laden.

Wenn ich jetzt alle .zip oder .rar Links hätte, dann könnte ich diese alle auf einmal laden.

Aber an die kommt man ja nur vereinzelt ran und nicht komplett...




"Alle Direktlinks, die in den Logs stehen, sollten auch im Linkgrabber auftauchen"
Hab ich nur getestet, dachte wenn ich 500 Links in JD2 einfüge, tauchen die .zip Dateien im Log auf, sind aber leider nur die, die auch im JD2 drinnen sind.

[pspzockerscene]

Originally Posted by zToRm777

Hab ich nur getestet, dachte wenn ich 500 Links in JD2 einfüge, tauchen die .zip Dateien im Log auf, sind aber leider nur die, die auch im JD2 drinnen sind.

Ich verstehe den Gedankengang noch immer nicht:

Durch den Block kommt JD nicht an die Direktlinks, folglich können sie auch nicht in den Logs stehen, ansonsten würdest du sie auch im Linkgrabber sehen.

Dein Vorhaben, die Direktlinks "vorher zu beschaffen" verstehe ich ebenfalls nicht:
Genau das tut doch die Regel.

Hier mein finaler Vorschlag:
Nimm dir ChatGPT o.ä. und lass dir ein Script basteln, das deine gewünschten Links nach und nach in die Zwischenablage kopiert mit einer Wartezeit zwischen jedem Kopiervorgang, die hoffentlich dafür sorgt, dass du nicht mehr in dem Block landest.

Aktiviere dann die Zwischenablagenüberwachung in JDownloader, lasse das Script laufen und schaue paar Stunden später, ob alle Direktlinks gefunden wurden.
EDIT Nachtrag: Anhand der LinkCrawler Logs kannst du dann zusätzlich prüfen, ob ein Crawlvorgang in einem Block gelandet ist.


Wenn noch Fragen oder Unklarheiten herrschen, schlage ich eine Teamviewer Session vor, da ich hier gerade eher Missverständnisse passieren sehe, die die textbasierte Kommunikation in diesem Thread in die Länge ziehen.

[zToRm777]

Danke für die Infos.

Momentan öffne ich die Downloads wie früher im Browser, lasse diese aber durch die JDownloader Browser Erweiterung blockieren, die landen jetzt alle im JD2, so kann ich jede Minute 5 Links öffnen. Später kopiere ich alle .zip in JD2 rein, die Links hab ich ja im Browser und mit dem Paketverwalter habe sie dann den richtigen Namen.

Jetzt versuche ich nur noch den Paketverwalter für die Umleitung in den JD2 hinzubekommen, da er derzeit den Tabtitel nimmt.