[Shamsar]

Hallo!
Wie bringe ich dem Programm bei eine Ebene tiefer auf einer Webseite nach Dateien zu suchen als der Standard?
Also quasi nach Links suchen, diese öffnen und da wieder nach Links suchen und die Dateien darin downloaden.

Es gibt hier ne englische Anleitung aber die verstehe ich nicht.
https://support.jdownloader.org/Know...le-deepdecrypt

Man muss soweit ich das verstanden habe in Einstellungen, ProfiEinstellungen, LinkCrawler: Link Crawler Rules:
Einen Text eintragen der in etwa so aussieht:

[ {
"enabled" : true,
"logging" : false,
"maxDecryptDepth" : 1,
"name" : "Name der Regel",
"pattern" : "**External links are only visible to Support Staff**,
"rule" : "DEEPDECRYPT",
"packageNamePattern" : null,
"passwordPattern" : null,
"deepPattern" : "**External links are only visible to Support Staff**
} ]

Was soll ich wie bei pattern eintragen?
Einfach die URL die ich durchsuchen will? In welcher Form?
So etwa: **External links are only visible to Support Staff****External links are only visible to Support Staff**.....................

Oder die genaue Stelle auf der Webseite wo ich suchen will
z.B: so **External links are only visible to Support Staff****External links are only visible to Support Staff**..................... /users/

Und was kommt bei deepPattern rein?

Und maxDecryptDepth ist die Linktiefe?
Was ist der Standard? 1,2,3,4 ?

Und wie lasse ich Passworteingaben automatisch überspringen?
Bzw das nicht immer das Nachfragefenster aufgeht?

Danke !!!!

[pspzockerscene]

Hi,

Originally Posted by Shamsar

Wie bringe ich dem Programm bei eine Ebene tiefer auf einer Webseite nach Dateien zu suchen als der Standard?
Also quasi nach Links suchen, diese öffnen und da wieder nach Links suchen und die Dateien darin downloaden.

Erstmal wäre es hilfreich zu wissen was du überhaupt machen möchtest und Testlinks zur Webseite zu haben von der du Inhalte crawlen möchtest.

Originally Posted by Shamsar

Was soll ich wie bei pattern eintragen?
Einfach die URL die ich durchsuchen will? In welcher Form?

Das ist eigentlich ganz gut dort beschrieben:
Mithilfe regulärer Ausdrücke gibst du ein Muster an was zu deinen Links passt - eine Art Filter.
Eine kurze Google suche bringt gute Beispiele/Anleitungen hervor z.B.:
danielfett.de/2006/03/20/regulaere-ausdruecke-tutorial/

Originally Posted by Shamsar

Und was kommt bei deepPattern rein?

Das was innerhalb des HTML Codes der Seite gesucht werden soll, die zu deinem Pattern passt.

Originally Posted by Shamsar

Und maxDecryptDepth ist die Linktiefe?

Steht doch alles im Artikel beschrieben.
Hast du den nicht wenigstens mal durch Google Translate gejagt?

Originally Posted by Shamsar

Was ist der Standard? 1,2,3,4 ?

1

Originally Posted by Shamsar

Und wie lasse ich Passworteingaben automatisch überspringen?
Bzw das nicht immer das Nachfragefenster aufgeht?

Im Kontext von solchen Regeln:
Gar nicht.
Du kannst Dialoge aber mit dem "Ruhemodus" deaktivieren das könnte helfen.
Siehe Toolbar oben -> Symbol mit rotem "X".

Grüße, psp

[Shamsar]

Danke!
Aber ich kapiers immer noch nicht ganz.
Ich bin schon ganz nah an der Lösung dran!

(gepostete Webseiten urls werden hier immer weggelöscht...)

ALSO:
Ich habe diverse Fotowebseiten, wo ich jpg Bilder laden will. Da hat auch bisher schon sehr gut funktioniert!
Es gibt User dort die haben Alben und darin sind ihre Bilder. (Sonst nix ladbares!)
Alles bestens.

Z.B: Fotocommunity.de (Das ist nur ein fiktives Beispiel)
Hier gibt es einen Link z.B: Fotocommunity.de/index/users.php?let=D
(natürlich kommt das www oder http noch dazu)
Auf der Seite werden alle user aufgelistet die mit D beginnen. Z.B: Dieter, Dora24, DanielM, Dragon69,.....usw.
Wenn ich jetzt auf Dieter klicke, komme ich auf die Seite Fotocommunity.de/index/user.php?user=Dieter
Hier sind alle Alben von Dieter zu sehen, als Links quasi zum anklicken. Klicke ich auf ein Album/einen Album-Link, werden mir alle Bilder des Albums angezeigt.
Wenn ich nun den Link des users Dieter also: Fotocommunity.de/index/user.php?user=Dieter
in den Linksammler füge, werden mir alle Alben von Dieter im Linksammler aufgezeigt incl. aller darin enthaltenen Bilder.
Klick auf Download läd mir alle Alben von Dieter herunter auf die Platte, und legt sogar für jedes Album einen Ordner an! Alles bestens! Genau so will ich es haben!

JETZT ABER
will ich eine Ebene höher auf der Webseite, also da wo alle User mit D stehen.
Also: Fotocommunity.de/index/users.php?let=D
Ich will nun von allen usern mit D alle Alben laden, bzw angezeigt kriegen. Und das geht nicht.
Also was muss ich machen?

Bei pattern einfach "Fotocommunity.de" ?
Weil wenn das ein Muster ist, müssste das doch reichen, so hab ichs verstanden. (Das funktioniert doch so ähnlich wie Wildcards)
Oder muss ich da Fotocommunity.de/index/users.php?let=D eintragen?

Was mich auf der Knowledgebase hier irritiert ist die Schreibweise mit den Schrägstrichen und den Fragezeichen.
Dot steht was von "pattern" : "**External links are only visible to Support Staff**,
Da kapier ich nix mehr... Das ist ja schon ne Programmiersprache...

Und bei deepPattern kann doch null stehen, weil es gibt nur JPG Dateien in den Alben sonst nix.
Oder müsste ich dort sowas hinschreiben wie *.jpg oder *.bmp ??

Danke !!!!!!!

[pspzockerscene]

Originally Posted by Shamsar

(gepostete Webseiten urls werden hier immer weggelöscht...)

Jein. Nur Moderatoren können diese sehen.
Dies dient dem Schutz deiner Daten.

Originally Posted by Shamsar

Ich will nun von allen usern mit D alle Alben laden, bzw angezeigt kriegen. Und das geht nicht.
Also was muss ich machen?

Eine entsprechende Regel erstellen, die die Links der Übersichtsseite nimmt und die alben-Links zurückgibt.

Originally Posted by Shamsar

Bei pattern einfach "Fotocommunity.de" ?
Weil wenn das ein Muster ist, müssste das doch reichen, so hab ichs verstanden. (Das funktioniert doch so ähnlich wie Wildcards)

Nein Reguläre aussdrücke sind etwas ganz anderes!
Bitte entweder in die Thematik einarbeiten (siehe Link in meiner ersten Antwort oder Google) oder zumindest richtige testlinks zur Verfügung stellen dann kann ich dir beim Erstellen der ersten Regel helfen.

Originally Posted by Shamsar

Das ist ja schon ne Programmiersprache...

Nein aber verwendet man sehr oft auch in der Programmierung.

Originally Posted by Shamsar

Und bei deepPattern kann doch null stehen, weil es gibt nur JPG Dateien in den Alben sonst nix.

Korrekt.

Grüße, psp
EDIT

Benötigt man Zugangsdaten, um die Bilder auf der Webseite zu sehen von der du herunterladen möchtestr?
Bist du im Browser eingeloggt?

[Shamsar]

Originally Posted by pspzockerscene

Jein. Nur Moderatoren können diese sehen.
Dies dient dem Schutz deiner Daten.

Dann ist es aber schwer hier mit der Allgemeinheit über Probleme zu diskutieren, wenn sie nie die Links sehen können...
Oder bist du ein Moderator (als Community Manager) ?

Also:
Nehmen wir mal das:
**External links are only visible to Support Staff**...

photoforum.ru/user/23304/photos.0.0.0.date.desc.0.0.0.1.en.html

Wenn ich alle Bilder dieses users (Irina Z.) haben will, wie mach ich das?
Füge ich diesen Link ein, krieg ich nur kleine Bilder.
JD muss also eine Ebene tiefer. Also den Links folgen.
Wenn ich nämlich auf ein Bild klicke, dann sehe ich das im Großformat.
Und genau so will ich es runterladen - in Groß.

Danke!!

[pspzockerscene]

Originally Posted by Shamsar

Dann ist es aber schwer hier mit der Allgemeinheit über Probleme zu diskutieren, wenn sie nie die Links sehen können...

Falls gewünscht lassen sich Links ja so abändern, dass andere sie sehen können.
Bei deiner Anfrage hier z.B. bin ich mir ziemlich sicher, dass es keinen Sinn ergibt, wenn andere User die Links sehen können.
Die domain deiner angefragten Seite ist ja nun sichtbar d.h. falls meine Antwort hilfreich ist werden andere User sie über die Suche ebenfalls finden

Originally Posted by Shamsar

Wenn ich alle Bilder dieses users (Irina Z.) haben will, wie mach ich das?

Du brauchst 2-3 Regeln.
Im Endeffekt willst du folgendes:
1. Jeweils die erste Übersichts-Seite des Users crawlen und den Link zur nächsten finden.
2. Die Links zu den einzelnen Photos 1x ansteuern und die direkten Links zu den Photos crawlen.
Nebenbei kann man dann noch Paketnamen oder schönere Dateinamen setzen.

Originally Posted by Shamsar

JD muss also eine Ebene tiefer. Also den Links folgen.
Wenn ich nämlich auf ein Bild klicke, dann sehe ich das im Großformat.

Es ist komplizierter als du denkst!
Ich werde hier gleich nochmals antworten und die entsprechenden Regeln für "photoforum.ru" posten.
Bitte bedenke, dass das nur eine Hilfestellung ist.
Falls du Regeln für andere Webseiten haben möchtest, musst du dich zwangsläufig mit folgenden Dingen beschäftigen:
- Reguläre Ausdrücke (siehe Infos meiner letzten beiden Posts)
- json Datenformat
Du wirst kein Programm finden, das dir ein schönes Menü präsentiert mit dem du solche Crawler einfach zusammenklicken kannst

Grüße, psp

[pspzockerscene]

Hier sind 2 LinkCrawler Regeln, noch ohne Unterstützung für mehrere Seiten:

[ {
  "enabled" : true,
  "logging" : false,
  "maxDecryptDepth" : 1,
  "name" : "photoforum.ru 1: Suche Bilder URLs in Benutzer Uebersicht und finde Link zur naechsten Seite",
  "pattern" : "**External links are only visible to Support Staff**,
  "rule" : "DEEPDECRYPT",
  "packageNamePattern" : "class=\"avatar2\"[^>]*alt=\"([^\"]+)\"",
  "deepPattern" : "(/photo/\\d+/[^\"\\']+|/user/\\d+/photos\\.[^\"]+\" title=\"next\")"
}, {
  "enabled" : true,
  "logging" : false,
  "maxDecryptDepth" : 1,
  "name" : "photoforum.ru 2: Einzelne Bilder crawlen",
  "pattern" : "**External links are only visible to Support Staff**,
  "rule" : "DEEPDECRYPT",
  "deepPattern" : "\"(**External links are only visible to Support Staff**]+)\""
} ]

Regeln als Plaintext:
pastebin.com/P9JfFYJh
Einfügen in:
Einstellungen -> Profieinstellungen -> Link Crawler Rules

-psp-

[Shamsar]

OK Danke !
Da mus sich mich reinarbeiten. Das sieht kompliziert aus....

Ich hab aber jetzt erst mal ein ganz anderes Problem seit einer Woche:
Plugin veraltet. Das kommt egal welches Plugin ich auswähle...
Hier ist der Log:
26.02.21 13.49.25 <--> 23.02.21 00.41.13 jdlog://4526725302851/
20.02.21 11.56.56 <--> 23.02.21 00.41.13 jdlog://5526725302851/

Danke!

[pspzockerscene]

Irgendwie ging dein Post unter - entschuldige bitte!
Update JD und prüfe, ob du das Problem noch immer nachstellen kannst.

Grüße, psp

[Shamsar]

äääääääääh.... Jetzt gehts!
Vorher hatte ich ihn auch up to date und es ging nicht. Dann sogar neu installiert. Ging dann auch nicht.
Heute aber nach dem updaten gings..... Komisch. (Habt ihr gerade wo was am JD geändert?)

OK, ich werd sehen wenn ich Zeit hab wie ich hier weiterkomme.
Danke erstmal ! Lasst den Thread erst noch mal offen.... Denn "solved" ist das Ganze noch lange nicht....
Eins nach dem anderen. Bin jetzt erstmal froh das jetzt das Downloaden überhaupt wieder geht....

[Shamsar]

@pspzockerscene
Also das hat funktioniert, was Du da "programmiert" hast für die Webseite!
Aber das Thema scheint sehr komplex zu sein. Und was es da zum einlesen gibt ist auch sehr viel und ich weis spontan nicht wie ich das auf die Link Crawler Regel übertragen soll.
Das sind dermaßen viele Zeichen die Du da gesetzt hast, das muss man ja an der Uni studieren.....

Funktioniert das bei jeder Webseite anders wenn man Bilder runterladen will? Muss man sich da immer was anderes zusammenschreiben?

Ich habe hier noch was:
**External links are only visible to Support Staff**...
Ein user "Heizung" hat 2 Alben: "Kreuzberg/Litauen" und "houses"
Geb ich den Link in den JD dann findet er die 2 Alben (+ noch Anderes) und läd die Bilder auch jeweils in einen separaten Ordner. Alles gut!!

Die Seite eine Ebene höher ist:
**External links are only visible to Support Staff**...
Hier stehen alle user die mit "H" anfangen. Auch "Heizung" ist dabei.
Wie durchsucht JD jetzt hier alle H user und deren Alben und listet sie auf?

Wenn Du Zeit hast, kannst du das gern noch mal "programmieren" !
Das wäre toll. Dann bin ich erst mal zufrieden. Ich versuchs dann irgendwie zu verstehen. Vielleicht ist es in diesem Fall einfacher und nicht so ein Zeichendschungel...
Danke!

Ansonsten würd ich erst mal kapitulieren vor dem Thema, weil es wohl zu kompliziert ist........

[pspzockerscene]

Originally Posted by Shamsar

Heute aber nach dem updaten gings..... Komisch. (Habt ihr gerade wo was am JD geändert?)

Nein.

Originally Posted by Shamsar

Lasst den Thread erst noch mal offen....

Der Thread ist offen.
Wir beobachten auch als "Gelöst" markierte Threads.

Originally Posted by Shamsar

Denn "solved" ist das Ganze noch lange nicht....

Nach meiner Auffassung schon.
Ich habe dir grob gezeigt, wie das mit den LinkCrawler Regeln geht und dir Beispiel-Regeln erstellt, die 50% von dem was du wolltest erledigen:
Hole alle Bilder von einer Seite (nur das "alle Bilder von allen Seiten" ist noch nicht drin).

Originally Posted by Shamsar

Also das hat funktioniert, was Du da "programmiert" hast für die Webseite!

Ich habe nichts programmiert - das sind LinkCrawler Regeln mit Regulären Ausdrücken.

Originally Posted by Shamsar

Und was es da zum einlesen gibt ist auch sehr viel und ich weis spontan nicht wie ich das auf die Link Crawler Regel übertragen soll.

Wie gesagt ein paar Beispiele gebe ich gerne aber wenn du für 10 weitere Webseiten solche Regeln möchtest, musst du dich selbst mit dem Thema befassen.

Originally Posted by Shamsar

Das sind dermaßen viele Zeichen die Du da gesetzt hast, das muss man ja an der Uni studieren.....

Nein.
Größtenteils sind es Reguläre Ausdrücke (du hast dich nicht damit auseinandergesetzt oder?).
Das gibst du in youtube ein und zack:
youtu.be/watch?v=SewleITxvcg

Originally Posted by Shamsar

Funktioniert das bei jeder Webseite anders wenn man Bilder runterladen will? Muss man sich da immer was anderes zusammenschreiben?

Das zeigt, dass du meinen Post nicht richtig gelesen hast aber ich beantworte deine Frage trotzdem:
Man muss für jede Seite andere Regeln erstelltn - die Regeln funktionieren wie Filter, die nur das holen was du möchtest.

Originally Posted by Shamsar

Wie durchsucht JD jetzt hier alle H user und deren Alben und listet sie auf?

Bitte die Linsks erneut posten.
Wir haben einen kleinen Bug in unserer Forensoftware, der die Links manchmal auch für uns Moderatoren unsichtbar macht.

Grüße, psp

[Shamsar]

Danke erstmal!
Ich widme mich dem Thema evtl nochmal. Ich hab mich da schon einglesen...

Ich hab momentan wieder neue, andere Probleme.
Es gibt gerade ne Webseite die sperrt wohl IPs für ne Zeit, wenn man zu viel läd.
Ich sammel halt Bilder und lade viel runter und sortier dann auf der Platte aus.
Der JD kann ja bei Fotoalben ca 200-300 Bilder pro Minute runterladen.
Da gibts wohl Algorithmen die da dann ne kurze Sperre reinmachen.
Ich hab ein VPN. Nach einigen Bildern kommt im JD: hoster nicht erreichbar. Im Browser gehts auch nicht.
Über nen Proxy und über TOR ist die Seite aber weiterhin erreichbar. Dh sie ist online, nimmt aber meine IP nicht mehr an. Wechsel ich den VPN Server gehts dann nämlich wieder weiter und dann wieder nach ein par Bildern das gleiche Problem. Schon hundet mal jetzt gemacht das ganze.

Kann man das irgendwie umgehen? Vielleicht die Ports ändern?
Die Plugins zu ändern bringt auch nichts.
Danke erst mal.....

[pspzockerscene]

Mit einem EventScripter script kannst du Wartezeiten einbauen.

Grüße, psp