#1
|
|||
|
|||
Linktiefe einstellen LinkCrawler Rule
Hallo!
Wie bringe ich dem Programm bei eine Ebene tiefer auf einer Webseite nach Dateien zu suchen als der Standard? Also quasi nach Links suchen, diese öffnen und da wieder nach Links suchen und die Dateien darin downloaden. Es gibt hier ne englische Anleitung aber die verstehe ich nicht. https://support.jdownloader.org/Know...le-deepdecrypt Man muss soweit ich das verstanden habe in Einstellungen, ProfiEinstellungen, LinkCrawler: Link Crawler Rules: Einen Text eintragen der in etwa so aussieht: [ { "enabled" : true, "logging" : false, "maxDecryptDepth" : 1, "name" : "Name der Regel", "pattern" : "**External links are only visible to Support Staff**, "rule" : "DEEPDECRYPT", "packageNamePattern" : null, "passwordPattern" : null, "deepPattern" : "**External links are only visible to Support Staff** } ] Was soll ich wie bei pattern eintragen? Einfach die URL die ich durchsuchen will? In welcher Form? So etwa: **External links are only visible to Support Staff****External links are only visible to Support Staff**..................... Oder die genaue Stelle auf der Webseite wo ich suchen will z.B: so **External links are only visible to Support Staff****External links are only visible to Support Staff**..................... /users/ Und was kommt bei deepPattern rein? Und maxDecryptDepth ist die Linktiefe? Was ist der Standard? 1,2,3,4 ? Und wie lasse ich Passworteingaben automatisch überspringen? Bzw das nicht immer das Nachfragefenster aufgeht? Danke !!!! |
#2
|
||||
|
||||
Hi,
Quote:
Quote:
Mithilfe regulärer Ausdrücke gibst du ein Muster an was zu deinen Links passt - eine Art Filter. Eine kurze Google suche bringt gute Beispiele/Anleitungen hervor z.B.: danielfett.de/2006/03/20/regulaere-ausdruecke-tutorial/ Das was innerhalb des HTML Codes der Seite gesucht werden soll, die zu deinem Pattern passt. Steht doch alles im Artikel beschrieben. Hast du den nicht wenigstens mal durch Google Translate gejagt? 1 Quote:
Gar nicht. Du kannst Dialoge aber mit dem "Ruhemodus" deaktivieren das könnte helfen. Siehe Toolbar oben -> Symbol mit rotem "X". Grüße, psp
__________________
JD Supporter, Plugin Dev. & Community Manager
Erste Schritte & Tutorials || JDownloader 2 Setup Download |
#3
|
|||
|
|||
Danke!
Aber ich kapiers immer noch nicht ganz. Ich bin schon ganz nah an der Lösung dran! (gepostete Webseiten urls werden hier immer weggelöscht...) ALSO: Ich habe diverse Fotowebseiten, wo ich jpg Bilder laden will. Da hat auch bisher schon sehr gut funktioniert! Es gibt User dort die haben Alben und darin sind ihre Bilder. (Sonst nix ladbares!) Alles bestens. Z.B: Fotocommunity.de (Das ist nur ein fiktives Beispiel) Hier gibt es einen Link z.B: Fotocommunity.de/index/users.php?let=D (natürlich kommt das www oder http noch dazu) Auf der Seite werden alle user aufgelistet die mit D beginnen. Z.B: Dieter, Dora24, DanielM, Dragon69,.....usw. Wenn ich jetzt auf Dieter klicke, komme ich auf die Seite Fotocommunity.de/index/user.php?user=Dieter Hier sind alle Alben von Dieter zu sehen, als Links quasi zum anklicken. Klicke ich auf ein Album/einen Album-Link, werden mir alle Bilder des Albums angezeigt. Wenn ich nun den Link des users Dieter also: Fotocommunity.de/index/user.php?user=Dieter in den Linksammler füge, werden mir alle Alben von Dieter im Linksammler aufgezeigt incl. aller darin enthaltenen Bilder. Klick auf Download läd mir alle Alben von Dieter herunter auf die Platte, und legt sogar für jedes Album einen Ordner an! Alles bestens! Genau so will ich es haben! JETZT ABER will ich eine Ebene höher auf der Webseite, also da wo alle User mit D stehen. Also: Fotocommunity.de/index/users.php?let=D Ich will nun von allen usern mit D alle Alben laden, bzw angezeigt kriegen. Und das geht nicht. Also was muss ich machen? Bei pattern einfach "Fotocommunity.de" ? Weil wenn das ein Muster ist, müssste das doch reichen, so hab ichs verstanden. (Das funktioniert doch so ähnlich wie Wildcards) Oder muss ich da Fotocommunity.de/index/users.php?let=D eintragen? Was mich auf der Knowledgebase hier irritiert ist die Schreibweise mit den Schrägstrichen und den Fragezeichen. Dot steht was von "pattern" : "**External links are only visible to Support Staff**, Da kapier ich nix mehr... Das ist ja schon ne Programmiersprache... Und bei deepPattern kann doch null stehen, weil es gibt nur JPG Dateien in den Alben sonst nix. Oder müsste ich dort sowas hinschreiben wie *.jpg oder *.bmp ?? Danke !!!!!!! |
#4
|
||||
|
||||
Jein. Nur Moderatoren können diese sehen.
Dies dient dem Schutz deiner Daten. Quote:
Quote:
Bitte entweder in die Thematik einarbeiten (siehe Link in meiner ersten Antwort oder Google) oder zumindest richtige testlinks zur Verfügung stellen dann kann ich dir beim Erstellen der ersten Regel helfen. Nein aber verwendet man sehr oft auch in der Programmierung. Quote:
Grüße, psp EDIT Benötigt man Zugangsdaten, um die Bilder auf der Webseite zu sehen von der du herunterladen möchtestr? Bist du im Browser eingeloggt?
__________________
JD Supporter, Plugin Dev. & Community Manager
Erste Schritte & Tutorials || JDownloader 2 Setup Download Last edited by pspzockerscene; 17.02.2021 at 14:54. |
#5
|
|||
|
|||
Quote:
Oder bist du ein Moderator (als Community Manager) ? Also: Nehmen wir mal das: **External links are only visible to Support Staff**... photoforum.ru/user/23304/photos.0.0.0.date.desc.0.0.0.1.en.html Wenn ich alle Bilder dieses users (Irina Z.) haben will, wie mach ich das? Füge ich diesen Link ein, krieg ich nur kleine Bilder. JD muss also eine Ebene tiefer. Also den Links folgen. Wenn ich nämlich auf ein Bild klicke, dann sehe ich das im Großformat. Und genau so will ich es runterladen - in Groß. Danke!! |
#6
|
||||
|
||||
Quote:
Bei deiner Anfrage hier z.B. bin ich mir ziemlich sicher, dass es keinen Sinn ergibt, wenn andere User die Links sehen können. Die domain deiner angefragten Seite ist ja nun sichtbar d.h. falls meine Antwort hilfreich ist werden andere User sie über die Suche ebenfalls finden Quote:
Im Endeffekt willst du folgendes: 1. Jeweils die erste Übersichts-Seite des Users crawlen und den Link zur nächsten finden. 2. Die Links zu den einzelnen Photos 1x ansteuern und die direkten Links zu den Photos crawlen. Nebenbei kann man dann noch Paketnamen oder schönere Dateinamen setzen. Quote:
Ich werde hier gleich nochmals antworten und die entsprechenden Regeln für "photoforum.ru" posten. Bitte bedenke, dass das nur eine Hilfestellung ist. Falls du Regeln für andere Webseiten haben möchtest, musst du dich zwangsläufig mit folgenden Dingen beschäftigen: - Reguläre Ausdrücke (siehe Infos meiner letzten beiden Posts) - json Datenformat Du wirst kein Programm finden, das dir ein schönes Menü präsentiert mit dem du solche Crawler einfach zusammenklicken kannst Grüße, psp
__________________
JD Supporter, Plugin Dev. & Community Manager
Erste Schritte & Tutorials || JDownloader 2 Setup Download |
#7
|
||||
|
||||
Hier sind 2 LinkCrawler Regeln, noch ohne Unterstützung für mehrere Seiten:
Code:
[ { "enabled" : true, "logging" : false, "maxDecryptDepth" : 1, "name" : "photoforum.ru 1: Suche Bilder URLs in Benutzer Uebersicht und finde Link zur naechsten Seite", "pattern" : "**External links are only visible to Support Staff**, "rule" : "DEEPDECRYPT", "packageNamePattern" : "class=\"avatar2\"[^>]*alt=\"([^\"]+)\"", "deepPattern" : "(/photo/\\d+/[^\"\\']+|/user/\\d+/photos\\.[^\"]+\" title=\"next\")" }, { "enabled" : true, "logging" : false, "maxDecryptDepth" : 1, "name" : "photoforum.ru 2: Einzelne Bilder crawlen", "pattern" : "**External links are only visible to Support Staff**, "rule" : "DEEPDECRYPT", "deepPattern" : "\"(**External links are only visible to Support Staff**]+)\"" } ] pastebin.com/P9JfFYJh Einfügen in: Einstellungen -> Profieinstellungen -> Link Crawler Rules -psp-
__________________
JD Supporter, Plugin Dev. & Community Manager
Erste Schritte & Tutorials || JDownloader 2 Setup Download |
#8
|
|||
|
|||
OK Danke !
Da mus sich mich reinarbeiten. Das sieht kompliziert aus.... Ich hab aber jetzt erst mal ein ganz anderes Problem seit einer Woche: Plugin veraltet. Das kommt egal welches Plugin ich auswähle... Hier ist der Log: 26.02.21 13.49.25 <--> 23.02.21 00.41.13 jdlog://4526725302851/ 20.02.21 11.56.56 <--> 23.02.21 00.41.13 jdlog://5526725302851/ Danke! |
#9
|
||||
|
||||
Irgendwie ging dein Post unter - entschuldige bitte!
Update JD und prüfe, ob du das Problem noch immer nachstellen kannst. Grüße, psp
__________________
JD Supporter, Plugin Dev. & Community Manager
Erste Schritte & Tutorials || JDownloader 2 Setup Download |
#10
|
|||
|
|||
äääääääääh.... Jetzt gehts!
Vorher hatte ich ihn auch up to date und es ging nicht. Dann sogar neu installiert. Ging dann auch nicht. Heute aber nach dem updaten gings..... Komisch. (Habt ihr gerade wo was am JD geändert?) OK, ich werd sehen wenn ich Zeit hab wie ich hier weiterkomme. Danke erstmal ! Lasst den Thread erst noch mal offen.... Denn "solved" ist das Ganze noch lange nicht.... Eins nach dem anderen. Bin jetzt erstmal froh das jetzt das Downloaden überhaupt wieder geht.... |
#11
|
|||
|
|||
@pspzockerscene
Also das hat funktioniert, was Du da "programmiert" hast für die Webseite! Aber das Thema scheint sehr komplex zu sein. Und was es da zum einlesen gibt ist auch sehr viel und ich weis spontan nicht wie ich das auf die Link Crawler Regel übertragen soll. Das sind dermaßen viele Zeichen die Du da gesetzt hast, das muss man ja an der Uni studieren..... Funktioniert das bei jeder Webseite anders wenn man Bilder runterladen will? Muss man sich da immer was anderes zusammenschreiben? Ich habe hier noch was: **External links are only visible to Support Staff**... Ein user "Heizung" hat 2 Alben: "Kreuzberg/Litauen" und "houses" Geb ich den Link in den JD dann findet er die 2 Alben (+ noch Anderes) und läd die Bilder auch jeweils in einen separaten Ordner. Alles gut!! Die Seite eine Ebene höher ist: **External links are only visible to Support Staff**... Hier stehen alle user die mit "H" anfangen. Auch "Heizung" ist dabei. Wie durchsucht JD jetzt hier alle H user und deren Alben und listet sie auf? Wenn Du Zeit hast, kannst du das gern noch mal "programmieren" ! Das wäre toll. Dann bin ich erst mal zufrieden. Ich versuchs dann irgendwie zu verstehen. Vielleicht ist es in diesem Fall einfacher und nicht so ein Zeichendschungel... Danke! Ansonsten würd ich erst mal kapitulieren vor dem Thema, weil es wohl zu kompliziert ist........ |
#12
|
||||||
|
||||||
Quote:
Der Thread ist offen. Wir beobachten auch als "Gelöst" markierte Threads. Nach meiner Auffassung schon. Ich habe dir grob gezeigt, wie das mit den LinkCrawler Regeln geht und dir Beispiel-Regeln erstellt, die 50% von dem was du wolltest erledigen: Hole alle Bilder von einer Seite (nur das "alle Bilder von allen Seiten" ist noch nicht drin). Quote:
Quote:
Quote:
Größtenteils sind es Reguläre Ausdrücke (du hast dich nicht damit auseinandergesetzt oder?). Das gibst du in youtube ein und zack: youtu.be/watch?v=SewleITxvcg Quote:
Man muss für jede Seite andere Regeln erstelltn - die Regeln funktionieren wie Filter, die nur das holen was du möchtest. Quote:
Wir haben einen kleinen Bug in unserer Forensoftware, der die Links manchmal auch für uns Moderatoren unsichtbar macht. Grüße, psp
__________________
JD Supporter, Plugin Dev. & Community Manager
Erste Schritte & Tutorials || JDownloader 2 Setup Download |
#13
|
|||
|
|||
Danke erstmal!
Ich widme mich dem Thema evtl nochmal. Ich hab mich da schon einglesen... Ich hab momentan wieder neue, andere Probleme. Es gibt gerade ne Webseite die sperrt wohl IPs für ne Zeit, wenn man zu viel läd. Ich sammel halt Bilder und lade viel runter und sortier dann auf der Platte aus. Der JD kann ja bei Fotoalben ca 200-300 Bilder pro Minute runterladen. Da gibts wohl Algorithmen die da dann ne kurze Sperre reinmachen. Ich hab ein VPN. Nach einigen Bildern kommt im JD: hoster nicht erreichbar. Im Browser gehts auch nicht. Über nen Proxy und über TOR ist die Seite aber weiterhin erreichbar. Dh sie ist online, nimmt aber meine IP nicht mehr an. Wechsel ich den VPN Server gehts dann nämlich wieder weiter und dann wieder nach ein par Bildern das gleiche Problem. Schon hundet mal jetzt gemacht das ganze. Kann man das irgendwie umgehen? Vielleicht die Ports ändern? Die Plugins zu ändern bringt auch nichts. Danke erst mal..... |
#14
|
||||
|
||||
__________________
JD Supporter, Plugin Dev. & Community Manager
Erste Schritte & Tutorials || JDownloader 2 Setup Download |
Thread Tools | |
Display Modes | |
|
|