[wavemop]

Hallo,

vorab erst mal Vielen Dank für die tolle Arbeit die Ihr alle seit Jahren an diesem Tool leistet !
Ich habe ein Problem dass ich schon lange mit mir rumschleppe und jetzt bräuchte ich da echt langsam mal ne Lösung für.

Folgendes Problem das ich grundsätzlich habe -> hier anhand eine Beispiels :

z.B: liege auf der Seite der Nasa einfache Links die direkt zu einer Musikdatei verweisen
die ebenfalls auf der Seite liegen - so wie hier zu sehen:

**External links are only visible to Support Staff****External links are only visible to Support Staff**

Die Links zu den Musikdateien sind auf eben dieser Seite untereinander gelistet:

Discovery - APU shutdown -> **External links are only visible to Support Staff****External links are only visible to Support Staff**
Discovery - Computers are in control -> **External links are only visible to Support Staff****External links are only visible to Support Staff**

usw.

Wie bekomme ich es hin das ich den Link der Index-Adresse ganz oben per STG+C in die Zwischenablage kopiere und per aktivierter Zwischenablage-Überwachung sämtliche
Inhalte der Seite inkl. der enthaltenen mp3-Dateien in die Vorauswahl in den Linksammler bekomme ?

Im Endeffekt möchte ich mit so wenig Aufwand wie möglich so viel wie möglich Inhalte extrahieren um sie im Anschluß im Linksammler zu filtern und auszuwählen...

alles andere (dlc,clickandload etc.) klappt ansonsten wunderbar.

[Jiaz]

Für die nasa Seite benötigt JDownloader ein Plugin, da die Inhalte via Javascript nachgeladen werden


für andere Websiten geht es evtl über einfache Linkcrawler Regeln(siehe Suche)

[blacksun]

Originally Posted by wavemop

...
Folgendes Problem das ich grundsätzlich habe -> hier anhand eine Beispiels :

z.B: liege auf der Seite der Nasa einfache Links die direkt zu einer Musikdatei verweisen
die ebenfalls auf der Seite liegen - so wie hier zu sehen:

Wie bekomme ich es hin das ich den Link der Index-Adresse ganz oben per STG+C in die Zwischenablage kopiere und per aktivierter Zwischenablage-Überwachung sämtliche
Inhalte der Seite inkl. der enthaltenen mp3-Dateien in die Vorauswahl in den Linksammler bekomme ?

Im Endeffekt möchte ich mit so wenig Aufwand wie möglich so viel wie möglich Inhalte extrahieren um sie im Anschluß im Linksammler zu filtern und auszuwählen...

es wird demnächst vermutlich zwar ein Plugin für die Nasa-Seite geben, aber die nasa war wohl nur ein Beispiel. Du suchst denke ich nach einer Lösung die auf verschiedenen Seiten funktioniert.
Schau Dir doch mal ein Browser-Addon wie diese hier an was ich auf die Schnelle gefunden habe:
https://addons.mozilla.org/en-us/fir...n/link-gopher/
Das ist einzig und allein genau dafür da für das was Du suchst, also alle Links aus einer Seite als "echte" Links anzuzeigen. Ein Browser-Addon ist insofern ein gute Idee für sowas da im Browser die Links auch funktionieren müssen wenn man draufklickt. Daher sollte es wie eben durch ein Addon fast immer eine Möglichkeit geben das auf einen Schlag für alle Links zu machen.

Für die Beispiel-Nasa-Seite funktioniert das wunderbar. Index-Seite aufrufen, auf Addon-Symbol (musst Du selbst in einer Deiner Symbolleisten noch hinzufügen) klicken, Links von dem neu öffnendem Tab in die Zwischenablage kopieren und der Rest macht dann der JD.

Eine andere Möglichkeit sind irgendwelche SEO-Tools, also Tools die von Website-Entwicklern genutzt werden. Beim Webdesign gibt es auch den Bedarf dass man alle Link überprüft ob sie funktionieren. Sprich so ein Tool muss auch allen Links nachgehen können.

EDIT:
zu dem Thema "Linkcrawler-Regeln" was Jiaz angesprochen hat, schau Dir doch mal das hier an
https://board.jdownloader.org/showthread.php?t=69752
Das ist ein ganz ähnliches Thema das ich auch habe, also dass ich Links von Seiten, für die es kein Plugin gibt, möglichst bequem in den Linkgrabber bekomme

[wavemop]

Erstmal vielen Dank für deine ausführlichen Beschreibungen.

Das Beispiel mit der Nasa war noch ein recht einfaches da hier alle Links offen auf der Seite stehen.
Interessanter wird es ja bei Seiten auf denen die Quellen in Javascripts verschachtelt werden.
Die kann ich zwar über die Browser Konsole oder Firebug und dgl. raus finden aber das ist dann
doch schon recht nervig.

Wirklich cool wäre es einfach wenn ich JD in einen Modus schalten könnte in
dem er jeden Pfad auf der Seite (also auch alle Javascripte) konsequent zum Ende verfolgt.
Meinetwegen mit einstellbarer Rekursionstiefe. Dass das je nachdem wie tief man gräbt sehr Lange dauern kann ist klar.
Da man hier nicht wie bei Ozeanen, Schaden anrichten kann, fände ich die Möglichkeit zunächst alles per Schleppnetz abzufischen, anschließen den Fang sortiert aufs Deck zu legen um dann auszusortieren echt hervorragend.

"Link Gopher" hab ich schon unlängst in Arbeit und hat mir hin und wieder auch schon helfen können, erkennt aber meist nur einfache Website-Strukturen.

In die Linkcrawler-Regeln werde ich mich aber trotzdem noch einmal einlesen ich befürchte nur dass
mein Ansatz damit nicht realisierbar ist. Diese haben wohl mehr die Aufgabe zu nur bestimmte Pfade entsprechend der Regel zu verfolgen.

Ich hatte mal unter Linux ein Java-Tool dass hat wirklich nahezu alles gefunden - ich weiß nur nicht mehr wie es hieß .... "XKeyscore" vielleicht

[Jiaz]

Mittels LinkCrawler Regeln kannst du das automatisierte Folgen/Parsen/Umschreiben realisieren und dabei die entsprechende Tiefe selbst einstellen. Jedoch evaluiert der JDownloader keinerlei Javascript, sprich es können nur Links gefolgt werden welche so im Quellcode auftauchen. On-the-fly generierte Links können somit nicht gefolgt werden.

Für Seiten welche das ganze via Javascript/XY lösen wird weiterhin ein Plugin nötig sein

[wavemop]

Verstanden, so ist das !
Wenns kein universelles Javascript-Plugin geben wird dann wird man also
für jede Seite die man neu entdeckt erst ein Anfrage beim Entwickler machen müssen um
ein angepasstes Plugin zu konfigurieren. Das hab ich richtig verstanden oder ?
Naja wenns nicht anders geht...

[Jiaz]

Genau, denn ein Script/Plugin was einfach mal alle Links/Buttons drückt willst du ja auch nicht (zack ein Abo abgeschlossen, zack nen Post auf Facebook gemacht, usw....)

[wavemop]

Völlig richtig, das will ich nicht!

Also ein wenig differenzieren wird man da tatsächlich müssen - auch wenn ich kein fb etc nutze und
mich auch sonnst immer aus aktiven Logins ausloggen würde (...dann wären doch keine Käufe und Posts mehr möglich).
Aber begriffen hab ich dich schon.

Vielleicht könnte man ein solches "Bastel-Plugin" trotzdem eigenverantwortlich ausprobieren, praktisch als
separaten Dateidownload den man unter cfg /plugins hinzufügt.

Wäre die Arbeit für ein solches Plugin sehr aufwändig?

Du merkst ich gebe noch nicht auf, muhahahahaharrrrrrr.

[Jiaz]

Ja, wäre es, da eine komplette Browserumgebung notwendig wäre, wenn man das ganze im JDownloader machen möchte. Daher wäre eine Erweiterung für den Browser sinnvoller

[pspzockerscene]

Ich erachte ein Plugin für diese Seite nicht als sinnvoll, da es vermutlich nicht mehr als einen User haben wird.
Ich empfehle dir dafür sowas wie Flashgot was die Streams beim Abspielen/Buffern erkennt - das funktioniert dann auch für andere Seiten nur eben niemals zu 100% automatisiert.

Grüße, psp