JDownloader Community - Appwork GmbH
 

Reply
 
Thread Tools Display Modes
  #1  
Old 03.07.2016, 03:26
wavemop wavemop is offline
Modem User
 
Join Date: Jul 2016
Location: Germany
Posts: 4
Default zufügen von einfachen Dateilinks über die Zwischenablage-Überwachung

Hallo,

vorab erst mal Vielen Dank für die tolle Arbeit die Ihr alle seit Jahren an diesem Tool leistet !
Ich habe ein Problem dass ich schon lange mit mir rumschleppe und jetzt bräuchte ich da echt langsam mal ne Lösung für.

Folgendes Problem das ich grundsätzlich habe -> hier anhand eine Beispiels :

z.B: liege auf der Seite der Nasa einfache Links die direkt zu einer Musikdatei verweisen
die ebenfalls auf der Seite liegen - so wie hier zu sehen:

**External links are only visible to Support Staff****External links are only visible to Support Staff**

Die Links zu den Musikdateien sind auf eben dieser Seite untereinander gelistet:

Discovery - APU shutdown -> **External links are only visible to Support Staff****External links are only visible to Support Staff**
Discovery - Computers are in control -> **External links are only visible to Support Staff****External links are only visible to Support Staff**

usw.

Wie bekomme ich es hin das ich den Link der Index-Adresse ganz oben per STG+C in die Zwischenablage kopiere und per aktivierter Zwischenablage-Überwachung sämtliche
Inhalte der Seite inkl. der enthaltenen mp3-Dateien in die Vorauswahl in den Linksammler bekomme ?

Im Endeffekt möchte ich mit so wenig Aufwand wie möglich so viel wie möglich Inhalte extrahieren um sie im Anschluß im Linksammler zu filtern und auszuwählen...

alles andere (dlc,clickandload etc.) klappt ansonsten wunderbar.
Reply With Quote
  #2  
Old 04.07.2016, 11:18
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 76,793
Default

Für die nasa Seite benötigt JDownloader ein Plugin, da die Inhalte via Javascript nachgeladen werden


für andere Websiten geht es evtl über einfache Linkcrawler Regeln(siehe Suche)
__________________
JD-Dev & Server-Admin
Reply With Quote
  #3  
Old 16.07.2016, 15:31
blacksun blacksun is offline
JD Legend
 
Join Date: Mar 2009
Location: Schwaben
Posts: 1,340
Default

Quote:
Originally Posted by wavemop View Post
...
Folgendes Problem das ich grundsätzlich habe -> hier anhand eine Beispiels :

z.B: liege auf der Seite der Nasa einfache Links die direkt zu einer Musikdatei verweisen
die ebenfalls auf der Seite liegen - so wie hier zu sehen:

Wie bekomme ich es hin das ich den Link der Index-Adresse ganz oben per STG+C in die Zwischenablage kopiere und per aktivierter Zwischenablage-Überwachung sämtliche
Inhalte der Seite inkl. der enthaltenen mp3-Dateien in die Vorauswahl in den Linksammler bekomme ?

Im Endeffekt möchte ich mit so wenig Aufwand wie möglich so viel wie möglich Inhalte extrahieren um sie im Anschluß im Linksammler zu filtern und auszuwählen...
es wird demnächst vermutlich zwar ein Plugin für die Nasa-Seite geben, aber die nasa war wohl nur ein Beispiel. Du suchst denke ich nach einer Lösung die auf verschiedenen Seiten funktioniert.
Schau Dir doch mal ein Browser-Addon wie diese hier an was ich auf die Schnelle gefunden habe:
https://addons.mozilla.org/en-us/fir...n/link-gopher/
Das ist einzig und allein genau dafür da für das was Du suchst, also alle Links aus einer Seite als "echte" Links anzuzeigen. Ein Browser-Addon ist insofern ein gute Idee für sowas da im Browser die Links auch funktionieren müssen wenn man draufklickt. Daher sollte es wie eben durch ein Addon fast immer eine Möglichkeit geben das auf einen Schlag für alle Links zu machen.

Für die Beispiel-Nasa-Seite funktioniert das wunderbar. Index-Seite aufrufen, auf Addon-Symbol (musst Du selbst in einer Deiner Symbolleisten noch hinzufügen) klicken, Links von dem neu öffnendem Tab in die Zwischenablage kopieren und der Rest macht dann der JD.

Eine andere Möglichkeit sind irgendwelche SEO-Tools, also Tools die von Website-Entwicklern genutzt werden. Beim Webdesign gibt es auch den Bedarf dass man alle Link überprüft ob sie funktionieren. Sprich so ein Tool muss auch allen Links nachgehen können.

EDIT:
zu dem Thema "Linkcrawler-Regeln" was Jiaz angesprochen hat, schau Dir doch mal das hier an
https://board.jdownloader.org/showthread.php?t=69752
Das ist ein ganz ähnliches Thema das ich auch habe, also dass ich Links von Seiten, für die es kein Plugin gibt, möglichst bequem in den Linkgrabber bekomme
__________________
--
Viele Grüße

BlackSun

Last edited by blacksun; 16.07.2016 at 15:43.
Reply With Quote
  #4  
Old 01.08.2016, 06:32
wavemop wavemop is offline
Modem User
 
Join Date: Jul 2016
Location: Germany
Posts: 4
Thumbs up

Erstmal vielen Dank für deine ausführlichen Beschreibungen.

Das Beispiel mit der Nasa war noch ein recht einfaches da hier alle Links offen auf der Seite stehen.
Interessanter wird es ja bei Seiten auf denen die Quellen in Javascripts verschachtelt werden.
Die kann ich zwar über die Browser Konsole oder Firebug und dgl. raus finden aber das ist dann
doch schon recht nervig.

Wirklich cool wäre es einfach wenn ich JD in einen Modus schalten könnte in
dem er jeden Pfad auf der Seite (also auch alle Javascripte) konsequent zum Ende verfolgt.
Meinetwegen mit einstellbarer Rekursionstiefe. Dass das je nachdem wie tief man gräbt sehr Lange dauern kann ist klar.
Da man hier nicht wie bei Ozeanen, Schaden anrichten kann, fände ich die Möglichkeit zunächst alles per Schleppnetz abzufischen, anschließen den Fang sortiert aufs Deck zu legen um dann auszusortieren echt hervorragend.

"Link Gopher" hab ich schon unlängst in Arbeit und hat mir hin und wieder auch schon helfen können, erkennt aber meist nur einfache Website-Strukturen.

In die Linkcrawler-Regeln werde ich mich aber trotzdem noch einmal einlesen ich befürchte nur dass
mein Ansatz damit nicht realisierbar ist. Diese haben wohl mehr die Aufgabe zu nur bestimmte Pfade entsprechend der Regel zu verfolgen.

Ich hatte mal unter Linux ein Java-Tool dass hat wirklich nahezu alles gefunden - ich weiß nur nicht mehr wie es hieß .... "XKeyscore" vielleicht

Last edited by wavemop; 04.08.2016 at 21:42. Reason: Wort fehlte...
Reply With Quote
  #5  
Old 01.08.2016, 16:03
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 76,793
Default

Mittels LinkCrawler Regeln kannst du das automatisierte Folgen/Parsen/Umschreiben realisieren und dabei die entsprechende Tiefe selbst einstellen. Jedoch evaluiert der JDownloader keinerlei Javascript, sprich es können nur Links gefolgt werden welche so im Quellcode auftauchen. On-the-fly generierte Links können somit nicht gefolgt werden.

Für Seiten welche das ganze via Javascript/XY lösen wird weiterhin ein Plugin nötig sein
__________________
JD-Dev & Server-Admin
Reply With Quote
  #6  
Old 04.08.2016, 21:57
wavemop wavemop is offline
Modem User
 
Join Date: Jul 2016
Location: Germany
Posts: 4
Default

Verstanden, so ist das !
Wenns kein universelles Javascript-Plugin geben wird dann wird man also
für jede Seite die man neu entdeckt erst ein Anfrage beim Entwickler machen müssen um
ein angepasstes Plugin zu konfigurieren. Das hab ich richtig verstanden oder ?
Naja wenns nicht anders geht...
Reply With Quote
  #7  
Old 05.08.2016, 10:14
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 76,793
Default

Genau, denn ein Script/Plugin was einfach mal alle Links/Buttons drückt willst du ja auch nicht (zack ein Abo abgeschlossen, zack nen Post auf Facebook gemacht, usw....)
__________________
JD-Dev & Server-Admin
Reply With Quote
  #8  
Old 09.08.2016, 17:16
wavemop wavemop is offline
Modem User
 
Join Date: Jul 2016
Location: Germany
Posts: 4
Default

Völlig richtig, das will ich nicht!

Also ein wenig differenzieren wird man da tatsächlich müssen - auch wenn ich kein fb etc nutze und
mich auch sonnst immer aus aktiven Logins ausloggen würde (...dann wären doch keine Käufe und Posts mehr möglich).
Aber begriffen hab ich dich schon.

Vielleicht könnte man ein solches "Bastel-Plugin" trotzdem eigenverantwortlich ausprobieren, praktisch als
separaten Dateidownload den man unter cfg /plugins hinzufügt.

Wäre die Arbeit für ein solches Plugin sehr aufwändig?

Du merkst ich gebe noch nicht auf, muhahahahaharrrrrrr.
Reply With Quote
  #9  
Old 09.08.2016, 17:28
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 76,793
Default

Ja, wäre es, da eine komplette Browserumgebung notwendig wäre, wenn man das ganze im JDownloader machen möchte. Daher wäre eine Erweiterung für den Browser sinnvoller
__________________
JD-Dev & Server-Admin
Reply With Quote
  #10  
Old 10.08.2016, 18:13
pspzockerscene's Avatar
pspzockerscene pspzockerscene is offline
Community Manager
 
Join Date: Mar 2009
Location: Deutschland
Posts: 62,518
Default

Ich erachte ein Plugin für diese Seite nicht als sinnvoll, da es vermutlich nicht mehr als einen User haben wird.
Ich empfehle dir dafür sowas wie Flashgot was die Streams beim Abspielen/Buffern erkennt - das funktioniert dann auch für andere Seiten nur eben niemals zu 100% automatisiert.

Grüße, psp
__________________
JD Supporter, Plugin Dev. & Community Manager
JDownloader 2 Setup Download
Spoiler:

A users' JD crashes and the first thing to ask is:
Quote:
Originally Posted by Jiaz View Post
Do you have Nero installed?
That's true James
Quote:
Originally Posted by James
Die Leute verstehen einfach nicht dass nur weil man mit einer Waffe auch auf Menschen schießen kann dass ein Schützenver​ein kein Ort für Amoklaufide​en ist
Reply With Quote
Reply

Thread Tools
Display Modes

Posting Rules
You may not post new threads
You may not post replies
You may not post attachments
You may not edit your posts

BB code is On
Smilies are On
[IMG] code is On
HTML code is Off

Forum Jump

All times are GMT +2. The time now is 10:36.
Provided By AppWork GmbH | Privacy | Imprint
Parts of the Design are used from Kirsch designed by Andrew & Austin
Powered by vBulletin® Version 3.8.10 Beta 1
Copyright ©2000 - 2022, Jelsoft Enterprises Ltd.