JDownloader Community - Appwork GmbH
 

Reply
 
Thread Tools Display Modes
  #41  
Old 18.09.2019, 21:23
smilies smilies is offline
JD Alpha
 
Join Date: Jan 2019
Posts: 23
Default

Quote:
Originally Posted by Jiaz View Post
@smilies: Funktionierte nicht ein einziges Mal in meinen Tests. egal ob watch/embed, es kommt direkt beim 2ten Video/Aufruf der *Bitte Kaufen* Button.
Genau, beim zweiten Mal. (Oder beim fünften, wenn man schnell klickt.) Mindestens das erste Video könnte man aber laden.

Und bei den nächsten Videos wenn dieser Button kommt könnte JDownloader den Router reconnecten (Download vom ersten Video geht danach auch) oder die nächste Proxy verwenden.
Reply With Quote
  #42  
Old 19.09.2019, 12:52
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 79,232
Default

Klappt der Download denn komplett? Oder lädt der auch nur die *freien 60 Sekunden*?
__________________
JD-Dev & Server-Admin
Reply With Quote
  #43  
Old 03.10.2019, 23:45
smilies smilies is offline
JD Alpha
 
Join Date: Jan 2019
Posts: 23
Default

Der Download klappt komplett.
Reply With Quote
  #44  
Old 07.10.2019, 19:12
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 79,232
Default

Danke für die Rückmeldung. Ich hab das Ticket mal aktuallisiert. Kannst du noch evtl prüfen ob das Anschauen alleins schon das Limit triggert oder auch schon der Webseiten aufruf ohne Video Play klicken? Zwecks nötiger Änderung im Linkchecker
__________________
JD-Dev & Server-Admin
Reply With Quote
  #45  
Old 10.10.2019, 00:16
smilies smilies is offline
JD Alpha
 
Join Date: Jan 2019
Posts: 23
Default

Schon der Aufruf der Webseiten triggert das Limit.

Der HTML-Code von /embed/.../ enthält z.B.
HTML Code:
<script> var id = "..."; </script>
aber nur bei den ersten ein bis vier Seiten (je nachdem wie schnell man sie aufruft). Danach kommt "Limit erreicht".

Diese ID kann man dann auch von anderer IP-Adresse zum laden der videos verwenden. Um IDs für weitere videos zu bekommen braucht man eine neue IP-Adresse. Deswegen kann man mehrmals reconnecten um IDs zu sammeln, und dann alle Videos gleichzeitig laden.
Reply With Quote
  #46  
Old 10.10.2019, 17:09
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 79,232
Default

Sprich die id bleibt für das gleiche Video *gleich* und kann zum (weiter)laden genutzt werden?
Dann könnte ich da im Plugin etwas umbauen
__________________
JD-Dev & Server-Admin
Reply With Quote
  #47  
Old 16.10.2019, 00:11
smilies smilies is offline
JD Alpha
 
Join Date: Jan 2019
Posts: 23
Default

Quote:
Originally Posted by Jiaz View Post
Sprich die id bleibt für das gleiche Video *gleich* und kann zum (weiter)laden genutzt werden?
Ja.
Reply With Quote
  #48  
Old 16.10.2019, 13:04
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 79,232
Default

Danke. Und hast du mal geprüft ob der Download eines Videos, via ID, dann auch das Limit triggert? also der Download selbst, oder nur der Besuch der Webseite wo das Video eingebettet ist?
__________________
JD-Dev & Server-Admin
Reply With Quote
  #49  
Old 19.10.2019, 16:28
smilies smilies is offline
JD Alpha
 
Join Date: Jan 2019
Posts: 23
Default

Quote:
Originally Posted by Jiaz View Post
Danke. Und hast du mal geprüft ob der Download eines Videos, via ID, dann auch das Limit triggert? also der Download selbst, oder nur der Besuch der Webseite wo das Video eingebettet ist?
Nur der Besuch der Webseite triggert das Limit. Der Download selbst triggert das Limit nicht.
Reply With Quote
  #50  
Old 22.10.2019, 19:29
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 79,232
Default

Danke für dein Feedback!
__________________
JD-Dev & Server-Admin
Reply With Quote
  #51  
Old 19.06.2020, 19:21
smilies smilies is offline
JD Alpha
 
Join Date: Jan 2019
Posts: 23
Default

Gern geschehen, ich hoffe, dass es etwas nützt. Es wäre nämlich gut, die Zeit noch zu nutzen, in der diese Seite vergleichsweise einfach zu crawlen ist ("video" durch "embed" ersetzen, id parsen, rec-tube.com/file/id/ runterladen). Ist das geplant?
Reply With Quote
  #52  
Old 22.06.2020, 15:41
pspzockerscene's Avatar
pspzockerscene pspzockerscene is offline
Community Manager
 
Join Date: Mar 2009
Location: Deutschland
Posts: 71,044
Default

Hallo smilies,

1. Der "embed Trick" scheint hier nicht zu funktionieren.

2. Diese Webseite verwendet Cloudflare (Thread bitte vollständig LESEN).
Selbst wenn die Seite sehr einfach zu parsen wäre gilt hier also:
Der Bugfix würde dir nichts bringen, da JD nicht durch Cloudflare kommt.

... daher wird hier erstmal gar nichts passieren.

Grüße, psp
EDIT

Aufgrund der beschriebenen Lage empfehle ich, zum Download von Inhalten dieser Webseite Browser-Addons wie z.B. "Video DownloadHelper" zu verwenden.
__________________
JD Supporter, Plugin Dev. & Community Manager

Erste Schritte & Tutorials || JDownloader 2 Setup Download
Spoiler:

A users' JD crashes and the first thing to ask is:
Quote:
Originally Posted by Jiaz View Post
Do you have Nero installed?
Reply With Quote
  #53  
Old 25.06.2020, 15:52
Amiganer Amiganer is offline
JD Fan
 
Join Date: Mar 2019
Posts: 72
Default Anderer Ansatz

Hallo.

Das mit dem Cloudflare ist mist zum downloaden, das stimmt, darum möchte ich hier einen anderen Ansatz schildern, wie ich ihn verwende.

Die Links zum Downloaden haben bestimmt ein Muster, dieses zu einem Regex Ausdruck machen.

Ich mache das so: Die Seite als HTML abspeichern, dann ein kleines Python-Script das mit genau das Muster raussucht udn dann auch schon in eine crawljob-Datei reinschreibt und fertig.
Dann ist es auch möglich, eine "Suchseite" die die ganzen Doenload-Links enthält zu durchsuchen.

Achtung: Die crawjob-Datei lieben nicht im "Folderwatch" erzeugen! Wenn sie nämlich länger ist und JD sich die Datei holt, während sie noch geschrieben wird, gehen Links verloren. Lieber nachträgliche in den folderwatch kopieren.

Hoffe, das hilft ein wenig....

Bye, Christian
Reply With Quote
  #54  
Old 25.06.2020, 15:59
pspzockerscene's Avatar
pspzockerscene pspzockerscene is offline
Community Manager
 
Join Date: Mar 2009
Location: Deutschland
Posts: 71,044
Default

@Amiganer
Ja Cloudflare ist zu einem echten Problem gworden seit der letzten Änderung von denen.
... also versteh' mich bitte nicht falsch ich habe mir deine anfrage nochmals angeschaut - das mit Cloudflare ist keine ausrede - als du deine anfrage gestellt hattest, war Cloudflare noch kein Problem!

Dei Ansatz ist nicht verkehrt.
Wenn du es perfekt machen wollen würdest, würdest du evtl. ein kleines Browser Addon oder ein greasemonkey Script schreiben, das die direktlinks einfach an JD schickt (myjd API), wenn du dich auf dieser Seite befindest.

Ansonsten darfst du deine Lösung(Quellcode) hier gerne verlinken.

Grüße, psp
__________________
JD Supporter, Plugin Dev. & Community Manager

Erste Schritte & Tutorials || JDownloader 2 Setup Download
Spoiler:

A users' JD crashes and the first thing to ask is:
Quote:
Originally Posted by Jiaz View Post
Do you have Nero installed?
Reply With Quote
  #55  
Old 02.07.2020, 10:50
Amiganer Amiganer is offline
JD Fan
 
Join Date: Mar 2019
Posts: 72
Default Mein Linksammler script

Ich verwende Python 3.8:

Code:
def extract_links(frompathfilename, savepathfilename, pattern=PATTERN, pretext=PRETEXT):
    with open(frompathfilename, "rt", encoding="utf-8") as readfp,\
         open(savepathfilename, "wt", encoding="utf-8") as writefp:
        
        if not(pretext is None):
            writefp.write(pretext)
        
        for line in readfp:
            for muster in pattern:
                ergebnis = muster.search(line)
                while ergebnis:
                    string = ergebnis.groupdict()["link"]+" "
                    writefp.write(string)
                    print(string)
                    line = muster.sub("", line, count=1)
                    ergebnis = muster.search(line)
PATTERN: ist eine Liste von compilierten regex Beispiel:
Code:
PATTERN=[ re.compile('"**External links are only visible to Support Staff**', re.I),
re.compile('"**External links are only visible to Support Staff**', re.I ]
PRETEXT: ist das Pattern für den crawljob, Beispiel:
Code:
PRETEXT = "\n".join([
    "chunks=0",
    "autoConfirm=true",
    "autoStart=true",
    "deepAnalyseEnabled=true",
    "enabled=true",
    "extractAfterDownload=false",
    "forcedStart=true",
    "#priority=HIGHEST",
    "#",
    "# Links",
    "#",
    "packageName=Downloads",
]) + "\ntext="
Bye, Christian
Reply With Quote
  #56  
Old 02.07.2020, 14:23
pspzockerscene's Avatar
pspzockerscene pspzockerscene is offline
Community Manager
 
Join Date: Mar 2009
Location: Deutschland
Posts: 71,044
Default

Nice!
Ich habe das mal auf pastebin hochgeladen, da alles was mit dem vollständigen "http" Protokoll anfängt hier (aus Gründen) zensiert wird:
pastebin.com/GN0FAMDE

Das ist jetzt kein riesen Projekt, aber sofern du Veränderungen daran vornimmst könntest du dir überlegen, es zB auf github zu posten - vielleicht interessieren sich andere User auch für dieses Workaround

Grüße, psp
EDIT

Bitte nicht wundern - ich habe die Prio unseres rec-tube Tickets auf "Low" gesetzt, da wir aktuell eh nicht daran arbeiten können ...
__________________
JD Supporter, Plugin Dev. & Community Manager

Erste Schritte & Tutorials || JDownloader 2 Setup Download
Spoiler:

A users' JD crashes and the first thing to ask is:
Quote:
Originally Posted by Jiaz View Post
Do you have Nero installed?

Last edited by pspzockerscene; 02.07.2020 at 14:25.
Reply With Quote
  #57  
Old 29.12.2020, 01:32
smilies smilies is offline
JD Alpha
 
Join Date: Jan 2019
Posts: 23
Default

Könnte man rec-tube.com/ erst per Hand im Browser öffnen (beim ersten Aufruf passiert der sichtbare Cloudflare-Check) und dann den Cookie aus dem Browser nach JD übernehmen, damit Cloudflare den JDownloader beim weiteren Crawlen für den Browser hält? Oder könnte JD den Browser bedienen, wie er das beim CAPTCHA-Lösen auch tut?

@psp: Der "embed-Trick" geht bei mir, habs gerade wieder mit Erfolg durchgeführt. Welcher Schritt genau klappt bei dir nicht und mit welchem Fehler?

Der Python-Code von Amiganer scheint nicht die Cloudflare- und rec-tube-Problematik zu lösen, oder?

Last edited by smilies; 29.12.2020 at 01:37.
Reply With Quote
  #58  
Old 29.12.2020, 10:56
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 79,232
Default

@smilies: Das mit den Cookies funktioniert so nicht, da die Cookies ja nen Fingerprint darstellen, nicht nur des Browsers sondern auch der genutzten HTTP Version samt HTTPs Optionen(TLS Version,Cipher...) Das Python Skript durchsicht ja lediglich nen Stück HTML nach Links (also was JDownloader ja auch macht) und holt den Link raus und gibt ihn an JDownloader. Sobald du den Html Code hast kannst auch gleich die HTML Datei/Quellcode im JDownloader einfügen und er sollte den gewünschten Link finden, dazu braucht es kein externes Tool/Skript
__________________
JD-Dev & Server-Admin
Reply With Quote
Reply

Thread Tools
Display Modes

Posting Rules
You may not post new threads
You may not post replies
You may not post attachments
You may not edit your posts

BB code is On
Smilies are On
[IMG] code is On
HTML code is Off

Forum Jump

All times are GMT +2. The time now is 10:06.
Provided By AppWork GmbH | Privacy | Imprint
Parts of the Design are used from Kirsch designed by Andrew & Austin
Powered by vBulletin® Version 3.8.10 Beta 1
Copyright ©2000 - 2024, Jelsoft Enterprises Ltd.