[smilies]

Originally Posted by Jiaz

@smilies: Funktionierte nicht ein einziges Mal in meinen Tests. egal ob watch/embed, es kommt direkt beim 2ten Video/Aufruf der *Bitte Kaufen* Button.

Genau, beim zweiten Mal. (Oder beim fünften, wenn man schnell klickt.) Mindestens das erste Video könnte man aber laden.

Und bei den nächsten Videos wenn dieser Button kommt könnte JDownloader den Router reconnecten (Download vom ersten Video geht danach auch) oder die nächste Proxy verwenden.

[Jiaz]

Klappt der Download denn komplett? Oder lädt der auch nur die *freien 60 Sekunden*?

[smilies]

Der Download klappt komplett.

[Jiaz]

Danke für die Rückmeldung. Ich hab das Ticket mal aktuallisiert. Kannst du noch evtl prüfen ob das Anschauen alleins schon das Limit triggert oder auch schon der Webseiten aufruf ohne Video Play klicken? Zwecks nötiger Änderung im Linkchecker

[smilies]

Schon der Aufruf der Webseiten triggert das Limit.

Der HTML-Code von /embed/.../ enthält z.B.

<script> var id = "..."; </script>

aber nur bei den ersten ein bis vier Seiten (je nachdem wie schnell man sie aufruft). Danach kommt "Limit erreicht".

Diese ID kann man dann auch von anderer IP-Adresse zum laden der videos verwenden. Um IDs für weitere videos zu bekommen braucht man eine neue IP-Adresse. Deswegen kann man mehrmals reconnecten um IDs zu sammeln, und dann alle Videos gleichzeitig laden.

[Jiaz]

Sprich die id bleibt für das gleiche Video *gleich* und kann zum (weiter)laden genutzt werden?
Dann könnte ich da im Plugin etwas umbauen

[smilies]

Originally Posted by Jiaz

Sprich die id bleibt für das gleiche Video *gleich* und kann zum (weiter)laden genutzt werden?

Ja.

[Jiaz]

Danke. Und hast du mal geprüft ob der Download eines Videos, via ID, dann auch das Limit triggert? also der Download selbst, oder nur der Besuch der Webseite wo das Video eingebettet ist?

[smilies]

Originally Posted by Jiaz

Danke. Und hast du mal geprüft ob der Download eines Videos, via ID, dann auch das Limit triggert? also der Download selbst, oder nur der Besuch der Webseite wo das Video eingebettet ist?

Nur der Besuch der Webseite triggert das Limit. Der Download selbst triggert das Limit nicht.

[Jiaz]

Danke für dein Feedback!

[smilies]

Gern geschehen, ich hoffe, dass es etwas nützt. Es wäre nämlich gut, die Zeit noch zu nutzen, in der diese Seite vergleichsweise einfach zu crawlen ist ("video" durch "embed" ersetzen, id parsen, rec-tube.com/file/id/ runterladen). Ist das geplant?

[pspzockerscene]

Hallo smilies,

1. Der "embed Trick" scheint hier nicht zu funktionieren.

2. Diese Webseite verwendet Cloudflare (Thread bitte vollständig LESEN).
Selbst wenn die Seite sehr einfach zu parsen wäre gilt hier also:
Der Bugfix würde dir nichts bringen, da JD nicht durch Cloudflare kommt.

... daher wird hier erstmal gar nichts passieren.

Grüße, psp
EDIT

Aufgrund der beschriebenen Lage empfehle ich, zum Download von Inhalten dieser Webseite Browser-Addons wie z.B. "Video DownloadHelper" zu verwenden.

[Amiganer]

Hallo.

Das mit dem Cloudflare ist mist zum downloaden, das stimmt, darum möchte ich hier einen anderen Ansatz schildern, wie ich ihn verwende.

Die Links zum Downloaden haben bestimmt ein Muster, dieses zu einem Regex Ausdruck machen.

Ich mache das so: Die Seite als HTML abspeichern, dann ein kleines Python-Script das mit genau das Muster raussucht udn dann auch schon in eine crawljob-Datei reinschreibt und fertig.
Dann ist es auch möglich, eine "Suchseite" die die ganzen Doenload-Links enthält zu durchsuchen.

Achtung: Die crawjob-Datei lieben nicht im "Folderwatch" erzeugen! Wenn sie nämlich länger ist und JD sich die Datei holt, während sie noch geschrieben wird, gehen Links verloren. Lieber nachträgliche in den folderwatch kopieren.

Hoffe, das hilft ein wenig....

Bye, Christian

[pspzockerscene]

@Amiganer
Ja Cloudflare ist zu einem echten Problem gworden seit der letzten Änderung von denen.
... also versteh' mich bitte nicht falsch ich habe mir deine anfrage nochmals angeschaut - das mit Cloudflare ist keine ausrede - als du deine anfrage gestellt hattest, war Cloudflare noch kein Problem!

Dei Ansatz ist nicht verkehrt.
Wenn du es perfekt machen wollen würdest, würdest du evtl. ein kleines Browser Addon oder ein greasemonkey Script schreiben, das die direktlinks einfach an JD schickt (myjd API), wenn du dich auf dieser Seite befindest.

Ansonsten darfst du deine Lösung(Quellcode) hier gerne verlinken.

Grüße, psp

[Amiganer]

Ich verwende Python 3.8:

def extract_links(frompathfilename, savepathfilename, pattern=PATTERN, pretext=PRETEXT):
    with open(frompathfilename, "rt", encoding="utf-8") as readfp,\
         open(savepathfilename, "wt", encoding="utf-8") as writefp:
        
        if not(pretext is None):
            writefp.write(pretext)
        
        for line in readfp:
            for muster in pattern:
                ergebnis = muster.search(line)
                while ergebnis:
                    string = ergebnis.groupdict()["link"]+" "
                    writefp.write(string)
                    print(string)
                    line = muster.sub("", line, count=1)
                    ergebnis = muster.search(line)

PATTERN: ist eine Liste von compilierten regex Beispiel:

PATTERN=[ re.compile('"**External links are only visible to Support Staff**', re.I),
re.compile('"**External links are only visible to Support Staff**', re.I ]

PRETEXT: ist das Pattern für den crawljob, Beispiel:

PRETEXT = "\n".join([
    "chunks=0",
    "autoConfirm=true",
    "autoStart=true",
    "deepAnalyseEnabled=true",
    "enabled=true",
    "extractAfterDownload=false",
    "forcedStart=true",
    "#priority=HIGHEST",
    "#",
    "# Links",
    "#",
    "packageName=Downloads",
]) + "\ntext="

Bye, Christian

[pspzockerscene]

Nice!
Ich habe das mal auf pastebin hochgeladen, da alles was mit dem vollständigen "http" Protokoll anfängt hier (aus Gründen) zensiert wird:
pastebin.com/GN0FAMDE

Das ist jetzt kein riesen Projekt, aber sofern du Veränderungen daran vornimmst könntest du dir überlegen, es zB auf github zu posten - vielleicht interessieren sich andere User auch für dieses Workaround

Grüße, psp
EDIT

Bitte nicht wundern - ich habe die Prio unseres rec-tube Tickets auf "Low" gesetzt, da wir aktuell eh nicht daran arbeiten können ...

[smilies]

Könnte man rec-tube.com/ erst per Hand im Browser öffnen (beim ersten Aufruf passiert der sichtbare Cloudflare-Check) und dann den Cookie aus dem Browser nach JD übernehmen, damit Cloudflare den JDownloader beim weiteren Crawlen für den Browser hält? Oder könnte JD den Browser bedienen, wie er das beim CAPTCHA-Lösen auch tut?

@psp: Der "embed-Trick" geht bei mir, habs gerade wieder mit Erfolg durchgeführt. Welcher Schritt genau klappt bei dir nicht und mit welchem Fehler?

Der Python-Code von Amiganer scheint nicht die Cloudflare- und rec-tube-Problematik zu lösen, oder?

[Jiaz]

@smilies: Das mit den Cookies funktioniert so nicht, da die Cookies ja nen Fingerprint darstellen, nicht nur des Browsers sondern auch der genutzten HTTP Version samt HTTPs Optionen(TLS Version,Cipher...) Das Python Skript durchsicht ja lediglich nen Stück HTML nach Links (also was JDownloader ja auch macht) und holt den Link raus und gibt ihn an JDownloader. Sobald du den Html Code hast kannst auch gleich die HTML Datei/Quellcode im JDownloader einfügen und er sollte den gewünschten Link finden, dazu braucht es kein externes Tool/Skript