JDownloader Community - Appwork GmbH
 

Notices

Reply
 
Thread Tools Display Modes
  #1  
Old 27.07.2022, 15:47
vbs vbs is offline
Super Loader
 
Join Date: Aug 2020
Posts: 29
Default HLS .m3u8 Links werden "verschluckt" / Proxy-Problem?

Hi,

wenn ich Videos per HLS-Link hinzufüge, dann werden die manchmal (selten) verschluckt und kommen nicht im Linkgrabber an.

Dazu zwei Theorien von mir und zwei verschiedene Probleme:

Ich verwende einen VPN-Proxy, aber die Ziel-Domain hab ich auf der No-Proxy-Whitelist. Also er sollte das eigentlich ohne Proxy machen. Aber ich sehe im Logfile "m3u8_jd.plugins.decrypter.GenericM3u8Decrypter.log.0", dass er trotzdem über den Proxy gehen will.
Also das wirkt auf mich so, als würde zumindest bei dem m3u8-Plugin die No-Proxy-Whitelist nicht greifen (Problem 1).

Das Problem ist weiterhin, dass der Proxy etwas unzuverlässig ist und dann schlägt die Verbindung manchmal fehl. Doof ist, dass dann diese Links, bei denen der Proxy Probleme gemacht hat, dann einfach gar nicht im Linkgrabber ankommen, sondern stillschweigend "verschluckt" werden (Problem 2). Ist mir bisher auch nur bei dem m3u8 aufgefallen.
Die sollten doch zumindest als fehlerhafte Links im Linkgrabber ankommen, oder?
Reply With Quote
  #2  
Old 27.07.2022, 15:54
pspzockerscene's Avatar
pspzockerscene pspzockerscene is offline
Community Manager
 
Join Date: Mar 2009
Location: Deutschland
Posts: 70,922
Default

Zu dem Proxy Problem kann ich nichts sagen.

Quote:
Originally Posted by vbs View Post
Doof ist, dass dann diese Links, bei denen der Proxy Probleme gemacht hat, dann einfach gar nicht im Linkgrabber ankommen, sondern stillschweigend "verschluckt" werden (Problem 2). Ist mir bisher auch nur bei dem m3u8 aufgefallen.
Die sollten doch zumindest als fehlerhafte Links im Linkgrabber ankommen, oder?
Jein.
Derzeit läuft es so ab, dass .m3u8 Links den Crawler durchlaufen und geparsed werden.
Klappt das Parsing aus irgendeinem Grund nicht (bei dir vermutlich sowas wie "Fehler 403 wegen GEO-block"), werden keine Ergebnisse im Linksammler angezeigt und ja das könnte man anpassen.
Bitte warte auf eine Antwort von Jiaz.

Grüße, psp
EDIT

Was ich geschrieben habe ist nicht ganz korrekt.
Es wird auf gewisse Fehlercodes geprüft und je nach Fehler bekommst du eine Meldung oder nicht.
Bitte poste mal Beispiellinks mit denen sich das Problem nachstellen lässt.
Ich kann den Crawler auch so anpassen, dass er einfach alle Links als offline ansieht bei denen nichts geparsed werden kann ich denke das würde deine Bitte umsetzen.
__________________
JD Supporter, Plugin Dev. & Community Manager

Erste Schritte & Tutorials || JDownloader 2 Setup Download
Spoiler:

A users' JD crashes and the first thing to ask is:
Quote:
Originally Posted by Jiaz View Post
Do you have Nero installed?

Last edited by pspzockerscene; 27.07.2022 at 16:00.
Reply With Quote
  #3  
Old 27.07.2022, 18:18
vbs vbs is offline
Super Loader
 
Join Date: Aug 2020
Posts: 29
Default

Quote:
Originally Posted by pspzockerscene View Post
Zu dem Proxy Problem kann ich nichts
Als Beispiel zu dem Proxy-Problem:
Wenn ich zB diesen Link nehme:
Code:
**External links are only visible to Support Staff**
Und in der "Kein Proxy" Zulässig-Liste die Domain (akamaihd.net) reinschreibe:
Code:
# Dies ist ein Kommentar
// Dies ist auch ein Kommentar
# Für jdownloader.org auskommentieren
api.jdownloader.org
update.appwork.org
akamaihd.net
Dann sehe ich im Logfile "m3u8_jd.plugins.decrypter.GenericM3u8Decrypter.log.0" trotzdem Folgendes:
Code:
------------------------Thread: 37999:m3u8_jd.plugins.decrypter.GenericM3u8Decrypter.log-----------------------
--ID:37999TS:1658934610924-27.07.22 17:10:10 -  [jd.controlling.linkcrawler.LinkCrawler(crawl)] -> Crawling: **External links are only visible to Support Staff**
--ID:37999TS:1658934613270-27.07.22 17:10:13 -  [jd.http.Browser(openRequestConnection)] -> 
Caller: jd.plugins.decrypter.GenericM3u8Decrypter.decryptIt(GenericM3u8Decrypter.java:108)
jd.plugins.PluginForDecrypt.decryptIt(PluginForDecrypt.java:355)
jd.plugins.PluginForDecrypt.decryptLink(PluginForDecrypt.java:457)
jd.controlling.linkcrawler.LinkCrawler.crawl(LinkCrawler.java:3521)
jd.controlling.linkcollector.LinkCollectorCrawler.crawl(LinkCollectorCrawler.java:32)
jd.controlling.linkcrawler.LinkCrawler$12.crawling(LinkCrawler.java:1662)
jd.controlling.linkcrawler.LinkCrawlerRunnable.run_now(LinkCrawlerRunnable.java:118)
jd.controlling.linkcrawler.LinkCrawlerRunnable.run(LinkCrawlerRunnable.java:49)
java.util.concurrent.ThreadPoolExecutor.runWorker(Unknown Source)
java.util.concurrent.ThreadPoolExecutor$Worker.run(Unknown Source)
java.lang.Thread.run(Unknown Source)
BrowserID:42714|BrowserParentID:-1|RequestID:1|URL:**External links are only visible to Support Staff**
-->SOCKS5:<deleted>
----------------CONNECTRequest(SOCKS5)----------
->SOCKS5 Hello to:<deleted>
->SOCKS5 Offer Plain Authentication
->AUTH user:pass
<-AUTH Valid!
->SEND tcp connect request by domain:bitdash-a.akamaihd.net|port:443
<-BOUND IPv4:/<deleted>
------------------------------------------------
----------------Request Information-------------
URL: **External links are only visible to Support Staff**
SSLCipher: JVM|Protocol:TLSv1.2|CipherSuite:TLS_ECDHE_ECDSA_WITH_AES_128_GCM_SHA256
ConnectIP: <deleted>
Connection-Timeout: 20000ms
Read-Timeout: 60000ms
----------------Request-------------------------
Also es wird trotz der No-Proxy-Regel versucht, die m3u8-Datei über den Proxy zu beziehen, oder?





Quote:
Bitte poste mal Beispiellinks mit denen sich das Problem nachstellen lässt.
Ich kann den Crawler auch so anpassen, dass er einfach alle Links als offline ansieht bei denen nichts geparsed werden kann ich denke das würde deine Bitte umsetzen.
Also ich denke, dass der m3u8-Link an sich keine Rolle spielt. Man bräuchte halt einen unzuverlässigen Proxy um das nachzustellen, aber meiner ist leider mit Account.

Wie etwaige Fehler in der Software gehandhabt werden sollen, ist natürlich eine Designentscheidung, aber ich persönlich fände es gut, wenn solche vermeintlich fehlerhaften Links trotzdem als solche im Linkgrabber landen würden, damit man das als User mitbekommt und den Link dann nochmal versuchen kann.

Was auch klasse wäre, wäre wenn das m3u8-Plugin es mehrfach versuchen würde (oder man sogar konfigurieren könnte, wie oft es versucht werden soll). Weil der Target-Link ja im Grunde valide ist und der Proxy auch. Man muss es eben nur mehrfach versuchen
Reply With Quote
  #4  
Old 28.07.2022, 00:04
vbs vbs is offline
Super Loader
 
Join Date: Aug 2020
Posts: 29
Default

Aber mein Hauptproblem ist eigentlich dass der Proxy benutzt wird, obwohl ich die Domain in die Kein-Proxy-Liste eingetragen habe. Wenn ich den Proxy einfach erfolgreich für bestimmte Domains umgehen könnte, wäre ich schon happy

Laut Info-Text kann man ja in der Kein-Proxy-Liste auch RegExen benutzen, aber egal was ich versuche, der Eintrag wird immer sofort gelöscht (z.B. ".*test.org").
Reply With Quote
Reply

Thread Tools
Display Modes

Posting Rules
You may not post new threads
You may not post replies
You may not post attachments
You may not edit your posts

BB code is On
Smilies are On
[IMG] code is On
HTML code is Off

Forum Jump

All times are GMT +2. The time now is 03:02.
Provided By AppWork GmbH | Privacy | Imprint
Parts of the Design are used from Kirsch designed by Andrew & Austin
Powered by vBulletin® Version 3.8.10 Beta 1
Copyright ©2000 - 2024, Jelsoft Enterprises Ltd.