JDownloader Community - Appwork GmbH
 

Reply
 
Thread Tools Display Modes
  #1  
Old 19.11.2019, 17:38
Tedolly Tedolly is offline
Ultra Loader
 
Join Date: Dec 2015
Posts: 45
Default JD steckt fest, wenn Proxy Probleme hat

Unter dem Connection Manager habe ich einen HTTP-Proxy eingetragen. Über den erfolgen dann alle neu gestarteten Downloads. Geht normalerweise gut, aber es gibt folgendes Problem: JD bleibt immer wieder einfach stecken.

Das kann bei allen möglichen Operationen passieren, z.B.:
beim Download mit Status "Running".
beim Linkchecker, wenn man einen Linkcheck angestoßen hat.

Die aktuelle Operation kann auch nicht abgebrochen werden. Der Befehl "Abbrechen" wird zwar angezeigt, aber nach Klick nicht ausgeführt. Es bleibt nur 1 Ausweg: Restart des JDs. Dann kommt z.B. die Meldung "Linkchecker wirklich abbrechen?" und JD wird restartet. Das Steckenbleiben passiert oft wenn die Verbindung zum Proxy nicht extremst stabil ist, z.B. wenn er stark ausgelastet ist.

Mir scheint folgendes zu sein: wenn die Proxy-Verbindung zu einem ungünstigen Moment abbricht oder der Proxy auf eine Anfrage sich nicht meldet, wartet JD ewig (also ohne jedes Timeout) auf eine Antwort vom Proxy.

Ich möchte bitte dem Support-Team nicht meinen Proxy nennen, der Effekt lässt sich eh nicht provozieren. Es müsste in den Soucen erkennbar sein, wann genau Timeout-Checks bei Proxy-Verbindungen fehlen.

Es wäre toll, wenn man dieses Problem lösen könnte. Sonst müsste man halt damit leben.

Ted
Reply With Quote
  #2  
Old 23.11.2019, 22:02
thecoder2012's Avatar
thecoder2012 thecoder2012 is offline
Official 9kw.eu Support
 
Join Date: Feb 2013
Location: Internet
Posts: 988
Default

Quote:
Originally Posted by Tedolly View Post
Das Steckenbleiben passiert oft wenn die Verbindung zum Proxy nicht extremst stabil ist, z.B. wenn er stark ausgelastet ist.
Es handelt sich nur um einen einzigen Proxy?
Sonst die Werte "GeneralSettings.proxyhostbantimeout" und "GeneralSettings.freeproxybalancemode" entsprechend anpassen.

Quote:
Originally Posted by Tedolly View Post
Mir scheint folgendes zu sein: wenn die Proxy-Verbindung zu einem ungünstigen Moment abbricht oder der Proxy auf eine Anfrage sich nicht meldet, wartet JD ewig (also ohne jedes Timeout) auf eine Antwort vom Proxy.
Klingt mehr danach das die Verbindung noch aktiv ist aber der Datenverkehr massiv verlangsamt wäre. In diesem Fall könnte der Ereignis-Skripter helfen. Siehe Auto stop/restart downloads if the current average speed is below limit und Low-Speed-Erkennung

Quote:
Originally Posted by Tedolly View Post
Ich möchte bitte dem Support-Team nicht meinen Proxy nennen, der Effekt lässt sich eh nicht provozieren.
Alles lässt sich reproduzieren. Nur die nötigen Faktoren können umfangreich dafür sein.

Quote:
Originally Posted by Tedolly View Post
Es müsste in den Soucen erkennbar sein, wann genau Timeout-Checks bei Proxy-Verbindungen fehlen.
In der Verbindungsverwaltung werden fehlgeschlagene Proxy-Verbindungen angezeigt.

Alles andere was Du willst sind vermutlich HTTP Timeouts weil der JDownloader keinen Unterschied bei der Zeitüberschreitung in den Sourcen macht, glaub ich. Den Quellcode kannst auch jederzeit per SVN einsehen.

Empfehle die folgenden zwei Profieinstellungen entsprechend anzupassen:
1. InternetConnectionSettings.httpconnecttimeout (Defaullt 20000ms)
2. InternetConnectionSettings.httpreadtimeout (Default 60000s)

Quote:
Originally Posted by Tedolly View Post
Es wäre toll, wenn man dieses Problem lösen könnte. Sonst müsste man halt damit leben.
Hellseherei ist noch kein funktionierender Beruf.
__________________
Join 9kw.eu Captcha Service now and let your JD continue downloads while you sleep.
Reply With Quote
  #3  
Old 24.11.2019, 15:47
mero4711 mero4711 is offline
JD Addict
 
Join Date: Sep 2010
Posts: 158
Default

Ich habe Probleme mit Proxy-Verbindungen ebenfalls festgestellt:

Szenario:
1. Verbindung zum Proxy ist OK aber der Proxy kann keine Verbindung zum Filehoster aufbauen.
2. JD versucht die Datei zu starten.
3. Eigentlich sollte nach einem angemessenen Timeout JD den Versuch abbrechen. Macht JD aber nicht.
4. Die Datei ist in der Download-Liste komplett blockiert. Auch Zurücksetzen bringt nichts.
5. Vorausgesetzt man hat Kontrolle über den Proxy kann man wunderschön beobachten, wie die Datei sofort abbricht und freigegeben wird, sobald man den Proxy-Server-Prozess beendet.
Reply With Quote
  #4  
Old 24.11.2019, 16:25
thecoder2012's Avatar
thecoder2012 thecoder2012 is offline
Official 9kw.eu Support
 
Join Date: Feb 2013
Location: Internet
Posts: 988
Default

Quote:
Originally Posted by mero4711 View Post
1. Verbindung zum Proxy ist OK aber der Proxy kann keine Verbindung zum Filehoster aufbauen.
In diesem Fall sollte nach der eingestellten Zeit (z.B. 60s) in InternetConnectionSettings.httpreadtimeout ein Timeout erfolgen und dies in der Verbindungsverwaltung sichtbar werden.

Quote:
Originally Posted by mero4711 View Post
3. Eigentlich sollte nach einem angemessenen Timeout JD den Versuch abbrechen. Macht JD aber nicht.
Eine Log wäre für die JD Entwickler sicherlich hilfreich. Hilfreich wären auch die eingestellten Timeoutwerte.

Quote:
Originally Posted by mero4711 View Post
4. Die Datei ist in der Download-Liste komplett blockiert. Auch Zurücksetzen bringt nichts.
Ist das Problem jederzeit reproduzierbar? Also auch nach einem Neustart vom JD?

Vorzugsweise mal mit sehr niedrigen Werten bei InternetConnectionSettings.httpconnecttimeout und InternetConnectionSettings.httpreadtimeout testen.

Quote:
Originally Posted by mero4711 View Post
5. Vorausgesetzt man hat Kontrolle über den Proxy kann man wunderschön beobachten, wie die Datei sofort abbricht und freigegeben wird, sobald man den Proxy-Server-Prozess beendet.
Gut, wir kommen der Reproduzierung vom Anliegen näher.
Welche Proxy Software (z.B. squid, ccproxy) wurde denn genutzt?
__________________
Join 9kw.eu Captcha Service now and let your JD continue downloads while you sleep.
Reply With Quote
  #5  
Old 24.11.2019, 16:46
mero4711 mero4711 is offline
JD Addict
 
Join Date: Sep 2010
Posts: 158
Default

Quote:
Originally Posted by thecoder2012 View Post
Welche Proxy Software (z.B. squid, ccproxy) wurde denn genutzt?
Squid.

Die Datei sollte auf jeden Fall abbrechen, wenn man manuell "Zurücksetzen" auswählt. Das passiert zur Zeit nicht.
Die Timer haben möchlicherweise dasselbe Problem. Oder die Timer laufen nur gegen den Proxy, der ja nach wie vor da ist.
Reply With Quote
  #6  
Old 24.11.2019, 18:44
thecoder2012's Avatar
thecoder2012 thecoder2012 is offline
Official 9kw.eu Support
 
Join Date: Feb 2013
Location: Internet
Posts: 988
Default

Quote:
Originally Posted by mero4711 View Post
Squid.
Konfiguration? Version? System?

Zumindestens mit CCProxy (v8.0) kann ich das Problem auf einem Windows Server 2012 nicht reproduzieren. Unabhängig wie ich die Verbindung pausiere (VM pausiert), blockiere (Webfilter) oder unterbreche ("Stop" im Proxy und Prozess beendet). Alle versuche aktivieren bei mir die eingestellten Timeouts bzw. Meldungen.

In der Verbindungsverwaltung sieht das dann mit Fehlermarkierung so aus:


CCProxy kann man unter Windows auch lokal nutzen um dahinter ein Squid zu nutzen, falls es an einer bestimmten Kombination der Software liegt oder ein spezifischer Bug existiert.

Genutzte Werte im JDownloader:
GeneralSettings.flushbuffertimeout: 120000
GeneralSettings.networkissuestimeout: 15000
GeneralSettings.proxyhostbantimeout: 90000
GeneralSettings.freeproxybalancemode: CYCLE
InternetConnectionSettings.httpconnecttimeout: 20000
InternetConnectionSettings.httpreadtimeout: 60000
Nur eine aktive Verbindung in der Verbindungsverwaltung.

Quote:
Originally Posted by mero4711 View Post
Die Datei sollte auf jeden Fall abbrechen, wenn man manuell "Zurücksetzen" auswählt. Das passiert zur Zeit nicht.
Darum ja meine vorherigen Fragen ob es jederzeit reproduzierbar ist!?
Neben "Zurücksetzen" ist auch der vollständige "Stop" vom JDownloader ohne Auswirkung?

Aus dem Grund wäre ein Test mit niedrigen Werten beim Timeout sinnvoll. Da ja kein Log erstellt werden mag und vermutlich damit auch keine Fernwartung (z.B. Teamviewer) oder Testdaten (genutzter Proxy).
Bei einer Überlastung vom Downloadsystem als Beispiel können sich die Werte stark ausdehnen je nach Programmierung.

Quote:
Originally Posted by mero4711 View Post
Die Timer haben möchlicherweise dasselbe Problem. Oder die Timer laufen nur gegen den Proxy, der ja nach wie vor da ist.
Im Prinzip müsste man dazu den Netzwerkverkehr anschauen (z.B. Wireshark) und feststellen ob tatsächlich GAR KEINE Daten innerhalb von >60s übertragen worden sind. Hab Squid zu selten genutzt um es genau zu wissen.
__________________
Join 9kw.eu Captcha Service now and let your JD continue downloads while you sleep.
Reply With Quote
  #7  
Old 24.11.2019, 19:03
Tedolly Tedolly is offline
Ultra Loader
 
Join Date: Dec 2015
Posts: 45
Default

Timeoutwerte zu erhöhen dürfte nichts bringen. Ich habe beim Download-Status "Running" schon etliche Stunden gewartet, ob sich noch etwas tut. JD steckt fest und kommt auch nicht wieder. Manuell abbrechen/stoppen/etc ändert nichts daran. Running forever.
Reply With Quote
  #8  
Old 24.11.2019, 19:33
thecoder2012's Avatar
thecoder2012 thecoder2012 is offline
Official 9kw.eu Support
 
Join Date: Feb 2013
Location: Internet
Posts: 988
Default

Quote:
Originally Posted by Tedolly View Post
Timeoutwerte zu erhöhen dürfte nichts bringen. Ich habe beim Download-Status "Running" schon etliche Stunden gewartet, ob sich noch etwas tut. JD steckt fest und kommt auch nicht wieder. Manuell abbrechen/stoppen/etc ändert nichts daran. Running forever.
Wie kommt man auf eine Erhöhung der Werte?!?

Für Tests in diesem Szenario senkt man die Werte auf ein Minimum ab.
Je nach was der Computer und Anbindung an Geschwindigkeit (nicht Bandbreite!) hergeben können.
__________________
Join 9kw.eu Captcha Service now and let your JD continue downloads while you sleep.
Reply With Quote
  #9  
Old 25.11.2019, 15:14
mero4711 mero4711 is offline
JD Addict
 
Join Date: Sep 2010
Posts: 158
Default

Quote:
Originally Posted by thecoder2012 View Post
Konfiguration? Version? System?
JD2 auf Linux Ubuntu
Squid Proxy 3.10 auf FLI4L Linux Kernel 3.x - reiner http/https proxy

Reproduzierbar ist schwierig. Es sieht so aus als ob alles OK is, wenn der Squid ordentlich erkennt (TCP_MISS), dass der Zielhost nicht erreichbar ist. Anscheinend gibt es aber Situationen, wo er JD2 hinhält und noch auf eine erfolgreiche Verbindung wartet. JD2 wartet dann ebenfalls ohne abzubrechen.

Aus meiner Sicht kein Drama. Prio niedrig.
Reply With Quote
  #10  
Old 26.11.2019, 19:51
thecoder2012's Avatar
thecoder2012 thecoder2012 is offline
Official 9kw.eu Support
 
Join Date: Feb 2013
Location: Internet
Posts: 988
Default

Quote:
Originally Posted by mero4711 View Post
Squid Proxy 3.10 auf FLI4L Linux Kernel 3.x - reiner http/https proxy
Welcher Router (Hardware) kommt denn zum Einsatz?
(FLI4L = ISDN-, DSL- und Ethernet-Router-Distribution)

Quote:
Originally Posted by mero4711 View Post
Reproduzierbar ist schwierig. Es sieht so aus als ob alles OK is, wenn der Squid ordentlich erkennt (TCP_MISS), dass der Zielhost nicht erreichbar ist. Anscheinend gibt es aber Situationen, wo er JD2 hinhält und noch auf eine erfolgreiche Verbindung wartet.
Hat Squid kein Log worin der Vorgang genau protokolliert werden kann?
Auch wäre das Log vom JDownloader hilfreich dabei.

Quote:
Originally Posted by mero4711 View Post
Aus meiner Sicht kein Drama. Prio niedrig.
Prio mag niedrig sein aber so wird vermutlich kein Bugfix daraus.
Außer man kann es als Entwickler ganz gut reproduzieren und hat alle nötigen Daten zusammen für einen reproduzierbaren Versuch. Solche Tests kosten oft verdammt viel Zeit.
__________________
Join 9kw.eu Captcha Service now and let your JD continue downloads while you sleep.
Reply With Quote
  #11  
Old 27.11.2019, 13:28
mero4711 mero4711 is offline
JD Addict
 
Join Date: Sep 2010
Posts: 158
Default

FLI4L basiert auf X86 Hardware mit mehreren Network Interfaces.

Mein benutzter Proxy steht 1000 km entfernt. Größere Tests als squid restarten und ins Log gucken muss ich vermeiden.

Wenn es wieder passiert, mache ich ein JD log und sehe, was der squid im Log sagt.
Reply With Quote
  #12  
Old 27.11.2019, 14:52
thecoder2012's Avatar
thecoder2012 thecoder2012 is offline
Official 9kw.eu Support
 
Join Date: Feb 2013
Location: Internet
Posts: 988
Default

Quote:
Originally Posted by mero4711 View Post
Mein benutzter Proxy steht 1000 km entfernt.
Welche Rolle spielt die Entfernung im Internet (Netzwerkverkehr) bei guter Anbindung?

Quote:
Originally Posted by mero4711 View Post
Größere Tests als squid restarten und ins Log gucken muss ich vermeiden.
Warum?

Quote:
Originally Posted by mero4711 View Post
Wenn es wieder passiert, mache ich ein JD log und sehe, was der squid im Log sagt.
Klingt gut.
__________________
Join 9kw.eu Captcha Service now and let your JD continue downloads while you sleep.
Reply With Quote
  #13  
Old 27.11.2019, 15:24
mero4711 mero4711 is offline
JD Addict
 
Join Date: Sep 2010
Posts: 158
Default

Quote:
Originally Posted by thecoder2012 View Post
Welche Rolle spielt die Entfernung im Internet (Netzwerkverkehr) bei guter Anbindung?
Weil wenn ich ein neu konfiguriertes Test-Image aufspiele und dabei etwas schiefgeht oder ich einen Fehler mache, dann der FLI4L nicht mehr hoch kommt, kann nicht nach nebenan gehen, um das Problem zu beheben...
Reply With Quote
  #14  
Old 30.11.2019, 12:53
thecoder2012's Avatar
thecoder2012 thecoder2012 is offline
Official 9kw.eu Support
 
Join Date: Feb 2013
Location: Internet
Posts: 988
Default

Quote:
Originally Posted by mero4711 View Post
Weil wenn ich ein neu konfiguriertes Test-Image aufspiele und dabei etwas schiefgeht oder ich einen Fehler mache, dann der FLI4L nicht mehr hoch kommt, kann nicht nach nebenan gehen, um das Problem zu beheben...
Kann man die Config nicht einfach so verändern?
Hab FLI4L eine Ewigkeit nicht mehr genutzt, da ich keinen Bedarf im letzten Jahrzehnt hatte.

Hatte vorhin mit Proxies und Zippy einen Testlauf durchgeführt. Wegen der Nachfrage im Thema Proxys für Zippyshare funktionieren nicht und dabei ging ein Proxy offenbar nicht. Wurde vom JD erkannt (Keine Internet-/Netzwerkverbindung, 15s) und übersprungen aber in der Verbindungsverwaltung nicht markiert. War aber leider nicht erneut reproduzierbar.

Andere Möglichkeit wäre mit dem Ereignis-Skripter im JD zu probieren. Siehe Proxy import automatisch erkennen und ist als Skript seit paar Monaten nutzbar bzgl. Proxies (und Tests).
__________________
Join 9kw.eu Captcha Service now and let your JD continue downloads while you sleep.
Reply With Quote
Reply

Thread Tools
Display Modes

Posting Rules
You may not post new threads
You may not post replies
You may not post attachments
You may not edit your posts

BB code is On
Smilies are On
[IMG] code is On
HTML code is Off

Forum Jump

All times are GMT +2. The time now is 18:24.
Provided By AppWork GmbH | Privacy | Imprint
Parts of the Design are used from Kirsch designed by Andrew & Austin
Powered by vBulletin® Version 3.8.10 Beta 1
Copyright ©2000 - 2019, Jelsoft Enterprises Ltd.