JDownloader Community - Appwork GmbH
 

Reply
 
Thread Tools Display Modes
  #1  
Old 06.12.2019, 04:35
Playa Playa is offline
Baby Loader
 
Join Date: Dec 2019
Location: Germany
Posts: 6
Exclamation JDownloader 2 leakt bei zu vielen Proxys

Hi,
hatte mir mittels GatherProxy ne riesige menge an Proxys geholt damit ich von mehreren free Hostern gleich saugen kann. Es scheint allerdings so als wären 52k einfach zu viel für JDownloader 2, das äußerte sich in 2 leakenden CPU Threads und nem Memory Leak.
Damit sowas vermieden wird sollte es ein Limit geben oder man sollte das Problem lösen. Da die immense Auslastung auch im Leerlauf vorhanden ist, nehme ich an das entweder dass Array oder irgend ein Code der passiv mitläuft daran hängt, z.B. das UI.

Java 8 32/64 auf Win 10

Grüße,
Playa

Last edited by Playa; 06.12.2019 at 18:14.
Reply With Quote
  #2  
Old 06.12.2019, 20:24
thecoder2012's Avatar
thecoder2012 thecoder2012 is offline
Official 9kw.eu Support
 
Join Date: Feb 2013
Location: Internet
Posts: 1,148
Default

Quote:
Originally Posted by Playa View Post
hatte mir mittels GatherProxy ne riesige menge an Proxys geholt damit ich von mehreren free Hostern gleich saugen kann.
Meinst eventuell die Software "GatherProxy" der als Proxy Scrapper dort beworben wird?
Ich sehe da derzeit nur 3424 Proxies als RAW Download ohne Software.

Quote:
Originally Posted by Playa View Post
Es scheint allerdings so als wären 52k einfach zu viel für JDownloader 2, das äußerte sich in 2 leakenden CPU Threads und nem Memory Leak.
52k ist schon eine ganze Menge. Wenn es mal mit 5k probierst, wird es dann wieder flüssig nutzbar ohne starke Auslastung von CPU/RAM/Festplatte?

52000 Verbindungen gleichzeitig wirst sowieso nicht erreichen können!

Habe es mit 140000 Proxies getestet und JDownloader funktionierte auf den ersten Blick flüssig.
Verbraucht bei mir im Leerlauf 25-30% der CPU und bis zu 7 GB an Ram im Test. Auf den zweiten Blick läuft es nicht flüssig trotz Neustart vom JD friert die GUI weitgehend ein und das bei nur 10-15% CPU und 600 MB an Ram.

Eventuell könnte ein Skript per Ereignis-Skripter die Liste automatisch verkürzen auf einen flüssigen Wert als Workaround.

Quote:
Originally Posted by Playa View Post
Damit sowas vermieden wird sollte es ein Limit geben oder man sollte das Problem lösen. Da die immense Auslastung auch im Leerlauf vorhanden ist, nehme ich an das entweder dass Array oder irgend ein Code der passiv mitläuft daran hängt, z.B. das UI.
In der Datei cfg/org.jdownloader.settings.InternetConnectionSettings.customproxylist.json (~52MB mit 140k) werden die Proxies gespeichert. Das Problem scheint mit der UI auf den ersten Blick im Zusammenhang zu stehen aber vermutlich sind es andere Faktoren. Wenn ich auf "Einstellungen" klicke scheint es sofort so zu sein.

Quote:
Originally Posted by Playa View Post
Damit sowas vermieden wird sollte es ein Limit geben oder man sollte das Problem lösen.
Das Limit ist in erster Linie der eigene Computer. Natürlich gibt es verschiedene Wege und ggf. ist die momentane Integration im JD nicht optimiert dafür oder hat einen Bug.
__________________
Join 9kw.eu Captcha Service now and let your JD continue downloads while you sleep.

Last edited by thecoder2012; 06.12.2019 at 20:42.
Reply With Quote
  #3  
Old 07.12.2019, 17:56
Playa Playa is offline
Baby Loader
 
Join Date: Dec 2019
Location: Germany
Posts: 6
Default

Hi,
Ich hab GatherProxy als Premium Variante und nutze nicht nur deren Server sondern verwende die Deep Search Funktion um über Google noch welche raus zu bekommen.
Unter 5k geht es mit der Auslastung, problemlos.
Mein Ziel ist es auch nicht 52k Verbindungen zu nutzen, es geht eher darum das manche Hoster IP Blacklists haben und daher einige Proxys abgelehnt werden. Das Ban Timeout habe ich sehr hoch gestellt damit sich Jdownloader das auch merkt, mit einfachen Pingtests kann man leider die IP Sperren meist nicht prüfen.
Reply With Quote
  #4  
Old 07.12.2019, 19:03
thecoder2012's Avatar
thecoder2012 thecoder2012 is offline
Official 9kw.eu Support
 
Join Date: Feb 2013
Location: Internet
Posts: 1,148
Default

Quote:
Originally Posted by Playa View Post
Mein Ziel ist es auch nicht 52k Verbindungen zu nutzen, es geht eher darum das manche Hoster IP Blacklists haben und daher einige Proxys abgelehnt werden.
Manche Nutzer machen das auch über entsprechende Proxysoftware.

Quote:
Originally Posted by Playa View Post
Das Ban Timeout habe ich sehr hoch gestellt damit sich Jdownloader das auch merkt, mit einfachen Pingtests kann man leider die IP Sperren meist nicht prüfen.
Über den Ereignis-Skripter (Eventscripter) könnte man die Proxies testen und erst dann in den JDownloader überführen. Falls es sich um leicht feststellbar IP Sperren handelt und nur ein Ping alleine nicht ausreicht.
__________________
Join 9kw.eu Captcha Service now and let your JD continue downloads while you sleep.
Reply With Quote
  #5  
Old 10.12.2019, 01:00
Playa Playa is offline
Baby Loader
 
Join Date: Dec 2019
Location: Germany
Posts: 6
Default

Quote:
Originally Posted by thecoder2012 View Post
Über den Ereignis-Skripter (Eventscripter) könnte man die Proxies testen und erst dann in den JDownloader überführen. Falls es sich um leicht feststellbar IP Sperren handelt und nur ein Ping alleine nicht ausreicht.
Das ist ein guter Tipp, habe gerade nochmal einen Testlauf gemacht und festgestellt dass die CPU nutzung mit reduzierter Anzahl an Proxies gleichmäßig abnimmt. Bei 5k ist es wieder relativ normal, also definitiv kein Leak.
Reply With Quote
Reply

Thread Tools
Display Modes

Posting Rules
You may not post new threads
You may not post replies
You may not post attachments
You may not edit your posts

BB code is On
Smilies are On
[IMG] code is On
HTML code is Off

Forum Jump

All times are GMT +2. The time now is 10:31.
Provided By AppWork GmbH | Privacy | Imprint
Parts of the Design are used from Kirsch designed by Andrew & Austin
Powered by vBulletin® Version 3.8.10 Beta 1
Copyright ©2000 - 2020, Jelsoft Enterprises Ltd.