JDownloader Community - Appwork GmbH
 

Notices

Reply
 
Thread Tools Display Modes
  #1  
Old 27.05.2016, 14:06
Analogkaesefuss Analogkaesefuss is offline
JD Fan
 
Join Date: Feb 2015
Posts: 70
Default Max. simultaneous downloads - keine Wirkung bei vielen Files

Hallo,

ich habe zwei Packages, in jedem Package befinden sich jeweils über 2000 Dateien, jedes Package enthält Dateien eines anderen OCH.

"Max. simultaneius downloads" ist auf 2 konfiguriert. Ich hätte erwartet, daß jd sich nun aus jedem Package eine Datei nimmt und den Download startet.

Aber das macht er nicht. Also habe ich einige Dateien aus dem einen in das andere Package oberhalb verschoben. Solange diese Dateien im Package "ganz unten" liegen werden sie ebenfalls nicht gestartet. Schiebe ich sie aber weiter nach oben, startet auch vom zweiten OCH die erste Datei, so wie ich es erwarten würde.

Es sieht so aus, als liege das beschriebene Verhalten an der Anzahl der Dateien "zwischen" den beiden Downloadkandidaten.

Ist das ein Bug oder beabsichtigtes Verhalten?

AKF
Reply With Quote
  #2  
Old 27.05.2016, 14:25
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 79,286
Default

Max sim. Downloads per Host ist das was du suchst Und vergiss nicht diese Option auch zu aktivieren. Also Anzahl einstellen UND aktivieren.
Wird via Multihoster geladen oder keinen Accounts oder Premium Accounts?
__________________
JD-Dev & Server-Admin
Reply With Quote
  #3  
Old 27.05.2016, 14:28
Analogkaesefuss Analogkaesefuss is offline
JD Fan
 
Join Date: Feb 2015
Posts: 70
Default

"Max sim. per Hoster" ist 1, das ist ja OK, weil es zwei Hoster sind und der andere Wert auf 2 steht.

Es wird nicht über einen MOCH geladen, sondern direkt von den OCHs, allerdings im Free-Modus.

Wie gesagt, am Hoster oder der Konfig wird es doch wohl nicht liegen, denn dann würde der "Verschiebetest" nicht zum Erfolg führen.

AKF
Reply With Quote
  #4  
Old 27.05.2016, 14:31
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 79,286
Default

Du musst auxh Max sim.per Hoster aktivieren! Wie ich geschrieben habe...Anzahl einstellen und aktivieren.
__________________
JD-Dev & Server-Admin
Reply With Quote
  #5  
Old 27.05.2016, 14:49
Analogkaesefuss Analogkaesefuss is offline
JD Fan
 
Join Date: Feb 2015
Posts: 70
Default

War aktiviert, vorher 2 Max / 1 per Hoster, nun 2 Max / 2 per Hoster, Verhalten bleibt dasselbe.

AKF
Reply With Quote
  #6  
Old 27.05.2016, 14:58
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 79,286
Default

Bitte mal Screenshots, auf dem auch die Status der einzelnen Links sichtbar sind.
Alternative auch Teamviewer, ID und PW an support@jdownloader.org
__________________
JD-Dev & Server-Admin
Reply With Quote
  #7  
Old 27.05.2016, 15:58
Analogkaesefuss Analogkaesefuss is offline
JD Fan
 
Join Date: Feb 2015
Posts: 70
Default

http://i.imgur.com/GOLI8w6.gif

So sieht es aus, wenn es funktioniert. Wenn es nicht funktioniert, sind halt noch sehr viele andere Dateien dazwischen, das kann man nicht auf einem Screenshot festhalten. Alle Dateien sind jungfräulich, die hat jd nie angefaßt, die warten nur ganz friedlich, daß sie an der Reihe sind.

Wenn ich die Positionen der Packages vertausche, wandert der Fehler nicht mit, soll heißen, es ist immer das untere Package betroffen, egal, welches Linkpack gerade unten ist.

AKF
Reply With Quote
  #8  
Old 27.05.2016, 16:05
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 79,286
Default

Lass uns das bitte via Teamviewer anschauen. Kann den Fehler nicht nachstellen und an den Codeteilen wurde seit Ewigkeiten nichts geändert
__________________
JD-Dev & Server-Admin
Reply With Quote
  #9  
Old 28.05.2016, 09:20
Analogkaesefuss Analogkaesefuss is offline
JD Fan
 
Join Date: Feb 2015
Posts: 70
Default

Quote:
Originally Posted by Jiaz View Post
Kann den Fehler nicht nachstellen
Das war der wichtigste Teil der Antwort. :-)

Ich habe daraufhin nochmal sehr genau hingesehen. Der zweite Download startet doch. Irgendwann. In meinen Tests abhängig von der Anzahl der Dateien zwischen 5 Sekunden (1000 Dateien) über 35 Sekunden (2800 Dateien) bis hin zu 4 Minuten (!) (3666 Dateien).

Ich habe mir quasi einen Wolf getestet, Windows XP jeweils mit Java 8 und Java 7, Win7 mit Java 8, jeweils in Virtuellen Maschinen, bis zu einem gewissen Punkt wird es besser, wenn man der VM mehr CPUs zuweist, aber richtig gut nie.

Ich behelfe mir zunächst mal, indem ich die Pakete kleiner mache; um die 1000 Files je Package funktioniert ganz passabel.

Wieso erzeugt eine hohe Anzahl Links, mit denen ja erstmal nichts passiert, so einen CPU-Hunger? Ist das normal? Das Win7-System ist jungfräulich gewesen, da lief sonst nichts und auch jd habe ich dort frisch installiert.

TV kann ich bei Bedarf natürlich bereitstellen. Wie läuft das ab? Ich schicke die Zugangsdaten und irgendwann guckt sich das jemand an oder verabreden wir uns, um mal zusammen zu gucken?

AKF
Reply With Quote
  #10  
Old 29.05.2016, 11:33
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 79,286
Default

TV Session, du meldest dich mal bei support@jdownloader.org und wir schauen uns das dann gemeinsam mal an. Du kannst uns Mo-Fr von 9 bis 17 Uhr erreichen.
Die Anzahl der Dateien ist nicht wirklich entscheident. Also 4 Minuten ist definitiv nicht in Ordnung. Ich kenne Leute mit 2 Millionen Links in der Liste

Ich habe ein paar Vermutungen, aber mittels Teamviewer finden wir das schon schnell heraus
__________________
JD-Dev & Server-Admin
Reply With Quote
  #11  
Old 30.05.2016, 15:50
Analogkaesefuss Analogkaesefuss is offline
JD Fan
 
Join Date: Feb 2015
Posts: 70
Default

Erstmal danke für's schnelle Durchsehen per TV.

Ich habe DLC beider Hoster und auch die VM soweit gesichert, als daß wir das nötigenfalls wiederholen können, falls Du den Fehler nicht nachstellen kannst.

AKF
Reply With Quote
  #12  
Old 30.05.2016, 15:53
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 79,286
Default

Ich bin der Ursache schon auf der Spur
__________________
JD-Dev & Server-Admin
Reply With Quote
  #13  
Old 31.05.2016, 17:38
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 79,286
Default

Bitte mal aufs nächste Update warten, ich habe ein paar Umbauten gemacht damit weniger IO Calls nötig sind. Wie du schon richtig erkannt hast, ist das große Paket die Ursache, aber warum bei dir das SOOOOO langsam dauert ist mir ein Rätsel. Bei mir dauert es circa 5 Sekunden (vor meinen Änderungen) bis er den nächsten Download anwirft.

Bitte um Feedback dann
__________________
JD-Dev & Server-Admin
Reply With Quote
  #14  
Old 01.06.2016, 16:16
Analogkaesefuss Analogkaesefuss is offline
JD Fan
 
Join Date: Feb 2015
Posts: 70
Default

Hallo Jiaz,

es ist auf jeden Fall spürbar besser geworden. Ich habe jetzt eben eine Wartezeit von knapp 30 Sekunden bei 4300 Files zwischen den DL-Kandidaten gehabt. Das ist aus meiner Sicht ok. Auch steigt die CPU-Auslastung nicht mehr für die ganze Zeit, bis der 2. DL startet, auf 100%, wie es vorher der Fall war.

Warum das so lange dauert ... da kann ich auch nur mutmaßen. Ich habe das uralte AntiGate-Plugin auch mal testweise entfernt, das ist nicht die Ursache. Sonst war die Testinstanz wirklich "jungfräulich". Das System hat sonst keine Performanceprobleme und idlet im Wesentlichen vor sich hin.

Mich würde interessieren, ob die NAS-User das auch haben. Die haben ja noch viel weniger CPU-Leistung, da sind die zwei Kerne meines i5-3570, die ich der VM zuweise, doch wirklich fürstlich bemessen. RAM ist auch genug da (ca. 500 MB von 1000 unter WinXP in der Produktivumgebung belegt), Ansätze für mich sehe ich nicht mehr - ich könnte mir testweise mal einen Stick-PC bestellen und es darauf laufen lassen - gibt's evtl. Empfehlungen für solche Mikrosysteme von Eurer Seite aus?

AKF
Reply With Quote
  #15  
Old 01.06.2016, 16:20
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 79,286
Default

Ich hab noch weitere Optimierung in der Pipeline. Warum das so lange dauert. JDownloader geht die ganzen DownloadKandidaten durch und bei 4300 Dateien, bevor der nächste Brauchbare gefunden wird, kann das nen Moment dauern. Warum das ganze aber SOOO lange bei dir dauert kann ich noch nicht sagen. Könntest du mal nen Screenshot vom About Dialog zeigen? Evtl hast du noch ne alte JDownloader Installation mit limitiertem Speicher was natürlich massiv auf die Performance schlägt
__________________
JD-Dev & Server-Admin
Reply With Quote
  #16  
Old 01.06.2016, 16:24
Analogkaesefuss Analogkaesefuss is offline
JD Fan
 
Join Date: Feb 2015
Posts: 70
Default

Aber klar:

Spoiler:


AKF
Reply With Quote
  #17  
Old 01.06.2016, 16:33
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 79,286
Default

Okay, wie vermutet ist ne alte Version. Du solltest ne .vmoptions Datei im JDownloader Ordner haben. Diese mal mit nem Texteditor öffnen und dann
-Xmx512m
einfügen und speichern und JDownloader neustarten

Danach sollte im About Dialog bei Java die letzte Zahl 512MB sein.
__________________
JD-Dev & Server-Admin
Reply With Quote
  #18  
Old 01.06.2016, 17:07
Analogkaesefuss Analogkaesefuss is offline
JD Fan
 
Join Date: Feb 2015
Posts: 70
Default

Habe ich durchgeführt, das hat aber keine weitere Verbesserung gebracht. Macht aber nix

AKF
Reply With Quote
  #19  
Old 01.06.2016, 17:29
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 79,286
Default

Im About Dialog mehr Speicher angezeigt
__________________
JD-Dev & Server-Admin
Reply With Quote
  #20  
Old 01.06.2016, 18:03
Analogkaesefuss Analogkaesefuss is offline
JD Fan
 
Join Date: Feb 2015
Posts: 70
Default

Ja, 494.94 MB wird als letzte Zahl angezeigt. Sowas prüfe ich doch ;-)

AKF
Reply With Quote
  #21  
Old 01.06.2016, 18:08
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 79,286
Default

Dann warte mal meine nächsten Optimierungen ab Ich meld mich wieder hier
__________________
JD-Dev & Server-Admin
Reply With Quote
  #22  
Old 05.06.2016, 18:04
Analogkaesefuss Analogkaesefuss is offline
JD Fan
 
Join Date: Feb 2015
Posts: 70
Default

Quote:
Originally Posted by Jiaz View Post
Okay, wie vermutet ist ne alte Version. Du solltest ne .vmoptions Datei ...
Ich habe mal geforscht, wo das vermutlich herkommt. Ich nutze die silent install sateien von pspzockerscene (genau **External links are only visible to Support Staff**diese hier)

Vielleicht ist es sinnvoll, die mal zu aktualisieren, damit nicht der Nächste und Übernächste mit demselben Problem angerannt kommt ;-)

AKF
Reply With Quote
  #23  
Old 09.06.2016, 20:10
Analogkaesefuss Analogkaesefuss is offline
JD Fan
 
Join Date: Feb 2015
Posts: 70
Default

Habt Ihr mit dem letzten Update die IO-Last weiter optimiert? Ich behaupte, auf meinem unveränderten Testsystem ist seitdem die CPU-Last um 50% (!) gesunken, während er die nächste anzufangende Datei in der Liste sucht.

Ich muß jetzt sogar künstlich mit mehr Dateien dazwischen verzögern, damit das AntiGate-Plugin halbwegs anständig die Captchas abarbeiten kann ;-)

AKF
Reply With Quote
  #24  
Old 10.06.2016, 09:47
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 79,286
Default

Ist mit der Reduktion der CPU auch die Zeit gesunken bis der nächste Download startet?
Die letzte Änderung an der Stelle war vom 31.5.
__________________
JD-Dev & Server-Admin
Reply With Quote
  #25  
Old 10.06.2016, 15:15
Analogkaesefuss Analogkaesefuss is offline
JD Fan
 
Join Date: Feb 2015
Posts: 70
Default

Ja, ist es, deswegen muß ich ja jetzt frickeln, um den Start des 2. DL künstlich zu verzögern. Es ist noch nicht so schnell, wie ich es von früher gewohnt bin, aber der Geschwindigeitszuwachs paßt zu dem, was ich im Taskmanager bei der CPU-Last sehe. Vorher war die am Anschlag (!), während jd den zweiten DL ausfindig machte. Jetzt liegt sie bei ca. 50%.

AKF

Edit: Ich habe mal mit der Einstellung aus board.jdownloader.org/showpost.php?p=372952&postcount=4 gespielt, GeneralSettings.mirrordetectiondecision von "Auto" auf "Filename" umzustellen, bringt eine weitere Reduktion der Zeiten. So kann ich den Startzeitpunkt des 2. Downloads sehr gut regulieren.

Last edited by Analogkaesefuss; 10.06.2016 at 15:28.
Reply With Quote
  #26  
Old 17.06.2016, 11:45
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 79,286
Default

Danke fürs Update
__________________
JD-Dev & Server-Admin
Reply With Quote
  #27  
Old 02.12.2016, 02:03
drbits's Avatar
drbits drbits is offline
JD English Support (inactive)
 
Join Date: Sep 2009
Location: Physically in Los Angeles, CA, USA
Posts: 4,434
Default

Log ID: 01.12.16 13.44.52 <--> 01.12.16 15.40.07 jdlog://6080769150841/

"Max. sim. Downloads per Hoster" on the Downloads tab does not appear to be working.
I have set it to 4, but it is currently downloading 5 files.
Most of my downloads are from Rapidgator with a premium account.

Under Settings -> Account Manager -> Usage Rules tab -> rapidgator.net
I have enabled only Single Hoster Accounts (Multiple Hoster: Zevera is disabled and Free Accounts is disabled). Before disabling these two settings, JD2 would attempt to download even more files simultaneously.

I have "Max. Chunks per Download" set to 4 (which seems to work correctly) and
"Max simultaneous Downloads" set to 10 (I haven't tested that recently).

Note: In English, Nouns are not capitalized after the first word of a sentence (except if they are names like Jiaz or Deutschland). Words like "download", "hoster", or "chunks" would not be capitalized. "Maximum" (or Max.) at the beginning of a sentence is capitalized, because the first word in a sentence is always capitalized in English.
Reply With Quote
  #28  
Old 02.12.2016, 18:35
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 79,286
Default

@drbits: Did you enable *max sim. downloads per host* you have to set number AND enable it. Also please note that it will only work for normal downloads. In case you force downloads the limit is ignored
__________________
JD-Dev & Server-Admin
Reply With Quote
Reply

Thread Tools
Display Modes

Posting Rules
You may not post new threads
You may not post replies
You may not post attachments
You may not edit your posts

BB code is On
Smilies are On
[IMG] code is On
HTML code is Off

Forum Jump

All times are GMT +2. The time now is 15:25.
Provided By AppWork GmbH | Privacy | Imprint
Parts of the Design are used from Kirsch designed by Andrew & Austin
Powered by vBulletin® Version 3.8.10 Beta 1
Copyright ©2000 - 2024, Jelsoft Enterprises Ltd.