JDownloader Community - Appwork GmbH
 

Reply
 
Thread Tools Display Modes
  #1  
Old 04.10.2021, 10:54
TheBigG TheBigG is offline
Baby Loader
 
Join Date: May 2016
Posts: 6
Default Archive Extractor um den Faktor 30 langsamer als unrar

Hallo,

ich habe mich gefragt warum der Archive Extractor der in JDownloader2 integriert ist soviel langsamer ist als unrar und ob man da irgendwie optimieren kann.
Wenn ich etwas runtergeladen habe und anschließend von einer SSD auf eine andere SSD entpacke schafft der archiv extractor wie festgenagelt ca. 11 mb die Sekunde bei 5% CPU last beides laut htop. Entpacke ich die gleiche Datei mit unrar wird mit 300-350 mb die Sekunde entpackt bei 80% CPU Auslastung. Das verhalten konnte ich jetzt auf mehreren Systemen reproduzieren. Ist da irgendwo eine Bremse in der JDownloader Konfig versteckt die ich einfach nicht finde? Bisher hatte ich nur "Extraction: CPUPriority" gefunden und da hat es keinen Unterschied gemacht ob das low, middle oder high ist.

System ist ein Debian mit openjdk-11-jre-headless

Vielen Dank für Tipps.
Reply With Quote
  #2  
Old 04.10.2021, 13:20
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 72,936
Default

@TheBigG: Welches Java genau? Bitte mal ein Log, siehe
https://support.jdownloader.org/Know...d-session-logs
und logID hier posten. Ich vermute eine IceTea JVM.
11 Mb/s beim Entpacken, da stimmt definitiv irgendwas nicht.
__________________
JD-Dev & Server-Admin
Reply With Quote
  #3  
Old 04.10.2021, 22:06
TheBigG TheBigG is offline
Baby Loader
 
Join Date: May 2016
Posts: 6
Default

Hi,
Logfile: jdlog://9778825302851

Java11.0.12+7-post-Debian-2 (64Bit) (headless)DebianOpenJDK 64-Bit Server VM. Ist das Standard Java das mit Debian kommt **External links are only visible to Support Staff****External links are only visible to Support Staff**. Oracle Java kann man ja nicht mehr Legal nutzen nach der Lizenzänderung vor ein paar Jahren, daher welches andere Java würdet ihr Empfehlen das gut funktioniert?

Last edited by TheBigG; 04.10.2021 at 22:48.
Reply With Quote
  #4  
Old 05.10.2021, 11:41
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 72,936
Default

Als privater Nutzer kannst du ohne Probleme weiter wie du fröhlich bist Oracle JVM nutzen. Aber aufgrund der Lizenzänderungen sind eben nahezu alle Distros auf OpenJDK basierte JVMs umgestiegen. Aber spielt hier keine Rolle,da du keine ZeroVM einsetzt, also eine JVM ohne jegliche *Beschleunigung*, zb IceTea

Auf Anhieb kann ich keine Ursache finden.
Extraction: CPUPriority sollte auf HIGH stehen. Und versuch mal Einstellungen->Profeinstellungen->GeneralSettings.maxbuffersize auf zb 4096 zu stellen. Evtl helfen größere Buffer beim Durchsatz.

Es sind beides lokale SSD und kein Netzlaufwerk? 11 Mbyte/s kommt zb dem 100Mbit/s eines Netzwerk nahe, daher die Frage.

Kannst du mir mal an support@jdownloader.org BspLinks für ein Archiv schicken, evtl irgendwas im Bezug auf genutzte RAR Einstellungen des Archivs?
__________________
JD-Dev & Server-Admin

Last edited by Jiaz; 05.10.2021 at 11:48.
Reply With Quote
  #5  
Old 05.10.2021, 12:47
TheBigG TheBigG is offline
Baby Loader
 
Join Date: May 2016
Posts: 6
Default

Quote:
Originally Posted by Jiaz View Post
Und versuch mal Einstellungen->Profeinstellungen->GeneralSettings.maxbuffersize auf zb 4096 zu stellen. Evtl helfen größere Buffer beim Durchsatz.
Das hat geholfen, jetzt ist das ganze so schnell das ich im CPU limit hänge, unrar holt wahrscheinlich den Rest an Geschwindigkeitsvorteil durch nicht Java sein und multithreading was die Java Implementierung scheinbar nicht kann?
https://imgur.com/ZR7zt95

Last edited by TheBigG; 05.10.2021 at 12:50.
Reply With Quote
  #6  
Old 05.10.2021, 13:40
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 72,936
Default

Danke für die Rückmeldung! Du kannst ja nochmal zum Test den Buffer auf 8192 anheben und schauen ob das nochmal was rausholt.
CPU Priorität ist wieder auf HIGH? JDownloader danach neugestartet?

Es wird keine Java Implementierung genutzt. Das Entpacken passiert nativ via
github.com/borisbrodski/sevenzipjbinding
Jedoch hab ich keine Ahnung ob die freie unrar Variante ebenfalls Multithreading beim Entpacken nutzt.
Jedoch konnte ich bei eigenen Tests irgendwie nie einen großen Unterschied feststellen.
__________________
JD-Dev & Server-Admin
Reply With Quote
  #7  
Old 05.10.2021, 14:07
TheBigG TheBigG is offline
Baby Loader
 
Join Date: May 2016
Posts: 6
Default

Ehm ja, das hat die Geschwindigkeit nochmals deutlich erhöht, in einem Maße das mir gerade unverständlich ist, scheinbar war jdownloader bei den niedrigen grenzen mit dem managen von irgendwas mehr beschäftigt als mit dem entpacken an sich bisher.
https://imgur.com/a7rR426

Edit: und ja CPU Prio ist auf HIGH und JDownloader wurde neugestartet.

Last edited by TheBigG; 05.10.2021 at 14:12.
Reply With Quote
  #8  
Old 05.10.2021, 17:02
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 72,936
Default

SSD liefern gute Lese/Schreib Raten bei größen IO Blöcken. Wenn für jedes Byte ein Java->Systemcall->SSD Commando ist natürlich wesentlich langsamer als für 1Mbyte pro Systemcall (einfach gesprochen). Auch hängt es von der SSD/Filesystem/OS ab wie gut IO mit entsprechender Blöckgröße umgeht.
Ich nehme mal an, das Thema wäre somit *gelöst* für dich?
__________________
JD-Dev & Server-Admin
Reply With Quote
  #9  
Old 06.10.2021, 02:38
TheBigG TheBigG is offline
Baby Loader
 
Join Date: May 2016
Posts: 6
Default

Ja ist für mich gelöst, vielleicht kann man das ja in irgendeine FAQ aufnehmen? Der Performancezuwachs durch die kleine Änderung ist ja doch enorm.
Reply With Quote
  #10  
Old 06.10.2021, 09:46
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 72,936
Default

Ich denke es wäre hier besser wenn JDownloader abhängig von der Umgebung (zb verfügbaren Speicher) einen besseren default Buffer Größe wählt
__________________
JD-Dev & Server-Admin
Reply With Quote
Reply

Thread Tools
Display Modes

Posting Rules
You may not post new threads
You may not post replies
You may not post attachments
You may not edit your posts

BB code is On
Smilies are On
[IMG] code is On
HTML code is Off

Forum Jump

All times are GMT +2. The time now is 22:57.
Provided By AppWork GmbH | Privacy | Imprint
Parts of the Design are used from Kirsch designed by Andrew & Austin
Powered by vBulletin® Version 3.8.10 Beta 1
Copyright ©2000 - 2021, Jelsoft Enterprises Ltd.