JDownloader Community - Appwork GmbH
 

Closed Thread
 
Thread Tools Display Modes
  #641  
Old 11.05.2020, 15:15
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 79,516
Default

Quote:
Originally Posted by mensa View Post
Welche denn? Warum warst du so lange weg von hier?
Fehler bei HTTP Proxies, Recaptcha Stuff, HCaptcha Stuff, Emails/Tickets/Support und daily Work.
__________________
JD-Dev & Server-Admin
  #642  
Old 11.05.2020, 19:48
B1gD4ddy B1gD4ddy is offline
Super Loader
 
Join Date: Nov 2019
Posts: 25
Default

Quote:
Originally Posted by pspzockerscene View Post
Ja.
Quote:
Originally Posted by Jiaz View Post
@B1gD4ddy: Ja, aber derzeit finde ich leider einfach wieder genug Zeit das weiter zu planen, da gerade andere Dinge meine Zeit fressen
oki thx
  #643  
Old 17.05.2020, 08:00
mensa mensa is offline
JD Adviser
 
Join Date: Nov 2012
Posts: 106
Default

Gibt es für Windows 10 x64 eigentlich mittlerweile eine neuere Version als die 1509?
Mir kommt diese leider ziemlich langsam vor beim Entpacken.
  #644  
Old 18.05.2020, 11:25
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 79,516
Default

@mensa: definiere mal bitte *kommt leider ziemlich langsam vor* ?
Von/auf gleiche Platte/SSD/Netzlaufwerk? Mal ein paar Infos. An der Entpackergeschwindigkeit wird sich auch mit neueren Versionen nicht viel ändern, da auch hier der gleiche original unrar Code zum Einsatz kommt.
__________________
JD-Dev & Server-Admin
  #645  
Old 18.05.2020, 11:48
mensa mensa is offline
JD Adviser
 
Join Date: Nov 2012
Posts: 106
Default

Ok, ich werd es beim nächsten Download stoppen, ob es tatsächlich einen Unterschied zwischen 7zip und JDownloader gibt. Sollte eigentlich keinen geben, oder?
  #646  
Old 18.05.2020, 12:32
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 79,516
Default

Du kannst auch ohne Download jederzeit ein Archiv via JDownloader entpacken über die Fensterleiste-Tools und dort dann ein Archiv auswählen und entpacken. Zb also selbst was packen und dann Zeit nehmen
__________________
JD-Dev & Server-Admin
  #647  
Old 18.05.2020, 12:38
mensa mensa is offline
JD Adviser
 
Join Date: Nov 2012
Posts: 106
Default

Danke. Sollte es gleich schnell sein wie 7zip?
  #648  
Old 18.05.2020, 13:41
mensa mensa is offline
JD Adviser
 
Join Date: Nov 2012
Posts: 106
Default

Also mein Gefühl hat mich nicht getäuscht!

Habs jetzt mal mit einem 10 GB ZIP File getestet, welche 1 MKV enthält und verglichen. Entpackt wird jeweils auf die lokale SSD:

7zip: 9,5 Sekunden
JDownloader: 17 Sekunden

Das ist mehr als 70 % langsamer und bei größeren Archiven dann schon extrem spürbar. Warum ist da so ein extremer Unterschied?
  #649  
Old 18.05.2020, 13:50
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 79,516
Default

Versuch mal Einstellungen->Profieinstellungen->MaxBufferSize auf zb 4096 zu stellen
JDownloader danach neustarten
Und würde mich freuen ob das Auswirkungen auf die Geschwindigkeit hat, danke schonmal!
__________________
JD-Dev & Server-Admin
  #650  
Old 18.05.2020, 14:46
mensa mensa is offline
JD Adviser
 
Join Date: Nov 2012
Posts: 106
Default

Mit dieser Einstellung ist es sogar noch schlechter geworden (22 Sekunden).

Soll ich es wieder auf den ursprünglichen wert ändern? Leider weiß ich den nicht mehr genau. 500?
  #651  
Old 18.05.2020, 14:47
pspzockerscene's Avatar
pspzockerscene pspzockerscene is offline
Community Manager
 
Join Date: Mar 2009
Location: Deutschland
Posts: 71,076
Default

Rechts ist ein kleiner gelber Pfeil der setzt zurück auf den Standardwert und ja dieser ist 500.

Grüße, psp
__________________
JD Supporter, Plugin Dev. & Community Manager

Erste Schritte & Tutorials || JDownloader 2 Setup Download
Spoiler:

A users' JD crashes and the first thing to ask is:
Quote:
Originally Posted by Jiaz View Post
Do you have Nero installed?
  #652  
Old 18.05.2020, 14:48
mensa mensa is offline
JD Adviser
 
Join Date: Nov 2012
Posts: 106
Default

Danke!
Jemand eine Idee, warum JDownloader so graviernd langsamer ist beim Entpacken?

Wird da evtl. kein Multithreading verwendet und bei 7zip aber schon? Oder kein "x64" oder irgendwas in die Richtung?

Das Problem ist ja nicht so schlimm, aber interessant wäre schon, warum das denn so ist.
  #653  
Old 18.05.2020, 14:52
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 79,516
Default

Du entpackst von SSD auf SSD? Mit größerem Buffer darf es nicht schlechter werden. Stell mal auf 8192. Default ist 512. Die Zeiten kannst nicht "direkt" vergleichen, da 7zip den Buffer nicht flasht, während JDownloader aber schon, sprich bei JDownloader sind nach dem Entpacken die Daten auch auf der Platte. Welche SSD hast du denn? Denn 9,5 Sekunden wären mehr als 2Gbyte/s IO Dauerleistung
__________________
JD-Dev & Server-Admin
  #654  
Old 18.05.2020, 15:09
mensa mensa is offline
JD Adviser
 
Join Date: Nov 2012
Posts: 106
Default

Quote:
Originally Posted by Jiaz View Post
Du entpackst von SSD auf SSD?
Ja.

Quote:
Mit größerem Buffer darf es nicht schlechter werden.
Es ist aber so. Ich hab das jetzt mehrmals getestet.

Quote:
Stell mal auf 8192.
Damit wird es noch langsamer -> 28 Sekunden!

Quote:
Default ist 512.
Bei mir wird als Default 500 vorgeschlagen. Was stimmt jetzt?

Quote:
Die Zeiten kannst nicht "direkt" vergleichen, da 7zip den Buffer nicht flasht, während JDownloader aber schon, sprich bei JDownloader sind nach dem Entpacken die Daten auch auf der Platte.
Wenn ich den PC sofort nach dem Entpacken mit 7zip stromlos mache ist die entpackte Datei nach dem Neustart trotzdem vollständig und fehlerfrei auf der Festplatte.

Quote:
Welche SSD hast du denn? Denn 9,5 Sekunden wären mehr als 2Gbyte/s IO Dauerleistung
Ich hab eine NVMe SSD (Samsung SSD 970 Evo Plus 1TB), das passt also schon, die kann mit bis zu 3.500 MB/s lesen und bis zu 3.300 MB/s schreiben.
  #655  
Old 18.05.2020, 15:50
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 79,516
Default

@mensa: Können wir uns das mal gemeinsam via Teamviewer anschauen? Ich hatte in meinen Tests nie einen großen Unterschied feststellen können und bei Nutzern wo das war, lag es meist an Firewall/AV die da Speedunterschiede verursacht hat. Auch wundert mich das der größere Buffer hier eher nachteilig ist,obwohl er das Gegenteil sorgen sollte. Gemeinsam können wir dann auch mal eine neuere Lib testen. Ist dein JDownloader 32 oder 64 bit? Findest die Info im About Dialog
__________________
JD-Dev & Server-Admin
  #656  
Old 18.05.2020, 15:51
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 79,516
Default

Kannst mir an support@jdownloader.org oder jiaz@jdownloader.org schreiben
__________________
JD-Dev & Server-Admin
  #657  
Old 18.05.2020, 15:57
mensa mensa is offline
JD Adviser
 
Join Date: Nov 2012
Posts: 106
Default

Quote:
Originally Posted by Jiaz View Post
Ist dein JDownloader 32 oder 64 bit? Findest die Info im About Dialog
Meinst du damit die Java Version? Seh nämlich nur in der Zeile Java etwas bezüglich 64 Bit:

Code:
Java: Oracle Corporation - Java(TM) SE Runtime Environment - 1.8.0_40(64Bit)
Oder soll da von JDownloader selbst auch noch wo was stehen?

Bzgl. Teamviewer ist es grad ein bisschen schlecht.
  #658  
Old 18.05.2020, 16:58
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 79,516
Default

@mensa: ist 64bit, von daher passts. Hättest du denn die Woche mal für Teamviewer Zeit?
__________________
JD-Dev & Server-Admin
  #659  
Old 18.05.2020, 17:31
mensa mensa is offline
JD Adviser
 
Join Date: Nov 2012
Posts: 106
Default

Ehrlich gesagt möchte ich niemanden per TeamViewer auf diesen Rechner lassen.
Können wir das vielleicht auch irgendwie anders lösen?
  #660  
Old 18.05.2020, 17:47
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 79,516
Default

@mensa: du kannst auch gerne so die neuste ausprobieren, siehe
sourceforge.net/projects/sevenzipjbind/files/7-Zip-JBinding/16.02-2.01/
du musst die Dateien so umbennen, dass diese wie die existierenden Dateien heissen, also mit dem 1509 im Namen
__________________
JD-Dev & Server-Admin
  #661  
Old 19.05.2020, 08:17
mensa mensa is offline
JD Adviser
 
Join Date: Nov 2012
Posts: 106
Default

Danke, ich werde das am Abend oder morgen mal probieren.

Ich habe inzwischen das ganze auf einem anderen PC nochmal getestet. SSD dort ist: Samsung SSD 850 EVO 500 GB. Das Zip war ca. 7,5 GB groß.

Entpacken mit 7zip: 83 Sekunden
Enptacken mit JDownloader: 107 Sekunden

Erhöhen der MaxBufferSize brachte keine Verschlechterung, aber auch keine Verbesserung.

Ist also kein lokales Problem und müsste einfach nachgestellt werden können.
  #662  
Old 19.05.2020, 09:04
raztoki's Avatar
raztoki raztoki is offline
English Supporter
 
Join Date: Apr 2010
Location: Australia
Posts: 17,614
Default

@mensa

with your current test its ~29% slower.

I assume you have the cpu priority advanced setting to high? settings > advanced settings > Extraction.cpupriority

problem as I see it, JD has little control over how slow the extraction event is, support is based on its external library. The external library will extract as fast as its code permits (and your system). The only influence JD has is interactions, like preventing extraction of specific items: filename based ignore and sub directory like rules. This could slow down extraction a little. It's not as simple task as external program that just extracts everything without the same check and balances. The only way to really compare if its the library is at fault would be use the external library directly (outside of JD) to perform exact same task, and making sure the same parameters (buffers, on disk checks) are performed by both sides. Then you could determine the exact influence JDownloader extraction extension has and also the library.

raztoki
__________________
raztoki @ jDownloader reporter/developer
http://svn.jdownloader.org/users/170

Don't fight the system, use it to your advantage. :]

Last edited by raztoki; 19.05.2020 at 09:21. Reason: mensa = canteen with g translate
  #663  
Old 19.05.2020, 09:08
mensa mensa is offline
JD Adviser
 
Join Date: Nov 2012
Posts: 106
Default

Quote:
Originally Posted by Jiaz View Post
@mensa: du kannst auch gerne so die neuste ausprobieren, siehe
sourceforge.net/projects/sevenzipjbind/files/7-Zip-JBinding/16.02-2.01/
du musst die Dateien so umbennen, dass diese wie die existierenden Dateien heissen, also mit dem 1509 im Namen
Danke, das Verhalten hat sich dadurch aber leider gar nicht verändert.
  #664  
Old 19.05.2020, 09:11
mensa mensa is offline
JD Adviser
 
Join Date: Nov 2012
Posts: 106
Default

Quote:
Originally Posted by raztoki View Post
with your current test its ~29% slower.
On that PC yes, on the other nearly 80% slower with JD vs. 7zip.

I don't know what exactly I could do or test further now
  #665  
Old 19.05.2020, 09:23
raztoki's Avatar
raztoki raztoki is offline
English Supporter
 
Join Date: Apr 2010
Location: Australia
Posts: 17,614
Default

@mensa well if you want to isolate fault you need todo the tests I mentioned in my previous post.

On your other system, it could be the hardware? differences in 7zip versions, probably other variables in play
__________________
raztoki @ jDownloader reporter/developer
http://svn.jdownloader.org/users/170

Don't fight the system, use it to your advantage. :]
  #666  
Old 19.05.2020, 09:28
mensa mensa is offline
JD Adviser
 
Join Date: Nov 2012
Posts: 106
Default

Sorry, but I don't understand how to do that tests.

Why could it be the hardware? JDownloader and 7zip are running on the same hardware.
7zip version is everywhere the 19.00 x64. I don't think that checking anything in 7zip or on my hardware will lead to faster JDownloader extractions.

I think it will lead to the target if JDownloader devs will check that problem in JDownloader as it could be reproduced on other PCs also easily.
  #667  
Old 19.05.2020, 09:36
raztoki's Avatar
raztoki raztoki is offline
English Supporter
 
Join Date: Apr 2010
Location: Australia
Posts: 17,614
Default

@mensa some cpu architecture are better at crypting/decrypting & compressing/decompressing (two seperate issues) than others.

Assuming you did the same test on two different systems, yet results are vastly different. It could be part of the reason for the large disparity.
__________________
raztoki @ jDownloader reporter/developer
http://svn.jdownloader.org/users/170

Don't fight the system, use it to your advantage. :]

Last edited by raztoki; 19.05.2020 at 09:51.
  #668  
Old 19.05.2020, 09:40
mensa mensa is offline
JD Adviser
 
Join Date: Nov 2012
Posts: 106
Default

The problem is, that on same systems JDownloader is extracting 30% - 80% slower than 7zip!! So there are no different cpu architectures used!!
  #669  
Old 19.05.2020, 09:48
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 79,516
Default

Quote:
Originally Posted by mensa View Post
Why could it be the hardware? JDownloader and 7zip are running on the same hardware.
7zip version is everywhere the 19.00 x64.
@mena: 7zip may optionally use hardware features while the 7zip binding might be compiled with more generic feature set. They share the same code but there are still differences like compiler settings/enabled features/7zip for example supports multithreading 7z extraction while the binding doesn't (as far as I know) and most important. 7zip runs completely native while the bindung runs in Java(Read+Write) and Native(Extraction) which of course may impact performance.

What compression format did you use for testing? Then I will create test archives for myself.

Please test the newest version from link I gave you. Other than that there is not much we can do about different performance.
__________________
JD-Dev & Server-Admin
  #670  
Old 19.05.2020, 10:06
mensa mensa is offline
JD Adviser
 
Join Date: Nov 2012
Posts: 106
Default

I tried with ZIP, but seems the same with RAR.

I already tried the files from your link, but did not change anything.

Maybe that information would have helped one day ago, where I mentioned, that JD is extracting much slower. Then we all would have saved a lot of time wasted for nothing.
  #671  
Old 19.05.2020, 10:17
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 79,516
Default

@mensa: It is important that you rename the files first, you can check the version in Settings->Archive Extractor. Yes, that information about archive format is important because I was talking about RAR only all the time
__________________
JD-Dev & Server-Admin
  #672  
Old 19.05.2020, 10:41
mensa mensa is offline
JD Adviser
 
Join Date: Nov 2012
Posts: 106
Default

RAR is the same, not measured in seconds, but also much slower.

I renamed the files correctly.

Last edited by mensa; 19.05.2020 at 20:31.
  #673  
Old 20.05.2020, 11:16
mensa mensa is offline
JD Adviser
 
Join Date: Nov 2012
Posts: 106
Default

Hier jetzt die Test-Ergebnisse mit RAR Archiven -> es verhaltet sich so ziemlich ident. JDownloader braucht hier leider auch rund doppelt so lange :(


RAR: 7,66 GB auf Samsung SSD 970 Evo Plus 1TB:

7Zip: 9,5 Sekunden

JDownloader (7Zip Binding Version: 15.09-2.01beta)
Max Buffer Size: 500: 19,5 Sekunden
Max Buffer Size: 8192: 22,5 Sekunden

JDownloader (7Zip Binding Version: 16.02-2.01)
Max Buffer Size: 500: 17,5 Sekunden
Max Buffer Size: 8192: 21,5 Sekunden
  #674  
Old 20.05.2020, 16:53
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 79,516
Default

@mensa: Ich werde ein paar Tests unter Linux/Windows machen.
Könntest du mal via Taskmanager die CPU Last von JD/7Zip während dem Entpacken vergleichen? Evtl kann hier 7zip mehrere Kernen fürs Entpacken nutzen, was sich an der CPU Last sofort zeigen dürfte.

Hier mein erstes Ergebnis:
-Linux, 64Bit, Samsung SSD, 500 Buffer Größe, 12.5GB RAR-> JDownloader=1:23 Min, Unrar=1:18 Min
__________________
JD-Dev & Server-Admin

Last edited by Jiaz; 20.05.2020 at 18:28.
  #675  
Old 20.05.2020, 19:18
mensa mensa is offline
JD Adviser
 
Join Date: Nov 2012
Posts: 106
Default

Ich hab mal so gut wie möglich alles geschlossen und dann den Taskmanager beim Entpacken mitlaufen lassen. Die CPU Auslastung war bei JDownloader sogar gefühlt höher!

  #676  
Old 20.05.2020, 19:20
mensa mensa is offline
JD Adviser
 
Join Date: Nov 2012
Posts: 106
Default

Wie man hier sehen kann, verwenden aber sowohl 7Zip als auch JDownloader alle Cores:

  #677  
Old 22.05.2020, 12:31
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 79,516
Default

Auch mal in der Prozesse Liste schauen während dem Entpacker. Evtl funkt beim JDownloader Entpacken ja irgendein Tool/Firewall/AV dazwischen?
Einstellungen->Profieinstellungen->Extraction.cpupriority steht auf High, richtig?
__________________
JD-Dev & Server-Admin

Last edited by Jiaz; 22.05.2020 at 12:44.
  #678  
Old 22.05.2020, 12:53
mensa mensa is offline
JD Adviser
 
Join Date: Nov 2012
Posts: 106
Default

Ich habe kein Tool, keine Firewall und keinen AV installiert.
Priority ist auf High.
Problem läßt sich sehr einfach auf anderen Rechnern nachstellen. Also sicher nichts lokales.
  #679  
Old 22.05.2020, 12:56
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 79,516
Default

Ich konnte es leider nicht lokal nachstellen (Tests auf Windows stehen noch aus)
__________________
JD-Dev & Server-Admin
  #680  
Old 22.05.2020, 12:57
mensa mensa is offline
JD Adviser
 
Join Date: Nov 2012
Posts: 106
Default

Auf welcher SSD?
Closed Thread

Thread Tools
Display Modes

Posting Rules
You may not post new threads
You may not post replies
You may not post attachments
You may not edit your posts

BB code is On
Smilies are On
[IMG] code is On
HTML code is Off

Forum Jump

All times are GMT +2. The time now is 00:22.
Provided By AppWork GmbH | Privacy | Imprint
Parts of the Design are used from Kirsch designed by Andrew & Austin
Powered by vBulletin® Version 3.8.10 Beta 1
Copyright ©2000 - 2024, Jelsoft Enterprises Ltd.