[Solved] CRC wird gemacht fehlerhafte Dateien werden nicht erkannt

Hallo JD community,

Ich habe folgendes Problem. Wenn ich etwas herunterlade wird automatisch ein CRC Check gemacht. Dieser sagt alles ist ok. Sobald ich dann einen zweiten per Hand anstarte sind Dateien mit CRC Fehler vorhanden, die auch wirklich kaputt sind...

Speicher ist es nicht, da ich ihn schon einmal durchgetauscht habe.

Gruß
Sain

[oEFLKQzikCqw]

Originally Posted by Sain

Speicher ist es nicht, da ich ihn schon einmal durchgetauscht habe.

Wenn du dich da mal nicht irrst. Hast du den Speicher überhaupt getestet oder hast du dich auf den Austausch beschränkt?

Check bei der Gelegenheit auch gleich die Platte mit.

[Jiaz]

Memtest laufen lassen
Smart-Daten der Festplatten auslesen

[Jiaz]

Wenn nach dem Download CRC okay, aber danach dann futsch, dann ist es sehr wahrscheinlich die Festplatte.
Nach dem Download kann die Datei noch teilweise im Cache liegen, später aber dann von der Platte gelesen werden und voila, CRC Fehler

Ich drücke mich nochmal genauer aus.
Der Speicher kann es definitiv nicht sein.

Processor 1 1 Good, In Use
Processor 1 2 Good, In Use

Bei den Festplatten hab ich bis eben 7 verschiedene versucht, wobei bei allen die S.M.A.R.T. Werte in Ordnung sind. Immer das gleiche Ergebnis. Ich habe mitlerweile eine dumpfe Vermutung. Auf welchen CPU Baustein greift JD zu zum berechnen des CRC zu.

Gruß
Sain

[oEFLKQzikCqw]

Originally Posted by Sain

Der Speicher kann es definitiv nicht sein.

Warum nicht?

Originally Posted by Sain

Bei den Festplatten hab ich bis eben 7 verschiedene versucht, wobei bei allen die S.M.A.R.T. Werte in Ordnung sind. Immer das gleiche Ergebnis.

Auch dann können Platten defekt sein, weshalb man sie im Zweifelsfalle auch mit dem Tool des Herstellers testet. Ist allerdings nicht besonders häufig und die Wahrscheinlichkeit, dass das dann gleich bei deinen 7 Platten gleichzeitig auftritt, dürfte gegen Null gehen. Wenn du dann auch noch den RAM ausschließt (warum auch immer), werden die Daten dann auf dem Weg zur Platte korrumpiert.

Was für Platten sind das und wie sind die angeschlossen?

Weil es ein HP Server ist.

Wenn er defekt wäre und es das ILO nicht anzeigen würde hätten 25,4% (Marktanteil HP) der IT Konzerne ein Problem. Ich denke da nur an defekte Datenbanken und so weiter.

Übrigens kann es der Raid-Controller auch nicht sein, da er aus ist.

Ich dachte es gäbe schon einen Ansatz, woher es kommen kann. Muss jetzt den langen weg gehen...

Das komische ist, es passiert nur bei JD2.

Gibt es Irgendwo noch JD1 zum Offiziellen Download?

Wenn ich die Downloads bei DownThemAll einreihe ist alles super.

Kleines Update zu den Platten:
USB3, ESATA,SAS,SATA HDD/SSD wurden getestet

Gruß
Sain

[oEFLKQzikCqw]

Originally Posted by Sain

Weil es ein HP Server ist.

Wenn er defekt wäre und es das ILO nicht anzeigen würde hätten 25,4% (Marktanteil HP) der IT Konzerne ein Problem. Ich denke da nur an defekte Datenbanken und so weiter.

Das funktioniert allerdings nur mit ECC-RAM. Hast du ECC-RAM verbaut? Außerdem, nur weil es ein HP-Server ist, heißt das noch lange nicht, dass es da keine Probleme mit Hard- und Firmware geben kann.

Originally Posted by Sain

Ich dachte es gäbe schon einen Ansatz, woher es kommen kann. Muss jetzt den langen weg gehen...

Das komische ist, es passiert nur bei JD2.

Verwendest du zufälligerweise mehrere Verbindungen pro Download und irgendeine Sicherheitssoftware? Da verwendet JD2 Sparse-Dateien und mit denen hat so manche Sicherheitsoftware Probleme.

Ach ja, was benutzt du als OS und welche Javaversion?

Originally Posted by Sain

Gibt es Irgendwo noch JD1 zum Offiziellen Download?

Wohl nicht mehr.

[Jiaz]

Ich warte auf einen Test via Memtest....Die Aussage "weils es ein HP Server ist" lass ich nicht gelten. Selbst ECC-RAM kann Fehler verursachen. ECC-RAM schützt ja nur den RAM selbst, nicht aber die IO. Sprich ich kann A reinschreiben und B rauslesen ohne das ECC-RAM nen Fehler meldet, wenn der Fehler vor dem RAM passiert.
Und ein "ausgeschalteter" RAID-Controller an dem Platten hängen kann genauso Fehler verursachen, wie ein "eingeschalteter" RAID-Controller.

Die Fehler kommen 100% nicht vom JDownloader 2. Der schaufelt die Daten rein von Netzwerk auf die Festplatte und der CRC Check ist ja auch Fehlerfrei.

Aber ich lasse mich gerne vom Gegenteil überzeugen

Ok, werde einen Memtest laufen lassen.

Wenn der "sauber" ist werde ich die PSU vor der CPU tauschen und wenn dass auch nix bringt, kommt die CPU dran.

Das komische ist halt, dass ich bis dato keine anderen Fehler aufgetreten sind und die Kiste sonst keine Probleme macht.

OS EE 2008 r2
Java 8 Update 65 build (1.8.0_64-b17)

Downloads laufen 2 Downloads mit je 2 Segmenten. Habe aber auch schon 1 / 1 gemacht.

Speicher ist ECC registered

Nochmal die Frage. Hattet ihr schonmal so einen Fall, dass erst der 2. check die "defekten" Daten anzeigt?

[Jiaz]

2te Check?

JDownloader prüft nur 1x nach dem Download den CRC.
Welchen 2ten meinst du?

Nach dem Downloader oder nach dem Entpacken?

**External links are only visible to Support Staff****External links are only visible to Support Staff**
Das ist der MEM CHECK und der ist wie erwartet sauber.

2 check par hand angestartet

[Jiaz]

Also der CRC Check nach dem Download geht
Und dann über Rechtsklick->CRC Check schlägt er dann fehl?
Immer/Manchmal/Selten/Häufig?

Ich sag jetzt mal von 40 rar Dateien für eine Datei, die ich damals selbst hochgeladen habe, schlagen 0-5 aus der Reihe. Sind unkomprimierte Clan Videos.

[Jiaz]

CRC beim Entpacken oder wenn du via Rechtsklick Hash prüfst?

SmartDaten aller Festplatten okay?

Ja die Platten sind OK

[Jiaz]

Bitte die ROH Smart Daten. Die Einschätzung Gut/Nicht Gut will man gerne selbst machen

General Information
Drive Controller: Serial ATA 6Gb/s @ 6Gb/s
Drive Model: TS256GSSD370S
Drive Revision: N1114H
Drive Serial Number: C162660562
Drive Capacity: 244,198 MBytes (256 GB)
Media Rotation Rate: SSD Drive (Non-rotating)

Self-Monitoring, Analysis and Reporting Technology (S.M.A.R.T.)
[01] Raw Read Error Rate: 100/16, Worst: 100
[02] Throughput Performance: 144/54, Worst: 144 (Data = 83)
[03] Spin Up Time: 149/24, Worst: 149 (Data = 22282636)
[04] Start/Stop Count: 99/Always OK, Worst: 99 (Data = 4088)
[05] Reallocated Sector Count: 100/5, Worst: 100
[07] Seek Error Rate: 100/67, Worst: 100
[08] Seek Time Performance: 138/20, Worst: 138 (Data = 33)
[09] Power-On Hours/Cycle Count: 97/Always OK, Worst: 97 (Data = 21637)
[0A] Spin Retry Count: 100/60, Worst: 100
[0C] Power Cycle Count: 100/Always OK, Worst: 100 (Data = 43)
[C0] Unsafe Shutdown Count: 97/Always OK, Worst: 97 (Data = 4106)
[C1] Load/Unload Cycle Count: 97/Always OK, Worst: 97 (Data = 4106)
[C2] Temperature 171/Always OK, Worst: 171 (Data = 35.0 °C)
[C4] Erase Failure Block Count/Reallocation Event Count 100/Always OK, Worst: 100
[C5] Read Failure Block Count/Current Pending Sector Count 100/Always OK, Worst: 100
[C6] Off-Line Uncorrectable Error Count/Total Count of Read Sectors 100/Always OK, Worst: 100
[C7] CRC Error Count/Total Count of Write Sectors 200/Always OK, Worst: 200


General Information
Drive Controller: Serial ATA 6Gb/s @ 6Gb/s
Drive Model: Corsair Force LS SSD
Drive Revision: S9FM02.0
Drive Serial Number: 153681110001024700EC
Drive Capacity: 57,241 MBytes (60 GB)
Media Rotation Rate: SSD Drive (Non-rotating)
Nominal Form Factor: 2.5"

Self-Monitoring, Analysis and Reporting Technology (S.M.A.R.T.)
[01] Raw Read Error Rate: 100/50, Worst: 100
[05] Reallocated Sector Count: 100/50, Worst: 100
[09] Power-On Hours/Cycle Count: 100/Always OK, Worst: 100 (Data = 640)
[0C] Power Cycle Count: 100/Always OK, Worst: 100 (Data = 9)
[A2] Spare Block Count: 75/Always OK, Worst: 75 (Data = 49)
[AA] Available Reserved Space/Block Count: 100/Always OK, Worst: 100 (Data = 77)
[AC] Erase Fail Count: 100/Always OK, Worst: 100
[AD] Wear Leveling Count/Erase Count: 100/Always OK, Worst: 100 (Data = 1179750)
[AE] Unexpected Power Loss Count: 100/Always OK, Worst: 100
[B5] Program Fail Count (Total)/Unaligned Access Count: 100/Always OK, Worst: 100
[BB] Uncorrectable Error Count/Total Erase Count: 100/Always OK, Worst: 100
[C0] Unsafe Shutdown Count: 100/Always OK, Worst: 100
[C2] Temperature 70/Always OK, Worst: 70 (Data = 30.0 °C)
[C4] Erase Failure Block Count/Reallocation Event Count 100/Always OK, Worst: 100
[DA] Unknown 100/Always OK, Worst: 100
[E7] SSD Life Left: 100/Always OK, Worst: 100 (Data = 99)
[F1] Total Host Writes 100/Always OK, Worst: 100 (Data = 742)
[F2] Total Host Reads/Write Protect Progress 100/Always OK, Worst: 100 (Data = 114)

Drive Remaining Life 100%

General Information
Drive Controller: Serial ATA 6Gb/s @ 6Gb/s
Drive Model: Seagate ST3000DM001-1ER166
Drive Revision: CC43
Drive Serial Number: Z5005RBN
World Wide Name: 5000C500674D218B
Drive Capacity: 2,861,588 MBytes (3000 GB)
Media Rotation Rate: 7200 RPM
Nominal Form Factor: 3.5"

Self-Monitoring, Analysis and Reporting Technology (S.M.A.R.T.)
[01] Raw Read Error Rate: 100/16, Worst: 100
[02] Throughput Performance: 143/54, Worst: 143 (Data = 88)
[03] Spin Up Time: 138/24, Worst: 138 (Data = 26214797)
[04] Start/Stop Count: 99/Always OK, Worst: 99 (Data = 4151)
[05] Reallocated Sector Count: 100/5, Worst: 100
[07] Seek Error Rate: 100/67, Worst: 100
[08] Seek Time Performance: 138/20, Worst: 138 (Data = 33)
[09] Power-On Hours/Cycle Count: 97/Always OK, Worst: 97 (Data = 21204)
[0A] Spin Retry Count: 100/60, Worst: 100
[0C] Power Cycle Count: 100/Always OK, Worst: 100 (Data = 39)
[C0] Power-Off Retract Count: 97/Always OK, Worst: 97 (Data = 4155)
[C1] Load/Unload Cycle Count: 97/Always OK, Worst: 97 (Data = 4155)
[C2] Temperature 166/Always OK, Worst: 166 (Data = 36.0 °C)
[C4] Reallocation Event Count: 100/Always OK, Worst: 100
[C5] Current Pending Sector Count: 100/Always OK, Worst: 100
[C6] Off-Line Uncorrectable Sector Count: 100/Always OK, Worst: 100
[C7] UltraDMA/SATA CRC Error Rate: 200/Always OK, Worst: 200

Das sind die, die ich mit JD benutze

OS Transcend
Transfer/Download Corsair
Entpackpunkt Seagate

[Jiaz]

Wenn du den Part erneut via Rechtsklick herunterlädst, dann alles okay?
Welche Anbindung? Paketloss?

ja dann ist alles ok...

Nein kein Paket Verlust. Was meinst du mit Anbindung?

Was ich auch komisch finde, ist das JD beim Entpacken immer nur den ersten Part anzeigt. In der alten Version hat er immer die Fehlerhafte angemeckert.

[Jiaz]

Steht der Server bei dir daheim?
Könnte ja auch irgendwo in nem RZ stehen.
Mit Anbindung meine ich "WLAN/LAN/DSL/Kabel....."

[Jiaz]

Originally Posted by Sain

Was ich auch komisch finde, ist das JD beim Entpacken immer nur den ersten Part anzeigt. In der alten Version hat er immer die Fehlerhafte angemeckert.

Das liegt daran das die verwendete Library zum Entpacken diese Information nicht nach außen weitergibt. Wir müssen uns da Tricks behelfen.

Aber warum beim Entpacken? Wenn alle Parts ohne CRC Fehler geladen werden und dennoch beim Entpacken was schief geht, dann liegt es definitiv irgendwo an der Platte/System/XY.
Wenn der CRC Check erst Okay ist, und dann beim Entpacken danach doch wieder Fehler kommen, dann muss zwischenzeitlich die Datei auf der Platte futsch gegangen sein.

Evtl mal auf andere Platten Downloaden und Entpacken?

Sorry das war jetzt nur eine Zwischenfrage.

Ich lade jetzt alle runter, bis auf die Letzte. Mache den CRC Check und wenn alle ok sind, starte ich den letzten an und der startet dann das entpacken.

Der Steht zu Haus und hat momentan von 200 Mbit/s bis 600 Mbit/s. Sind ca. 25Mb/s- 75Mb/s

Normaler LAN-Anschluss mit Cat7a S/FTP

Ist das wichtig?

Sorry vergessen. ja die Platten hab ich schon alle mal durchgetauscht. War ja mein erster Gedanke...

[Jiaz]

Also wenn du den CRC Check manuell anwirfst dann kommt der Fehler?
Und die Frage mit dem CRC Fehler beim Entpacken war Offtopic?

Ja dann kommt der Fehler.

Ja sozusagen. Ich hab dem ersten check vertraut und dann hat JD beim entpacken gesagt, nö is net. Im laufe des vorgestrigen Abends bin ich dann auf den die Idee mit dem 2. check gekommen und siehe da, die Dateien waren Putt und das direkt nachdem Download. Also dachte ich:Frag mal hier nach, ob jemand das Problem kennt.

Testweise die Geschwindigkeit drosseln:
10MB/s keine CRC Fehler
15MB/s keine CRC Fehler
20MB/s keine CRC Fehler
25MB/s keine CRC Fehler
30MB/s keine CRC Fehler
35MB/s keine CRC Fehler
40MB/s keine CRC Fehler
Offen keine CRC Fehler

Ich Ralls net.:outch:

Während des schließens und öffens von JD2 wurden heute updates installiert, obwohl ich vorgestern nach Updates gesucht hatte. Dieser Erdball mit dem Blauen und roten Pfeil der auf der Leitung hockt.

Kann es sein das da was in der Richtung dabei war?

[Jiaz]

Nein, es gab schon lange keine Änderungen an Download relevanten Teilen des Codes.
Noch immer alles "ohne CRC Fehler"?

Aktuell Ja. Werde mich melden sobald irgendwas passiert, bzw. ich fertig bin. Hab ja noch ein paar TB vor mir.

Nö, das Problem besteht weiterhin. Ich schau mir mal die Dateien genauer an.

Habe es auch von meinem Tower versucht. Genau das selbe verhalten. Fehlerhaft sind zumeist die Dateien, die instant da sind. Heißt download startet 0 und dann sofort 100%

[Jiaz]

Wie groß sind denn solche Datein die "instant" da sind?

[Jiaz]

Also hilft Speed limitieren auch nichts?

100MB sind die Dateien groß. Speed Limit auf ca. 25MB/s hilft da ab. Dann kommen keine CRC Fehler mehr.
Die Dateien die ich an dem Tag mit der Drosselung geladen hatte waren immer 200MB groß.

Übrigens hat der Vergleich der Dateien ergeben, dass sich am Ende der fehlerhaften Datei die Sequezen wiederholt haben. Bei ca. 80% hat das angefangen.

Weiterhin wurden die Dateien nicht bis zu Ende Geladen. Testweise ein 100MB File angestoßen und es kamen nur 82MB an, aber JD war der Meinung: Hey ich bin fertig.

Ich denke wir können an dieser Stelle das Thema schließen. Da ich für mich eine Workaround gefunden habe und mich frühestens mitte Dezember wieder darum kümmern muss.

Gruß
Sain

[Jiaz]

Die Datei sollte 100 Mbyte haben, geladen wurden aber nur 82 Mbyte und JDownloader denkt die Datei ist korrekt? Von welchem Hoster? Über original Account oder nen Multihoster geladen?