[herpderp]

Hallo zusammen,

so wie ich das jetzt beobachtet habe wird man, sobald man ein Download im JDownloader startet, zuerst mit dem Hoster verbunden, ggf. das Captcha geprueft und dann erst geschaut ob genuegend Speicherplatz zur Verfuegung steht.

Im Falle von Rapidgator habe ich hier allerdings ein kleines Problem wenn ich nicht mehr genuegend Speicherplatz zur Verfuegung habe (woran ich auch selbst Schuld bin). Undzwar ist es jetzt so das ich laut Rapidgator Webseite den Download bereits gestartet habe und nun wieder 2h warten muss bis ich die naechste Datei laden kann (Free Mode). Die Wartezeit ist fuer mich eher unproblematisch, nerviger ist das man dadurch einen von drei kostenlosen Downloads pro Tag verliert.

Ist mir bisher so auch nur bei Rapidgator aufgefallen, Katfile bspw. handhabt das alles etwas anders. Ich weiss jetzt nicht wie Hoster im Detail funktionieren aber vermutlich wird hier gespeichert ob meine IP den Download bereits beendet hat (oder aehnlich), dadurch kann man bei gleichem Szenario hier problemlos den Download fortfuehren nachdem man etwas Speicherplatz freigeraeumt hat.

Waere es moeglich das Verhalten anzupassen sodass vor Aufruf der Downloadseite geprueft wird ob genuegend Speicherplatz zur Verfuegung steht? Theoretisch sollte das vermutlich moeglich sein da die Dateigroesse bereits vor dem Start des Downloads bekannt ist?!

Vielen Dank im Voraus.


Liebe Gruesse

Derp

[Jiaz]

@herpderp: Das ist bereits jetzt so und es wurde hier auch nichts geändert. JDownloader prüft vor dem Download (sofern die Dateigröße bekannt ist) und beim eigentlichen Download nochmals (weil hier dann die finale Größe bekannt ist).

Was ist dein Ziel? Lokal/Netzwerk? Welches Dateisystem?
Bist du auf MacOS oder Windows?

[herpderp]

Vielen Dank fuer die schnelle Rueckmeldung.

Ziel ist lokal, Dateisystem ext4. OS ist Debian Bookworm.
Ich haette noch mehr Details in den ersten Post stecken sollen, es handelt sich vermutlich eher um eine Art "Edge Case".

Ich starte mehrere Downloads (von verschiedenen Hostern) und habe bei Rapidgator allerdings eine Wartezeit von einer Minute bevor das Captcha geladen wird. Derweil sind die anderen beiden Downloads schon gestartet worden.

Hier ist dann vermutlich das "Problem", vor der Wartezeit wird dann geprueft ob genuegend Speicherplatz zur Verfuegung steht und bei Aufruf des Captchas dann vermutlich nicht sondern erst wieder sobald das Captcha bestaetigt wurde? Zumindest wuerde ich dein "beim eigentlichen Download nochmals" so interpretieren.

[pspzockerscene]

Du meinst, die Downloads, die sofort starten verbrauchen während Rapidgator wartet bereits alles an verfügbarem Festplattenspeicher?
Und ich nehme an, es geht dir vor allem um die dadurch entstehenden unnötigen Captchaeingaben?

Von welchen Hostern lädst du sonst noch?
Werden bei allen Hostern von denen du lädst die Dateigrößen schon vor dem Download in JDownloader angezeigt?

Ich hab unsere Logik dazu gerade nicht vollständig im Kopf, aber ich denke das kann durchaus so wie von dir beschrieben passieren, da der Free Space Check afaik vor dem Start des einzelnen Download-Items passiert und dem Controller ist egal, ob dieser sofort startet oder erst noch eine Weile wartet.
Warum ist deine HDD dauerhaft fast voll?

Ich sehe jetzt keine Notwendigkeit, diesen Edge-Case standardmäßig abzudecken.
Vor allem wäre auch die Frage, wie man dies am besten machen würde und welche Nebeneffekte es haben könnte:
Bei wartenden Downloads alle X Zeit erneut prüfen, ob noch genug Speicherplatz vorhanden ist?
Was, wenn die Wartezeit z.B. 5 Minuten beträgt, nach 2 Minuten ist deine Platte voll, aber bis die Wartezeit abgelaufen ist, hast du wieder Platz geschafft? Dann wäre der Download unnötigerweise abgebrochen worden.
Was ist mit Hostern, bei denen das Captcha vor der Wartezeit kommt?

Falls du den Fall dennoch abdecken möchtest, hätte ich folgende Ansätze für dich:
- Alle Downloads mit Wartezeit zuerst starten (ggf per Script automatisieren)
- Per Script während Downloads am Warten sind alle X Zeit auf verfügbaren Speicherplatz prüfen lassen und diese abbrechen, falls die Platte vor Ablauf der Wartezeit voll ist
- JDownloader zwingen, noch mehr freien Speicherplatz zu lassen siehe Profieinstellungen: GeneralSettings.forcedfreespaceondisk -> Unklar, ob dies wirklich hilft, da das einfach dafür sorgen wird, dass JD schon früher sagt "Platte voll"
EventScripter subforum:
https://board.jdownloader.org/forumdisplay.php?f=52
EventScripter help article:
https://support.jdownloader.org/know...event-scripter

Speziell zu rapidgator:
Das RG Plugin bietet eine Optimierungseinstellung, um bei Free Dwonloads die Wartezeit zu verkürzen.
Poste bitte einen Screenshot von Einstellungen -> Plugins -> rapidgator.net

[Jiaz]

JDownloader prüft auf genug Speicherplatz vor dem Download. Also bevor irgendwas mit dem Link gemacht wird. Und anschließend aber auch nochmals bevor der Download letztendlich gestartet wird, also die finale/eigentliche DownloadURL geladen/gespeichert wird. Davor können weitere Schritte wie Passwörter/Captchas/Wartezeiten usw vorkommen, und hier wird nicht erneut geprüft.

Ich frage mich tatsächlich wie deine Nutzung/Situation ist, weil bei der Prüfung wird anschließend auch der Speicherplatz *reserviert* und JDownloader lässt genug Speicher für die einzelnen Files *frei*. Sprich damit es zwischen beiden Prüfungen zu Diskrepanz führt (Prüfung A -> genug Speicher, Prüfung B -> nicht mehr genug Speicher), muss sich zwangsläufig die Dateigröße zwischendrin ändern oder bei Prüfung A keine Dateigröße bekannt sein.

Zeigen deine Links vor dem Download/vor dem Start eine Dateigröße an? Hast du evtl den Diskspace Check deaktiviert?
Lädst du außerhalb von JDownloader was herunter oder belegst anders den Speicher, weil das kann JDownloader ja nicht *reservieren* ?

[herpderp]

Entschuldigt bitte meine spaete Rueckmeldung, ich hatte leider nicht frueher die Zeit gefunden ausfuehrlich zu antworten. Ich hoffe ich vergesse jetzt nicht auf eine der Fragen zu antworten.

Kurz zu meinen "Szenario", da die fragen von euch beiden kam. Also ich betreibe den JDownloader auf einem RasPi, da haengt eine 64GB Karte drin. Da laufen im Hintergrund keine anderen Downloads oder sonstige Applikationen welche grossartig Speicherplatz verbrauchen. In der Regel transferiere ich Daten sobald ein Paket fertig geladen ist nur manchmal habe ich den freien Speicherplatz nicht auf dem Schirm, gerade wenn ich morgens nach dem Aufstehen die Downloads starte.

In der Regel lade ich von den drei Hostern: Rapidgator, DDownload und Katfile, bei allen Hostern wird zuvor die Dateigroesse angezeigt. Sofern ich bei Rapidgator keine Wartezeit habe oeffnen sich die Captchas der jeweiligen Hoster auch immer in der gleichen Reihenfolge. Erst Rapidgator, dann Ddownload, abschliessend Katfile.
Sonst hatte ich bei Katfile immer das Problem mit dem Speicherplatz, aber hier ist es weniger problematisch da der Hoster anscheinend speichert ob meine IP den Download bereits beendet hat. Hier kann ich problemlos Minuten spaeter noch auf "Resume" klicken und der Download startet.
Jetzt ist es halt allerdings so, ich weiss nicht in welchem Zusammenhang das steht, das ich selten mal Rapidgator Links habe wo ich entweder eine oder zwei Minuten warten muss bevor sich das Captcha ueberhaupt oeffnet.

Du meinst, die Downloads, die sofort starten verbrauchen während Rapidgator wartet bereits alles an verfügbarem Festplattenspeicher?

Ja genau das ist der Fall. Ich habe sonst auch keine anderen Dinge am laufen welche Speicherplatz verbrauchen.

Und ich nehme an, es geht dir vor allem um die dadurch entstehenden unnötigen Captchaeingaben?

Tatsaechlich nicht, mein Problem ist eher das der Hoster Rapidgator im jetzigen Szenario denkt ich haette den Download bereits gestartet, da ich das Captcha geloest und somit der "Downloadstream" gestartet wurde.
Wenn ich jetzt, nachdem ich Platz freigeraeumt habe, den Download "Resume" dann sieht Rapidgator dies als komplett neuen Downloadversuch an, ich muss 2h warten und habe zusaetzlich 1/3 freien Downloads verbraucht.

Bei wartenden Downloads alle X Zeit erneut prüfen, ob noch genug Speicherplatz vorhanden ist?

Mein Laienhafter Gedanke waere das man einfach, bevor das Captcha geoeffnet wird, nochmals ein getFreeDiskSpace() ausfuehrt, aber klar, man kann nie wissen was fuer Nebeneffekte das Ganze dann haben kann. Vielen Dank fuer den Tipp mit dem Eventscripter, wusste gar nicht das es sowas gibt. Werde ich mir mal anschauen.


@Jiaz

Ja ich hatte mir auch schon bereits Gedanken darueber gemacht wie genau die "getFreeDiskSpace();" Funktion (welche ich im Eventscripter entdeckt hatte) funktioniert.
Also mein Szenario ist halt wie folgt,

Ich habe 2.5GB freien Speicherplatz und starte 3 Downloads (Rapidgator, Ddownload, Katfile) mit jeweils 1GB Groesse.
Meine Vermutung ist jetzt das die "getFreeDiskSpace();" Funktion zum einen den freien Speicherplatz "berechnet" und zusaetzlich von diesem Speicherplatz noch die Dateigroessen von aktuell aktiven Downloads abzieht. Da zu dem Zeitpunkt (vor Eingabe eines jeglichen Captchas) noch kein aktiver Download besteht habe ich aus JDownloader Sicht genuegend Platz fuer alle drei Dateien (obwohl das ja rein theoretisch nicht stimmt).
Das erste Captcha wird geloest, getFreeDiskSpace() gibt jetzt 2.5GB zurueck. Das zweite Captcha wird geloest, getFreeDiskSpace() gibt 1.5GB zurueck. Das dritte Captcha wird geloest, getFreeDiskSpace() gibt 0.5GB zurueck.

Das schliesse ich jetzt zumindest aus meinen Beobachtungen, korrigiert mich gern wenn ich da falsch liege. Waere es, wenn dem so ist, dann nicht optimaler auch noch nicht gestartet Downloads in den getFreeDiskSpace() Check einzubeziehen?

Hast du evtl den Diskspace Check deaktiviert?

Ist das eine Einstellung im Jdownloader? Hatte jetzt mal durch die Einstellungen geschaut aber nichts entsprechende gefunden und wuesste auch nicht das ich wissentlich soetwas deaktiviert haben sollte.

Bei Rueckfragen gern nochmal melden.

Habt ein schoenes Wochenende.

[pspzockerscene]

Originally Posted by herpderp

Ist das eine Einstellung im Jdownloader?

Ja siehe Einstellungen -> Profieinstellungen -> GeneralSettings.freespacecheckenabled

Zu dem Rest deines Posts:
Jiaz wird darauf eingehen, sobald er Zeit findet.

[Jiaz]

@herpderp: JDownloader prüft UND reserviert den Speicherplatz. Wenn ein Download startet, dann wird geprüft wieviel Speicher gerade auf dem jeweiligen Ziel noch frei ist. Dabei wird ebenfalls der reservierte Speicher für alle weiteren Downloads/Entpackvorgänge mit dem gleichen Ziel beachtet.
3 Downloads starten, jeweils 500MB Größe, Festplatte hat 1GB frei
1ter Download -> Es sind 1GB frei -> 0 Downloads laufen -> Supi, reserviere 500MB
2ter Download -> Es sind 1GB frei -> 1 Download läuft bereits und hat 500MB reserviert -> Supi, reserviere weitere 500 MB
3ter Download -> Es sind 1GB frei -> 2 Downloads laufen bereits und haben 1GB reserviert -> Nix gut -> Nicht genug Speicher -> Startet nicht mit entsprechender Fehlermeldung.

Zusätzlich zu den reservierten Speicherplatz der Downloads/Verarbeitungs/Entpackvorgängen, hält JDownloader ebenfalls noch Einstellungen->Profieinstellungen->GeneralSettings.forcedfreespaceondisk MB (default 128) frei.

Die Prüfungen/Reservierungen laufen alle synchron ab, sprich immer brav nacheinander.

Sprich ein Download startet erst gar nicht, wenn zu dem Zeitpunkt die Rechnung

(Freier Speicherplatz - JDownloader Reserve - alle Downloads Reserve - alle Entpackvorgänge Reserve - alle sonstigen Reserven) < benötiger Speicherplatz

ist.

Das einfachste wäre du erstellst ein Log, siehe https://support.jdownloader.org/de/k...d-session-logs
sobald das Problem erneut auftritt und postest dann hier die angezeigte logID. Danach können wir im Log genau jene Meldungen (freier und reservierter Speicher) prüfen.

[herpderp]

Danke euch fuer die schnelle Rueckmeldung.

Einstellungen -> Profieinstellungen -> GeneralSettings.freespacecheckenabled
Einstellungen->Profieinstellungen->GeneralSettings.forcedfreespaceondisk

Habe ich ueberprueft und ist alles auf Standardeinstellungen (Haken aktiviert und 128 MB).

@ Jiaz

Danke fuer die ausfuehrliche Schilderung, war sehr gut nachzuvollziehen. Genau so hatte ich das in der Tat auch verstanden allerdings spiegelt deine Darstellung nicht ganz meinen Fall wider.
Was ich aber jetzt schon mal festhalten will, es handelt sich hier nicht um einen Bug, der JDownloader tut genau das wie es im laut Programmierung gesagt wurde, eher um die Verbesserung eines vorhandenen Features. Der Threadtitel ist vielleicht auch etwas irrefuehrend, theoretisch betrifft es alle Hoster welche ein Captcha verlangen.

Ich habe heute morgen mal das Szenario nachgestellt, nur mit dem Unterschied das diesmal Katfile zuletzt geoeffnet wird (anstelle von Rapdigator, damit ich keinen kostenlosen Download verliere).

1. Es werden 3 Downloads gestartet
Freier Speicher: ~2.5 GB
Downloads: Rapidgator (1000 MB), DDownload (~950MB) und Katfile (1000 MB).

Rapidgator Log:

--ID:103TS:1741690181892-11/03/2025, 11:49:41 -  [jd.controlling.downloadcontroller.DiskSpaceManager(handle)] -> DiskSpaceManager:Result:OK|File:/home/pi/Downloads/datei1.part2.rar.part|Root(s):[/]|Requestor:null|RequestedSpace:1.103 GB|UsableSpace:2.612 GB

Ddownload Log:

--ID:103TS:1741690181861-11/03/2025, 11:49:41 -  [jd.controlling.downloadcontroller.DiskSpaceManager(handle)] -> DiskSpaceManager:Result:OK|File:/home/pi/Downloads/datei2.rar.part|Root(s):[/]|Requestor:null|RequestedSpace:1.033 GB|UsableSpace:2.612 GB

Katfile Log:

--ID:103TS:1741690181920-11/03/2025, 11:49:41 -  [jd.controlling.downloadcontroller.DiskSpaceManager(handle)] -> DiskSpaceManager:Result:OK|File:/home/pi/Downloads/datei3.part05.rar.part|Root(s):[/]|Requestor:null|RequestedSpace:1.103 GB|UsableSpace:2.612 GB

Status: 3 Downloads wurden gestartet, 0 Downloads laufen, 3 Downloads warten auf Captcha

2. Browser oeffnet sich, das Rapidgator Captcha wird geloest

--ID:103TS:1741690214779-11/03/2025, 11:50:14 -  [jd.controlling.downloadcontroller.DiskSpaceManager(handle)] -> DiskSpaceManager:Result:OK|File:/home/pi/Downloads/datei1.part2.rar|Root(s):[/]|Requestor:Thread[Download: datei1.part2.rar_rapidgator.net,1,main]|RequestedSpace:1.103 GB|UsableSpace:2.603 GB

Status: 3 Downloads wurden gestartet, 1 Download laeuft, 2 Downloads warten auf Captcha

3. Browser oeffnet sich, das DDownload Captcha wird geloest

--ID:103TS:1741690248491-11/03/2025, 11:50:48 -  [jd.controlling.downloadcontroller.DiskSpaceManager(handle)] -> DiskSpaceManager:Result:OK|File:/home/pi/Downloads/datei2.rar|Root(s):[/]|Requestor:Thread[Download: datei2.rar_ddownload.com,1,main]|RequestedSpace:2.007 GB|UsableSpace:2.605 GB

Status: 3 Downloads gestartet, 2 Downloads laufen, 1 Download wartet auch Captcha

4. Browser oeffnet sich, das Katfile Captcha wird geloest

--ID:103TS:1741690264099-11/03/2025, 11:51:04 -  [jd.controlling.downloadcontroller.DiskSpaceManager(handle)] -> DiskSpaceManager:Result:FAILED|File:/home/pi/Downloads/datei3.part05.rar|Root(s):[/]|Requestor:Thread[Download: datei3.part05.rar_katfile.com,1,main]|RequestedSpace:2.983 GB|UsableSpace:2.598 GB

Katfile (und andere Hoster) haben nun meine IP geloggt da der letztere FreeSpace-Check anscheinend erst erfolgt waehrend/nachdem der TCP Downloadstream geoeffnet wird (oder wie auch immer :D), auf jeden Fall wertet der Hoster dies als gestarteten Downloadversuch.

Also, wie gesagt, der JDownloader tut anscheinend genau das was ihm gesagt wurde, ich selbst haette jetzt nur den Vorschlag eingebracht das es vielleicht sinnvoll waere generell vor dem Oeffnen des Browsers/Laden des Captchas nochmals einen FreeSpace-Check durchzufuehren da in der Zwischenzeit, durch das loesen anderer Captchas, der freie Speicher bereits verbraucht worden sein kann.

[Jiaz]

@herpderp: Danke für die Rückmeldung und ich hatte den ganzen Vorgang leider anders in Erinnerung als er dann anscheinend ist. Ich schaue mir das nochmals an und meld mich dann wieder. Entweder ging da mal was *kaputt* im Ablauf und ich behebe das Problem oder ich optimiere den Vorgang, sodass diese Situation nicht auftreten kann.