Wie groß genau ist die Datei denn?
Wieviel Speicher hat dein System? Also im Log ist zu sehen, dass JDownloader mit dem Laden der Liste beschäftigt ist, daher die Frage wie groß die Datei ist.
Alternativ mal mit -Xmx2g probieren.
keine weiteren Parameter, einfach nur java -Xmx2g -jar JDownloader.jar
Gerne kann ich auch via Teamviewer helfen, schreib mir einfach ne E-Mail an
support@jdownloader.org