JDownloader Community - Appwork GmbH
 

Reply
 
Thread Tools Display Modes
  #1  
Old 24.03.2021, 16:30
Fr34k999 Fr34k999 is offline
Baby Loader
 
Join Date: Mar 2021
Posts: 5
Default Laufende Downloads und Proxys

Hi, vlt kann mir jemand helfen. Ich habe mehrere Downloads in der Warteschleife (+500 Links) und möchte diese als Free-User herunterladen.

Hierfür habe ich mehrere tausend Proxies definiert. (Ca. 3000).
Ausserdem habe ich die Domain bei den GeneralSettings.domainRules so angepasst, dass es 250 Links gleichzeitig abarbeiten kann. Hoster reguliert den Download auf 100kb/s. Ich habe jedoch eine gbit Leitung, somit sollte das kein Problem sein.

Nun jedoch zum Problem - laufende Downloads habe ich meistens nur ca. 80. Ganz am Anfang versucht er mit 250 gleichzeitig laufenden Downloads, die Zahl sinkt jedoch rapide auf 80. Hier sprechen wir übrigens nicht von den Offenen Verbindungen - welche bei ca. 50 liegt.

Warum liegt die Zahl nur bei 80? Ausserdem wird die Proxy-Liste oft in der hälfte einfach nicht mehr weiter gemacht. Die Zahl springt teilweise auch wieder auf 120. Jedoch habe ich etliche Links in der Warteschlange die weiter verarbeitet werden könnten.

Liegt es an der grösse der Proxy-Liste?

Fr34k
Reply With Quote
  #2  
Old 24.03.2021, 21:43
Fr34k999 Fr34k999 is offline
Baby Loader
 
Join Date: Mar 2021
Posts: 5
Default

https://i.imgur.com/9AmkrmQ.png
Hier mal ein Beispiel. Es laufen 33 Downloads, 17 offene Verbindungen. Teilweise steigt es auf über 100 laufende Downloads - jedoch äusserst selten.

Ich würde gerne wissen warum. Ich hatte nun etwa 1 Stunde pause, die Proxys sind alle grün. Oder was bedeutet das genau bei den Proxies?

//Edit: Auch liegt es nicht am Hoster. Wenn ich einen anderen Hoster hinzufüge unten, wird auch nur oben abgearbeitet..

Last edited by Fr34k999; 24.03.2021 at 21:50. Reason: Bild zu gross
Reply With Quote
  #3  
Old 25.03.2021, 10:53
pspzockerscene's Avatar
pspzockerscene pspzockerscene is offline
Community Manager
 
Join Date: Mar 2009
Location: Deutschland
Posts: 58,159
Default

Hi,
was meinst du mit "in der Hälfte nicht mehr weitergemacht"?
Von welchen Hostern hast du heruntergeladen?

Please post your log-ID here | bitte poste deine Log-ID hier.

-psp-

EDIT
Du bekommst gleich eine detailiertere Antwort!
__________________
JD Supporter, Plugin Dev. & Community Manager

Erste Schritte & Tutorials || JDownloader 2 Setup Download
Spoiler:

A users' JD crashes and the first thing to ask is:
Quote:
Originally Posted by Jiaz View Post
Do you have Nero installed?
That's true James
Quote:
Originally Posted by James
Die Leute verstehen einfach nicht dass nur weil man mit einer Waffe auch auf Menschen schießen kann dass ein Schützenver​ein kein Ort für Amoklaufide​en ist

Last edited by pspzockerscene; 25.03.2021 at 11:13.
Reply With Quote
  #4  
Old 25.03.2021, 11:16
Fr34k999 Fr34k999 is offline
Baby Loader
 
Join Date: Mar 2021
Posts: 5
Default

25.03.21 09.35.44 <--> 25.03.21 11.14.22 jdlog://1159725302851/

Dies passierte einfach gestern, ist jedoch gerade kein Problem mehr.
Dennoch habe ich am schluss des Logs nur 54 laufende Verbindungen, obwohl ich max 150 eingestellt habe, und es auch noch genügend verfügbare Proxys hat zum testen.

Meine Erwartung wäre eigentlich es sind "dauerhaft" um die 150 Verbindungen und es arbeitet die Proxy-Liste ziemlich rasant ab. Bis zum Punkt bei welchem 150 offene Verbindungen und 150 laufende Downloads sind. (Dies sollte möglich sein bei 1gb Files mit 100kb/s. Da dauert ein Download 3 Stunden).

Aber irgendwie bin ich von diesen Zahlen weit entfernt. Warum ist hier die Frage.

// Edit: Als Hoster verwende ich Rapidshare - mir ist klar dass dies nicht der optimale Hoster dafür ist, es ist jedoch wie es ist
Captchas tauchen auch die ganze Zeit auf, werden jedoch mithilfe eines AutoIt-Scripts und mithilfe von Buster gelöst.

Last edited by Fr34k999; 25.03.2021 at 11:18. Reason: See edit
Reply With Quote
  #5  
Old 25.03.2021, 11:43
pspzockerscene's Avatar
pspzockerscene pspzockerscene is offline
Community Manager
 
Join Date: Mar 2009
Location: Deutschland
Posts: 58,159
Default

Hier wie versprochen die längere Antwort:
Vermutlich hast du mehrere nicht funktionierende Proxys in deiner Liste.
Je nach Fehler kann ein und derselbe Proxy mehrmals probiert werden bis der nächste verwendet wird.
Je nach Fehler des Proxys wird er entweder global übersprungen oder "lokal" sprich, nur für den Download für den er versucht wurde.
Beispiel:
Wird der Fehler lokal gewertet und dauert der Proxyfehler z.B. 1 Minute.
So blockiert dieser Proxy für jeden Download 1 Minute bis er für diesen als Fehlerhaft markiert wird.
Bei 250 Downloads verzögert dieser Proxy also schonmal 250 Minuten.

Quote:
Originally Posted by Fr34k999 View Post
//Edit: Auch liegt es nicht am Hoster. Wenn ich einen anderen Hoster hinzufüge unten, wird auch nur oben abgearbeitet..
-> JDownloader arbeitet die Liste ja auch von oben nach unten ab.
Dein Screenshot zeigt, das die Liste von oben noch einige nicht laufende/fertige Downloads hat.
Dadurch, dass deine Pakete nicht aufgeklappt sind kann man den genauen Fehlerstatus der Links nicht aus deinem Screenshot erahnen.
Bitte poste einen Screenshot, der die aufgeklappten Pakete und somit die Fehlerstati der einzelnen Links zeigt.

Quote:
Originally Posted by Fr34k999 View Post
Liegt es an der grösse der Proxy-Liste?
Nein es sind einfach zu viele "kaputte" Proxys in deiner Liste (das zeigt dein Log auch).
Lösung:
Nicht funktionierende Proxies raus, sodass die Liste im Idealfall keinerlei fehlerhafte Proxies enthält.

Quote:
Originally Posted by Fr34k999 View Post
Ausserdem habe ich die Domain bei den GeneralSettings.domainRules so angepasst, dass es 250 Links gleichzeitig abarbeiten kann. Hoster reguliert den Download auf 100kb/s. Ich habe jedoch eine gbit Leitung, somit sollte das kein Problem sein.
Bitte poste den Inhalt dieser Einstellung mal hier.

Quote:
Originally Posted by Fr34k999 View Post
// Edit: Als Hoster verwende ich Rapidshare - mir ist klar dass dies nicht der optimale Hoster dafür ist, es ist jedoch wie es ist
Du meinst rapidgator?

Quote:
Originally Posted by Fr34k999 View Post
Captchas tauchen auch die ganze Zeit auf, werden jedoch mithilfe eines AutoIt-Scripts und mithilfe von Buster gelöst.
Wie meinst du das?
Ich versuche einfach mal, alle Fälle abzudecken:
Da du Free-User bist (laut Eingangspost), musst du sowieso Captchas lösen?!
Oder verwendest du einen Captcha Solver Service, welcher manchmal nicht funktioniert und du daher trotzdem Captchas in JD bekommst?
In jedem Fall: Captcha Versuche verbrauchen natürlich ebenso Zeit...
...oder besitzt du ein- oder mehrere Premium-Accounts und willst nur als Premium-User herunterladen?
Für was dann die Proxys?
Captchas kannst du ggf. auch mit dem Silent-Mode abschalten.
Falls du ein Premium User bist nimm folgende Info für die Zukunft mit:
Nimm Account Verwendungsregeln:
https://support.jdownloader.org/Know...-free-download

Grüße, psp
EDIT
Außerdem solltest du deine "JDownloader2.vmoptions" (im JD Installationsordner) editieren und " -Xmx512m" entfernen.
__________________
JD Supporter, Plugin Dev. & Community Manager

Erste Schritte & Tutorials || JDownloader 2 Setup Download
Spoiler:

A users' JD crashes and the first thing to ask is:
Quote:
Originally Posted by Jiaz View Post
Do you have Nero installed?
That's true James
Quote:
Originally Posted by James
Die Leute verstehen einfach nicht dass nur weil man mit einer Waffe auch auf Menschen schießen kann dass ein Schützenver​ein kein Ort für Amoklaufide​en ist

Last edited by pspzockerscene; 25.03.2021 at 12:41.
Reply With Quote
  #6  
Old 26.03.2021, 15:05
Fr34k999 Fr34k999 is offline
Baby Loader
 
Join Date: Mar 2021
Posts: 5
Default

Danke schon mal für deine ausführliche Antwort.
Quote:
Wird der Fehler lokal gewertet und dauert der Proxyfehler z.B. 1 Minute.
Kann ich denn irgendwo sehen ob das Lokal gewertet wird?

Aktuell habe ich nun ein wenig auf 1fichier gewechselt, dort habe ich jedoch meistens das Problem dass die Proxies kaum abgearbeitet werden. Mein Gefühl ist, alle 100 Downloads versuchen es immer mit dem selben Proxy - ist dies möglich?

Zuviele kaputte Proxies ist einfach gesagt, wenn das Free-Proxies sind, ist das schwer zu bewerkstelligen. Ich prüfe diese kurz zuvor, diese werden jedoch relativ schnell unbrauchbar.

DomainRules:
Quote:
[ {
"domainPattern" : ".*rapidgator\\.net",
"filenamePattern" : null,
"accountPattern" : null,
"pluginPattern" : null,
"enabled" : true,
"maxSimultanDownloads" : 150,
"allowToExceedTheGlobalLimit" : true
}, {
"domainPattern" : ".*1fichier\\.com",
"filenamePattern" : null,
"accountPattern" : null,
"pluginPattern" : null,
"enabled" : true,
"maxSimultanDownloads" : 150,
"allowToExceedTheGlobalLimit" : true
} ]
Ist es irgendwie zu bewerkstelligen dass jede Verbindung sich ein eigener Proxy aussucht? Oder wieso wird das so bei 1fichier gehandhabt? Es macht ja auch dort kein Sinn mehrere downloads mit 1 IP.

Gruss Fr34k
Reply With Quote
  #7  
Old 26.03.2021, 17:16
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 71,586
Default

Ohne Log können wir dir auch schlecht sagen, warum der selbe Proxy immer wieder versucht wird, aber das wurde auch bereits von pspzocker erläutert. Es hängt sehr vom Fehler(bild) ab, ob der Proxy für alle Downloads/nur Hoster XY/nur Download X blockiert wird.
Im Tooltip des Problems (oder auf Klick) sollte ne Liste an *Fehlern* kommen, evtl davon mal nen Screenshot.

Das Feature war auch nie dazu gedacht das man einfach hunderte/tausende XY Proxies da reinklatscht und das *Beste* hofft
Immer dran denken, dass Proxies je nachdem deinen kompletten Traffic sehen oder zumindest auf welchen Seiten du dich bewegst!
Und gerade weil diese instabil/unzuverlässig/schnell offline sind.... Das Feature war eher für bekannte/vertrauenswürdige und vor allem stabile Proxies gedacht. All den Aufwand mit Proxies/Captcha Löser und co...warum nicht einfach nen Account holen?

Welchen Modus für die Proxies nutzt du denn? Einstellungen->Profieinstellungen->GeneralSettings.freeproxybalancemode
__________________
JD-Dev & Server-Admin
Reply With Quote
  #8  
Old 26.03.2021, 21:24
Fr34k999 Fr34k999 is offline
Baby Loader
 
Join Date: Mar 2021
Posts: 5
Default

Werde mich wieder melden sobald das Problem wieder auftritt.
Ich bin von der Schweiz, der Traffic ist mir ziemlich wurst

Auf jedenfall habe ich sowohl zuverlässige Proxies (Jedoch nur 250gb im Monat) und hatte auch Rapidshare Premium. Mein TB hab ich dort in letzter Zeit jedoch zu schnell aufgebraucht weshalb ich nach ner Free-Alternative suche. Immerhin 400gb in 3 Tagen hat geklappt auch wenn nicht so reibungslos wie ich es mir gehofft habe. Vermutlich lohnt sich der Premium-Account mehr, es war mehr zum testen gedacht als zum wirklichen gebrauch.

// Proxy-Modus habe ich aktuell auf Random, jedoch alles ein wenig am probieren.

Last edited by Fr34k999; 26.03.2021 at 21:25. Reason: see //
Reply With Quote
  #9  
Old 27.03.2021, 00:27
thecoder2012's Avatar
thecoder2012 thecoder2012 is offline
Official 9kw.eu Support
 
Join Date: Feb 2013
Location: Internet
Posts: 1,301
Default

Quote:
Originally Posted by Fr34k999 View Post
// Proxy-Modus habe ich aktuell auf Random, jedoch alles ein wenig am probieren.
Für Tests ist "CYCLE" oder "BALANCE" einfacher nachvollziehbar finde ich.
__________________
Join 9kw.eu Captcha Service now and let your JD continue downloads while you sleep.
Reply With Quote
  #10  
Old 29.03.2021, 13:09
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 71,586
Default

@Fr34k999: Ich empfehle hier CYCLE oder BALANCE, weil RANDOM bedeutet eben *zufällig* ist
Evl. eine Überlegung statt viele Proxies in die Liste, die Liste *klein* anfangen und dort funktionierende Proxies behalten und Stück für Stück fehlerhafte entfernen
__________________
JD-Dev & Server-Admin
Reply With Quote
Reply

Thread Tools
Display Modes

Posting Rules
You may not post new threads
You may not post replies
You may not post attachments
You may not edit your posts

BB code is On
Smilies are On
[IMG] code is On
HTML code is Off

Forum Jump

All times are GMT +2. The time now is 09:36.
Provided By AppWork GmbH | Privacy | Imprint
Parts of the Design are used from Kirsch designed by Andrew & Austin
Powered by vBulletin® Version 3.8.10 Beta 1
Copyright ©2000 - 2021, Jelsoft Enterprises Ltd.