JDownloader Community - Appwork GmbH
 

Reply
 
Thread Tools Display Modes
  #1  
Old 01.05.2020, 19:05
tbengel tbengel is offline
JD Beta
 
Join Date: Mar 2018
Posts: 53
Default Proxy zippyshare Onlineprüfung und Problem bei nicht vorhandenen Dateinamen

Die Online-Prüfung hängt sich sowohl im Link-Sammel-Tab als auch im Download-Tab auf, sobald der Proxy zwar nicht weg, aber keine Reaktion
zeigt.

Zum Hintergrund. Da nun Zippyshare nicht mehr in Deutschland funktioniert
erfolgt der Zugriff über verschieden Proxys. Beim Linksammeln passiert es dabei häuft, dass nur "file.html"-Dateien gefunden und gelistet werden (wenn der aktuell verwendete Proxy gerade nicht funktioniert).

Wenn man diese Dateien in den Download-Tab startet, denkt der JDownloader, dass diese Dateien identisch sind und somit werden alle nach dem Download von einer dann auch gelöscht (sehr unklug, hier könnte man eine Ausnahmeregelung für "file.html" Dateien erstellen, aber vielleicht geht dies auch und ich weiß nur nicht wie).

Deshalb mach ich immer eine Online-Prüfung (mit verschiedenen Proxies), bis alle Dateien richtig erkannt wurden. Wenn jedoch der Proxy nicht mehr reagiert, bleibt die Online-Prüfung hängen und kann auch nicht mehr abgebrochen werden. Hier wäre es hilfreich einen automatischen cut zu bauen, der nach einer bestimmten Nicht-Reaktionszeit, die Verbindung killt, oder zumindest den Abbruch der Onlineprüfung funktionsfähig zu bekommen.

Danke
Reply With Quote
  #2  
Old 01.05.2020, 19:11
pspzockerscene's Avatar
pspzockerscene pspzockerscene is offline
Community Manager
 
Join Date: Mar 2009
Location: Deutschland
Posts: 54,937
Default

Hallo,

Du beschreibst hier zwei unterschiedliche Probleme:
1. Zu den "Duplikaten":
Das werde ich nächste Woche fixen dort sollte die file-ID als Dateiname gelten sofern keiner gefunden/nicht geprüft werden kann.

2. Zum "Hängenbleiben" im Verfügbarkeitscheck:
Das sollte eigentlich nicht passieren und im schlimmsten Fall in ein Timeout rennen.
Dadurch, dass das Zippyshare Plugin so komplex ist, weil Zippyshare in der Vergangenheit immer wieder versucht hatte, uns zu blockieren kann ich mir vorstellen, dass hier höhere Timeouts gesetzt wurden oder zB viele Anfragen hintereinander gemacht werden, Fehler abgefangen werden und ein z.B. 30 Sekunden Timeout dann erstmal 100x hinteinander passieren muss bis abgebrochen wird (nur eine Vermutung).

Bitte poste einen Log - wir schauen uns das ggf. nächste Woche mal an.

Please post your log-ID here | bitte poste deine Log-ID hier.

-psp-
EDIT

Ich wünsche ein schönes Wochenende!
__________________
JD Supporter, Plugin Dev. & Community Manager

Erste Schritte & Tutorials || JDownloader 2 Setup Download
Spoiler:

A users' JD crashes and the first thing to ask is:
Quote:
Originally Posted by Jiaz View Post
Do you have Nero installed?
That's true James
Quote:
Originally Posted by James
Die Leute verstehen einfach nicht dass nur weil man mit einer Waffe auch auf Menschen schießen kann dass ein Schützenver​ein kein Ort für Amoklaufide​en ist
Reply With Quote
  #3  
Old 01.05.2020, 19:31
tbengel tbengel is offline
JD Beta
 
Join Date: Mar 2018
Posts: 53
Default

Danke @pspzockerscene, das klingt doch gut ...,
anbei mein Log mit zur Zeit zwei hängenden Link-Prüfungen,
die nicht abgebrochen werden können:

01.05.20 15.34.42 <--> 01.05.20 18.28.20 jdlog://5272915302851/

Grüße
Reply With Quote
  #4  
Old 04.05.2020, 18:31
pspzockerscene's Avatar
pspzockerscene pspzockerscene is offline
Community Manager
 
Join Date: Mar 2009
Location: Deutschland
Posts: 54,937
Default

Jiaz wird sich das nochmal anschauen.

Das "file.html" Problem konnte ich hier nicht nachstellen.
Wann passiert das?
Bei einem Timeout?
Hier ohne Proxy werden alle zippyshare Links nur mit einem blauen Fragezeichen angezeigt und als Dateiname ist die "fileID" zu sehen --> So soll es sein

Grüße, psp
__________________
JD Supporter, Plugin Dev. & Community Manager

Erste Schritte & Tutorials || JDownloader 2 Setup Download
Spoiler:

A users' JD crashes and the first thing to ask is:
Quote:
Originally Posted by Jiaz View Post
Do you have Nero installed?
That's true James
Quote:
Originally Posted by James
Die Leute verstehen einfach nicht dass nur weil man mit einer Waffe auch auf Menschen schießen kann dass ein Schützenver​ein kein Ort für Amoklaufide​en ist
Reply With Quote
  #5  
Old 04.05.2020, 20:59
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 67,639
Default

Das Problem sind nicht hängende Link-Prüfungen, sondern ein Fehler im korrekten Erkennen ob noch Linksammler laufen oder nicht. JD merkt nicht das er *schon fertig ist*. Im Log ist keinerlei Anzeichen von hängenden Prüfungen. Ich kann dieses Problem selbst nachstellen und bin dran. Ansonsten gibt es keine Anzeichen für hängende Prüfungen. Evtl wurde das Log auch zum falschen Zeitpunkt gemacht? Es ist wichtig das Log in genau diesem Moment zu erstellen, wenn es *hängt*
__________________
JD-Dev & Server-Admin
Reply With Quote
  #6  
Old 05.05.2020, 09:55
tbengel tbengel is offline
JD Beta
 
Join Date: Mar 2018
Posts: 53
Default

Hallo psp,

im Linksammler werden die "file.html" Dateien für Zippyshare Links angezeigt,
wenn die Datei nicht online gefunden wurde:

05.05.20 07.41.08 <--> 05.05.20 08.53.04 jdlog://2204915302851/

Anbei das Beispiellog, wo ich um 08:52 Uhr einen Film in den Linksammler geschoben habe mit 3 Dateien. 2 Dateien werden ordentlich dargestellt und
eine Datei nur als "file.html".

05.05.20 07.41.08 <--> 05.05.20 08.57.50 jdlog://5204915302851/

Anbei das Beispiellog, wo ich um 08:57 Uhr einen Film in den Linksammler geschoben habe mit 3 Dateien. Diesmal 2 Dateien mit file.html und nur eine ordentlich.

Grüße

Last edited by tbengel; 05.05.2020 at 09:58.
Reply With Quote
  #7  
Old 05.05.2020, 16:54
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 67,639
Default

Quote:
Originally Posted by tbengel View Post
Anbei das Beispiellog, wo ich um 08:57 Uhr einen Film in den Linksammler geschoben habe mit 3 Dateien. Diesmal 2 Dateien mit file.html und nur eine ordentlich.
Grüße
Ja, der Linkcheck schlägt fehl weil der Proxy net *mitspielt* zb 403 Forbidden oder Verbindungs/Timeout-Fehler
Aber ich kann keine *hängende* Verbindungen sehen. Downloads starten und bleiben hängen.
Dein Log vom 05.05.2020 ist noch die Version vom 27. April, hier gab es einen Fix bzgl Proxies. Vor dem Fix hat der JD immer wieder den selben defekten Proxy genutzt.
Bitte JDownloader aktualisieren
__________________
JD-Dev & Server-Admin
Reply With Quote
  #8  
Old 05.05.2020, 18:47
tbengel tbengel is offline
JD Beta
 
Join Date: Mar 2018
Posts: 53
Default

Bei dem Beispiel gab es auch keine hängende Verbindung. Es ging lediglich darum, dass er eine "file.html" Datei anzeigt, da, wie Du richtig sagst:

Quote:
## der Proxy net *mitspielt* zb 403 Forbidden oder Verbindungs/Timeout-Fehler
Dies ist soweit nicht schlimm, wenn man jedoch ein Paket mit mehreren dieser gleichnamigen "file.html" downloaden will, fängt er mit der ersten "file.html" Datei an und markiert die anderen als Mirror was in der Konsequenz dazu führt, dass diese automatisch gelöscht werden, sobald die erste "file.html" Datei fertig geladen ist, da er denkt, dass die anderen Dateien Duplikate sind.

Manchmal erstellt er für solche Dateien im Linksammler auch cryptische Dateiname, also sowas wie "yjswns", was sinnvoll ist, damit sowas wie mit dem Mirror-Delete nicht passieren kann, ich habe aber noch nicht herausgefunden, warum dies nicht immer geschieht.

Dies ist die eine Seite des Problems. Die andere ist die mit den hängenden Online-Prüfverbindungen die nicht abgebrochen werden können. Dies waren die Logs von gestern, ich mache aber gerne diesbezüglich noch weitere.

Grüße
Reply With Quote
  #9  
Old 05.05.2020, 10:12
tbengel tbengel is offline
JD Beta
 
Join Date: Mar 2018
Posts: 53
Default

Hallo psp und Jiaz,

vielleicht noch zum Hintergrund, ich verwende ein Script, welches anhand
einer Liste Proxy-Server durchläuft und für Zippyshare-Dateien diese benutzt,
damit ein Download möglich ist (Deutschland wurde gesperrt, aber dies
wisst Ihr ja bereits).

Hierbei scheint es Proxys zu geben die zwar eine Verbindung aufbauen, aber
kein Donwload erfolgt. Hier gibt es für den JDownloader kein Timeout-Signal
und er lässt die Verbindung stundenlang offen ohne die Möglichkeit diese
zu canceln.

Grüße
Reply With Quote
  #10  
Old 05.05.2020, 13:30
pspzockerscene's Avatar
pspzockerscene pspzockerscene is offline
Community Manager
 
Join Date: Mar 2009
Location: Deutschland
Posts: 54,937
Default

Quote:
Originally Posted by tbengel View Post
vielleicht noch zum Hintergrund, ich verwende ein Script, welches anhand
einer Liste Proxy-Server durchläuft und für Zippyshare-Dateien diese benutzt,
damit ein Download möglich ist (Deutschland wurde gesperrt, aber dies
wisst Ihr ja bereits).
Ich weiß - übles Script.

Meine Meinung dazu habe ich bereits im Forum geäußert (halte das Ding für ne sehr wackelige Angelegenheit mit viel Fehlerpotential), aaber:
Das Zippyshare Problem scheint ja damit nicht direkt was zu tun zu haben und Jiaz schaut es sich an also warten wir erstmal ab.

Nun trotzdem nochmal ne frage zu der Proxy Geschichte nur aus Interesse:
Es gibt doch genügend kostenlose VPNs (also damit meine ich nicht die datenhungrigen sondern welche, die normalerweise kostenpflichtig sind).
Warum nimmt man dann die Proxys?

Lädst du sehr viel und dir würde zB kein kostenloser VPN mit 50GB/Monat für zippyshare reichen?

Grüße, psp
__________________
JD Supporter, Plugin Dev. & Community Manager

Erste Schritte & Tutorials || JDownloader 2 Setup Download
Spoiler:

A users' JD crashes and the first thing to ask is:
Quote:
Originally Posted by Jiaz View Post
Do you have Nero installed?
That's true James
Quote:
Originally Posted by James
Die Leute verstehen einfach nicht dass nur weil man mit einer Waffe auch auf Menschen schießen kann dass ein Schützenver​ein kein Ort für Amoklaufide​en ist
Reply With Quote
  #11  
Old 05.05.2020, 14:33
tbengel tbengel is offline
JD Beta
 
Join Date: Mar 2018
Posts: 53
Default

Hallo psp,

hatte mich auch mit dieser Möglichkeit beschäftigt und die einzige Alternative war
Windscribe mit 20 GB / Monat, was definitiv zu wenig ist und nicht mit dem JDownloader direkt verbunden werden kann (also Zippyshare-Links nur über Windscribe und der Rest normal).

Daher, welche 50GB/Monat Alternative kennst Du, die JDownloader-kompatibel ist?

Grüße
Reply With Quote
  #12  
Old 05.05.2020, 14:43
pspzockerscene's Avatar
pspzockerscene pspzockerscene is offline
Community Manager
 
Join Date: Mar 2009
Location: Deutschland
Posts: 54,937
Default

Danke für die Antwort das ergibt natürlich Sinn.
Ich verwende JD aktuell privat nicht soo oft daher konnte ich mich da nicht ganz reinversetzen.

Tatsächlich kann ich dir da keinen VPN nennen.
Ich habe mir als VPNs über mydealz.de Deals gesammelt, aber meist nur, um damit kurz GEO-Sperrungen zu umgehen.

Alternativ könntest du auch einen Multihoster nehmen, der Proxys samt Zugangsdaten mitbringen, aber auch da kenne ich keinen, aber ich meine solche gibt es.

Abschließend hatte ich noch eine Idee, die dieses Problem der GEO-Sperre zumindest für Besitzer von manchen Multihoster Accounts lösen könnte:
Würde JD den Linkcheck bei bestimmten Hostern über den Multihoster durchführen, bräuchte man keinen VPN/Proxy sondern würde nur durch das Hinzufügen des Multihoster Accounts sofort wieder einen zuverlässigen Linkstatus für z.B. Zippyshare Links bekommen.
Ticket dazu:


Hier gibt es aber zwei Probleme:
1. Unser System erlaubt sowas aktuell nicht - um es vernünftig einzubauen müsste man diverse Umbauten machen!
Auch kommt dann zB folgende Frage auf:
Wenn ein User mehrere MOCH Accounts hat, die beide zippyshare benutzen, welcher soll dann für den Linkcheck verwendet werden?
Auch kann dann z.B. ein Multihoster mit defektem Linkcheck, unseren Linkcheck in JD "kaputtmachen" was ein möglicher Nachteil wäre!

2. Es gibt bisher nur zwei Multihoster, die die erwähnte Funktion überhaupt per API erlauben.

Grüße, psp
__________________
JD Supporter, Plugin Dev. & Community Manager

Erste Schritte & Tutorials || JDownloader 2 Setup Download
Spoiler:

A users' JD crashes and the first thing to ask is:
Quote:
Originally Posted by Jiaz View Post
Do you have Nero installed?
That's true James
Quote:
Originally Posted by James
Die Leute verstehen einfach nicht dass nur weil man mit einer Waffe auch auf Menschen schießen kann dass ein Schützenver​ein kein Ort für Amoklaufide​en ist
Reply With Quote
  #13  
Old 05.05.2020, 15:41
tbengel tbengel is offline
JD Beta
 
Join Date: Mar 2018
Posts: 53
Default

Danke psp für die Alternativ-Vorschläge ... dass mit einem Multihoster
bzw. der Bezahlung für einen Premiumaccount ist für mich so eine
Grundsatzentscheidung ... ich habe und werde nicht für "Inhalte in der
Grauzone" bezahlen, ... also entweder es klappt als Free-User oder halt
nicht ... so what ... ;-)

Daher investiere ich lieber Zeit in Suche und Recherche für Alternativmöglichkeiten,
als den leichten Weg zu gehen ... ist halt so eine Macke von mir *LOLOL*

Grüße
Reply With Quote
  #14  
Old 05.05.2020, 15:49
pspzockerscene's Avatar
pspzockerscene pspzockerscene is offline
Community Manager
 
Join Date: Mar 2009
Location: Deutschland
Posts: 54,937
Default

Jiaz wird sich melden bzw. Zippyshare/Timeout Problem.

Grüße, psp
__________________
JD Supporter, Plugin Dev. & Community Manager

Erste Schritte & Tutorials || JDownloader 2 Setup Download
Spoiler:

A users' JD crashes and the first thing to ask is:
Quote:
Originally Posted by Jiaz View Post
Do you have Nero installed?
That's true James
Quote:
Originally Posted by James
Die Leute verstehen einfach nicht dass nur weil man mit einer Waffe auch auf Menschen schießen kann dass ein Schützenver​ein kein Ort für Amoklaufide​en ist
Reply With Quote
  #15  
Old 05.05.2020, 16:40
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 67,639
Default

@tbengel: Ich bin leicht verwirrt Im Log ist erneut keinerlei *hängende* Verbindung beim Linksammeln zu finden. Geht es um hängende Downloads?
__________________
JD-Dev & Server-Admin
Reply With Quote
  #16  
Old 05.05.2020, 19:09
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 67,639
Default

Ah okay, jetzt hab ich das Anliegen mit den file.html verstanden
Schick mir mal bitte ein paar Zippy Links an support@jdownloader.org und ich stelle mir die Situation nach und schaue wie sich eine solches Problem am besten allgemein lösen lässt.
Bzgl den Online-Prüfungen, es kann gut sein, da kein Log irgendwelche Prüfungen hatte, das dies einfach der bekannte Bug ist, das der JDownloader anzeigt er würde prüfen, wobei er es gar nicht mehr macht. Aber gerne nochmal Logs
__________________
JD-Dev & Server-Admin
Reply With Quote
  #17  
Old 05.05.2020, 19:31
tbengel tbengel is offline
JD Beta
 
Join Date: Mar 2018
Posts: 53
Default

Danke, ich habe Dir soeben drei DLC-Container mit Zippy-Links geschickt ...

Ich denke die beste Lösung ist, dass bei Dateien, die nicht als "Online"
gekennzeichnet werden können, diese nicht "file.html" benannt, sondern
einen eindeutigen kryptischen Namen bekommen. Soweit meine Idee ...
damit würdest Du nur im Linksammler ansetzen müssen.

Grüße

Last edited by tbengel; 05.05.2020 at 19:33.
Reply With Quote
  #18  
Old 05.05.2020, 19:34
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 67,639
Default

Danke, kann aber weng dauern bis ich zum Testen/Anschauen komme, daher nicht gleich wundern
__________________
JD-Dev & Server-Admin
Reply With Quote
  #19  
Old 05.05.2020, 21:18
tbengel tbengel is offline
JD Beta
 
Join Date: Mar 2018
Posts: 53
Default

Ist kein Ding, lass Dir ruhig Zeit, ist ja nicht so, dass ich deswegen
jetzt finanzielle Einbussen hätte ;-)

Grüße
Reply With Quote
  #20  
Old 07.05.2020, 10:19
tbengel tbengel is offline
JD Beta
 
Join Date: Mar 2018
Posts: 53
Default

Hallo Jiaz,

anbei mal wie versprochen ein Log mit einer hängenden Zippyshare Datei:

07.05.20 08.04.44 <--> 07.05.20 09.17.07 jdlog://7264915302851/

es geht um diese:

BmlSrG19A3BRx6iTRAPY20200507025829.part3.rar

diese hängt schon seit mehreren Minuten im Download fest und kann
auch nicht zurückgesetzt werden (um 09:15 Uhr mehrfach probiert).
Genauso verhält es sich auch mit der Online-Prüfung, wenn diese
sich festfährt. Auch diese kann dann nicht abgebrochen werden.

Hoffe Du kannst etwas im Log erkennen ...

Grüße
Reply With Quote
Reply

Thread Tools
Display Modes

Posting Rules
You may not post new threads
You may not post replies
You may not post attachments
You may not edit your posts

BB code is On
Smilies are On
[IMG] code is On
HTML code is Off

Forum Jump

All times are GMT +2. The time now is 07:51.
Provided By AppWork GmbH | Privacy | Imprint
Parts of the Design are used from Kirsch designed by Andrew & Austin
Powered by vBulletin® Version 3.8.10 Beta 1
Copyright ©2000 - 2020, Jelsoft Enterprises Ltd.