JDownloader Community - Appwork GmbH
 

Reply
 
Thread Tools Display Modes
  #1  
Old 28.03.2024, 18:59
StefanM's Avatar
StefanM StefanM is offline
JD Legend
 
Join Date: Oct 2020
Posts: 664
Default [KEIN JD Bug] FileBoom Plugin reports deleted files as downloadable

Beim FileBoom-PlugIn habe ich festgestellt, dass ein relativ großer Teil (bei mir im Mittel die Hälfte!) von Links als existent gegrabbt wird, obwohl die entsprechenden Dateien lt. Anzeige der entsprechenden Links im Browser nicht mehr existieren.

Interessant dabei ist, dass JD sogar noch die Dateigröße anzeigt, woher auch immer JD diese Infos beschafft. Denn im Browser werden diese Infos auf der Linkseite nicht mehr angezeigt.

Hier einige Beispiele:
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**

Im Browser wird dazu angezeigt:
This file is no longer available
Reply With Quote
  #2  
Old 28.03.2024, 19:07
pspzockerscene's Avatar
pspzockerscene pspzockerscene is online now
Community Manager
 
Join Date: Mar 2009
Location: Deutschland
Posts: 72,058
Default

Sers,
dies ist ein alter Bug in der fileboom/k2s/tezfiles API siehe:
https://board.jdownloader.org/showthread.php?t=92820

-> Diesen bitte bei fileboom melden.
EDIT
Quote:
Originally Posted by StefanM View Post
Interessant dabei ist, dass JD sogar noch die Dateigröße anzeigt, woher auch immer JD diese Infos beschafft. Denn im Browser werden diese Infos auf der Linkseite nicht mehr angezeigt.
Die Infos stammen aus der offiziellen API siehe:
keep2share.github.io/api/
__________________
JD Supporter, Plugin Dev. & Community Manager

Erste Schritte & Tutorials || JDownloader 2 Setup Download
Spoiler:

A users' JD crashes and the first thing to ask is:
Quote:
Originally Posted by Jiaz View Post
Do you have Nero installed?

Last edited by pspzockerscene; 28.03.2024 at 19:08. Reason: EDIT
Reply With Quote
  #3  
Old 29.03.2024, 17:07
StefanM's Avatar
StefanM StefanM is offline
JD Legend
 
Join Date: Oct 2020
Posts: 664
Default

Quote:
Originally Posted by pspzockerscene View Post
Sers,
dies ist ein alter Bug in der fileboom/k2s/tezfiles API siehe:
**External links are only visible to Support Staff**...

-> Diesen bitte bei fileboom melden.
Du hattest damals geschrieben:
https://board.jdownloader.org/showpo...50&postcount=7

Quote:
Originally Posted by pspzockerscene View Post
Next update will fix / work-around this.
Links:
**External links are only visible to Support Staff**...
and:
**External links are only visible to Support Staff**...
Und offensichtlich hat die Meldung an den Hoster ja nichts gebracht.
Dennoch kann ich als zahlender User gern anfragen, wenn du mir dann bitte auch gleich den Textbaustein senden könntest, den du damals Haidon gesendet hattest!?

Aber unabhängig davon:
Gab es denn den von dir angekündigten Workaround?

Die URS wäre ja sehr einfach:
Wenn unter der orig. URL dieser Text (This file is no longer available) zu finden ist, dann muss der Link von JD als "expired" behandelt werden.

Wie einfach oder kompliziert das umzusetzen ist, kann ich nicht beurteilen.
Reply With Quote
  #4  
Old 29.03.2024, 20:03
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 80,466
Default

@StefanM: Die API seitens Fileboom meldet den falschen Status für diese Links, ergo muss das bei Fileboom behoben werden. Wenn die API meldet das die Datei online sei, dann müssen wir das erstmal glauben. Beim eigentlichen Herunterladen wird dann festgestellt das dies nicht der Fall ist, weil die API dann meldet
Quote:
{"status":"error","code":406,"message":"File not found","errorCode":20}
und die Datei wird als Offline markiert. Dies ist jedoch erst beim eigentlichen Downloadversuch erkennbar.
__________________
JD-Dev & Server-Admin
Reply With Quote
  #5  
Old 29.03.2024, 20:11
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 80,466
Default

Quote:
Originally Posted by StefanM View Post
Aber unabhängig davon:
Gab es denn den von dir angekündigten Workaround?
Der ist drin, via Settings->Plugins->fileboom "folder workaround", hilft aber nicht weil die API ebenfalls Online status meldet.
__________________
JD-Dev & Server-Admin
Reply With Quote
  #6  
Old 29.03.2024, 20:20
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 80,466
Default

Quote:
Originally Posted by StefanM View Post
Und offensichtlich hat die Meldung an den Hoster ja nichts gebracht.
Dennoch kann ich als zahlender User gern anfragen, wenn du mir dann bitte auch gleich den Textbaustein senden könntest, den du damals Haidon gesendet hattest!?
Oder aber Sie haben einen Bug im System und der ist noch immer nicht behoben und wird nur für gemeldete Files aktualisiert.
Die Nachricht könnte lauten:
Quote:
...bla bla....Your API v2 does return wrong file status infomation for the following links...Beispiele. The api is
..fboom.me/api/v2/getfilesinfo
{
"ids" : ["FILEID"]
}
and returns
{"status":"success","code":200,"files":[{"id":"FILEID","name":"XYZ.mp4","size":XYZ,"is_available":true,"access":"public","is_folder":false," md5":null,"isAvailableForFree":true}]}
but the actual file is offline and cannot be downloaded.
__________________
JD-Dev & Server-Admin
Reply With Quote
  #7  
Old 30.03.2024, 17:33
StefanM's Avatar
StefanM StefanM is offline
JD Legend
 
Join Date: Oct 2020
Posts: 664
Default

Quote:
Originally Posted by Jiaz View Post
Oder aber Sie haben einen Bug im System und der ist noch immer nicht behoben und wird nur für gemeldete Files aktualisiert.
Die Nachricht könnte lauten:
Vielen Dank!
Habe die Nachricht an fboom gesendet!

Edit:
Und ich werde natürlich berichten, wenn ich eine Antwort erhalte.

Last edited by StefanM; 30.03.2024 at 17:55. Reason: Ergänzung
Reply With Quote
  #8  
Old 30.03.2024, 20:12
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 80,466
Default

@StefanM: Nichts zu danken! Ich vermute hier einen Fehler irgendwo im Abgleich da V1 und V2 der API hier unterschiedliche Ergebnisse liefern. Grund wird nur Fileboom wissen/beantworten können.
__________________
JD-Dev & Server-Admin
Reply With Quote
  #9  
Old 01.04.2024, 19:13
StefanM's Avatar
StefanM StefanM is offline
JD Legend
 
Join Date: Oct 2020
Posts: 664
Default

Quote:
Originally Posted by Jiaz View Post
@StefanM: Nichts zu danken! Ich vermute hier einen Fehler irgendwo im Abgleich da V1 und V2 der API hier unterschiedliche Ergebnisse liefern. Grund wird nur Fileboom wissen/beantworten können.
Nach einigem Hin und Her kam diese Rückfrage von fboom:

To find out the causes of the error, we need additional information:

what method are you using (check it here: **External links are only visible to Support Staff****External links are only visible to Support Staff**)
what response does the API send to your request
full code of your API request.


NACHTRAG

Ich sende euch später noch den gesamten Schriftwechsel per Mail an eure Support-Adresse.
Das, was du mir als Textbaustein gesendet hast, reicht denen offensichtlich nicht.

Last edited by StefanM; 01.04.2024 at 19:58. Reason: Nachtrag
Reply With Quote
  #10  
Old 01.04.2024, 21:24
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 80,466
Default

@StefanM: Antworte Ihnen doch einfach Sie sollen sich an support@jdownloader.org wenden, denn wir können alle technischen Details liefern.
__________________
JD-Dev & Server-Admin
Reply With Quote
  #11  
Old 02.04.2024, 12:45
pspzockerscene's Avatar
pspzockerscene pspzockerscene is online now
Community Manager
 
Join Date: Mar 2009
Location: Deutschland
Posts: 72,058
Default

Ihr habt beide nicht verstanden, wofür das "Folder Workaround" Setting gedacht war.
Derweil habe ich mögliche Workarounds für das Problem gefunden und gleichzeitig das "Folder Workaround" Setting so umgebaut, dass hoffentlich verständlicher wird, was es tut.
Ich melde mich hier nochmal, sobald die Änderungen releasefertig sind.

@StefanM
Das Problem ist sehr eindeutig nachvollziehbar. Dem Support sollte bereits ein einzelner https Request mit Antwort als Beispiel ausreichen, um es nachvollziehen zu können.
Ich habe jedoch keine Kontakte zum k2s Support und auch keinen Premiumaccount daher werde ich nicht direkt mit denen kommunizieren.

Ich vermute, dass über die Jahre einfach kein User das Problem überhaupt bei k2s gemeldet hat.
__________________
JD Supporter, Plugin Dev. & Community Manager

Erste Schritte & Tutorials || JDownloader 2 Setup Download
Spoiler:

A users' JD crashes and the first thing to ask is:
Quote:
Originally Posted by Jiaz View Post
Do you have Nero installed?

Last edited by pspzockerscene; 02.04.2024 at 13:17.
Reply With Quote
  #12  
Old 02.04.2024, 18:23
pspzockerscene's Avatar
pspzockerscene pspzockerscene is online now
Community Manager
 
Join Date: Mar 2009
Location: Deutschland
Posts: 72,058
Default

Vorab-Information zum anstehenden Update:
https://board.jdownloader.org/showth...596#post532596

Sobald das Update released ist, musst du als k2s premium User lediglich die besagte Einstellungsmöglichkeit auf "Auto" setzen und ggf. manuell die falsch als online markierten Links erneut prüfen lassen (erneut hinzufügen ist nicht notwendig), um den korrekten Status angezeigt zu bekommen.

Melden kannst du den Bug bei k2s wie folgt bzw. mit folgendem Log-Ausschnitt:
Spoiler:

Code:
----------------Request-------------------------
POST /api/v2/getfilesinfo HTTP/1.1
Host: fboom.me
User-Agent: JDownloader.4837148834
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
Accept-Language: en-gb, en;q=0.8
Accept-Encoding: gzip, deflate, br
Cache-Control: no-cache
Content-Type: application/json; charset=UTF-8
Content-Length: 32

{
 "ids" : ["ENTFERNT"]
}
----------------Response Information------------
Connection-Time: 19ms
Request-Time: 147ms
----------------Response------------------------
HTTP/1.1 200 OK
Date: Tue, 02 Apr 2024 16:18:55 GMT
Content-Type: application/json; charset=utf-8
Transfer-Encoding: chunked
Connection: keep-alive
x-response-time: 61ms
strict-transport-security: max-age=15768000; preload
CF-Cache-Status: DYNAMIC
Report-To: REDACTED
NEL: REDACTED
Server: cloudflare
CF-RAY: REDACTED
Content-Encoding: br
alt-svc: h3=":443"; ma=86400
------------------------------------------------


89|fileboom.me_jd.plugins.hoster.FileBoomMe.log 02.04.24, 18:18:55 - FINE [ jd.plugins.hoster.K2SApi(readConnection) ] -> 
{"status":"success","code":200,"files":[{"id":"ENTFERNT","name":"REDACTED.mp4","size":360427245,"is_available":true,"access":"public","is_folder":false,"md5":null,"isAvailableForFree":true}]}

Am besten sollte noch eine Beschreibung dazu mitsamt Testlinks und unzensierten(!) Log-Ausschnitten.

Überall wo "ENTFERNT" steht, habe ich die file-ID entfernt.
Alternativ kannst du auch in deinen eigenen k2s Logs nach einem Verfügbarkeitscheck nach "/api/v2/getfilesinfo" suchen dann wirst du genug Beispiel-API-Antworten finden.
__________________
JD Supporter, Plugin Dev. & Community Manager

Erste Schritte & Tutorials || JDownloader 2 Setup Download
Spoiler:

A users' JD crashes and the first thing to ask is:
Quote:
Originally Posted by Jiaz View Post
Do you have Nero installed?
Reply With Quote
  #13  
Old 04.04.2024, 14:28
StefanM's Avatar
StefanM StefanM is offline
JD Legend
 
Join Date: Oct 2020
Posts: 664
Default

Quote:
Originally Posted by pspzockerscene View Post
@StefanM
Das Problem ist sehr eindeutig nachvollziehbar. Dem Support sollte bereits ein einzelner https Request mit Antwort als Beispiel ausreichen, um es nachvollziehen zu können.
Ich habe jedoch keine Kontakte zum k2s Support und auch keinen Premiumaccount daher werde ich nicht direkt mit denen kommunizieren.

Ich vermute, dass über die Jahre einfach kein User das Problem überhaupt bei k2s gemeldet hat.
Doch ein JD-Problem!?

Die Fehlerursache wurde mir wie folgt erklärt:
Seitens fileboom/k2s hat man sich zunächst alle von mir gemeldeten Beispiellinks angesehen und Folgendes festgestellt:
Bei all diesen Links, die von JD als "downloadbar" (Availability: Ja) angezeigt, aber in der Web-Oberfläche des Hosters (etwas unglücklich) als "This file is no longer available" angezeigt werden, handelt es sich um Dateien, die tatsächlich noch vorhanden sind, bei denen aber der Uploader den Zugriff gesperrt hat (access restricted).

ZITAT
these files have not been deleted, but the owner of the files has restricted access to them. As for the API, the current version is now v2, the documentation is here: **External links are only visible to Support Staff****External links are only visible to Support Staff**
ZITAT ENDE

Dieser Zustand wird lt. fboom-Suport von JD falsch bzw. nicht ausgewertet.

Ob dies so zutrifft oder nicht, vermag ich nicht zu sagen. Aber am Ende hat man sich schon wirklich Mühe gegeben.
Reply With Quote
  #14  
Old 04.04.2024, 14:45
pspzockerscene's Avatar
pspzockerscene pspzockerscene is online now
Community Manager
 
Join Date: Mar 2009
Location: Deutschland
Posts: 72,058
Default

Quote:
Originally Posted by StefanM View Post
Doch ein JD-Problem!?
Nein und dies ist sogar live prüfbar.

Quote:
Originally Posted by StefanM View Post
Bei all diesen Links, die von JD als "downloadbar" (Availability: Ja) angezeigt, aber in der Web-Oberfläche des Hosters (etwas unglücklich) als "This file is no longer available" angezeigt werden, handelt es sich um Dateien, die tatsächlich noch vorhanden sind, bei denen aber der Uploader den Zugriff gesperrt hat (access restricted).
Es mag sein, dass dies intern so ist, aber die API gibt diesen status eben nicht zurück.

Verwendeter API Call: /api/v2/getfilesinfo

Test mit dem ersten Link aus deinem ersten Post:
Code:
fboom.me/file/fccENTFERNT/ENTFERNT.mp4
API Antwort:
Code:
{"status":"success","code":200,"files":[{"id":"fccENTFERNT","name":"ENTFERNT.mp4","size":360427245,"is_available":true,"access":"public","is_folder":false,"md5":null,"isAvailableForFree":true}]}
Test mit einer selbst hochgeladenen Datei, die verfügbar ist:
Code:
fboom.me/file/44bfe9cae5185/file_example_MP4_1280_10MG.mp4
API Antwort:
Code:
{"status":"success","code":200,"files":[{"id":"44bfe9cae5185","name":"file_example_MP4_1280_10MG.mp4","size":9856046,"is_available":true,"access":"public","is_folder":false,"md5":null,"isAvailableForFree":true}]}
Vergleiche gerne selbst nochmal alle Felder, die die API hier zurückgibt; es ist ja möglich, dass ich etwas übersehen habe.

Ich vermute, dass die API beim Feld "access" etwas anderes als "public" zurückgeben sollte, dies ist aber nicht der Fall.
Laut unserem Plugin code gibt es noch folgende mögliche "access" Werte: premium, private

Quote:
Originally Posted by StefanM View Post
Aber am Ende hat man sich schon wirklich Mühe gegeben.
Noch ein bisschen mehr Mühe und sie schaffen es vielleicht, den Fehler zu beheben.
__________________
JD Supporter, Plugin Dev. & Community Manager

Erste Schritte & Tutorials || JDownloader 2 Setup Download
Spoiler:

A users' JD crashes and the first thing to ask is:
Quote:
Originally Posted by Jiaz View Post
Do you have Nero installed?
Reply With Quote
  #15  
Old 04.04.2024, 16:24
pspzockerscene's Avatar
pspzockerscene pspzockerscene is online now
Community Manager
 
Join Date: Mar 2009
Location: Deutschland
Posts: 72,058
Default

Das Update mit den neuen Einstellungen ist live.

Es wäre natürlich trotzdem wünschenswert, wenn k2s den Fehler in der API fixen würde.
__________________
JD Supporter, Plugin Dev. & Community Manager

Erste Schritte & Tutorials || JDownloader 2 Setup Download
Spoiler:

A users' JD crashes and the first thing to ask is:
Quote:
Originally Posted by Jiaz View Post
Do you have Nero installed?
Reply With Quote
Reply

Thread Tools
Display Modes

Posting Rules
You may not post new threads
You may not post replies
You may not post attachments
You may not edit your posts

BB code is On
Smilies are On
[IMG] code is On
HTML code is Off

Forum Jump

All times are GMT +2. The time now is 12:17.
Provided By AppWork GmbH | Privacy | Imprint
Parts of the Design are used from Kirsch designed by Andrew & Austin
Powered by vBulletin® Version 3.8.10 Beta 1
Copyright ©2000 - 2024, Jelsoft Enterprises Ltd.