[nobody-U-know]

Hello, I found a problem.

If I try to download an image from a creator who put an animated badge next to his name, JDownloader often downloads this badge instead of the image. The fetched download link is normal, and the badge gets the image name with an .webp extension. It's seams to happen to all blurred pics of this creator - not affecting the unblurred.

Two examples:
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**

Everything works fine with creators without an animated badge.

[Jiaz]

Originally Posted by nobody-U-know

Everything works fine with creators without an animated badge.

Could you also please provide some example that do work fine? so we can check for differences and check/fix plugin accordingly

[nobody-U-know]

Two examples from the previous creators which are unblurred and works:

**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**


Creators without a badge or a badge without animation are working fine:

Two examples with blurred pictures:
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**

Two examples with unblurred pictures:
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**

It doesn't matter if PNG or JPG.

PS: I am bulk downloading whole accounts/creators at the moment. 600+ done already. Only problem is with the ones with animated badges, which are around 20 creators so far.
Well, besides the "Broken media?" thing which happens once in a while. But that seems to be a problem with the site, because when I open such a picture in a tab, it just shows code. So it is really broken.

[pspzockerscene]

Originally Posted by nobody-U-know

JDownloader often downloads this badge instead of the image.

Fixed.

Originally Posted by nobody-U-know

Well, besides the "Broken media?" thing which happens once in a while. But that seems to be a problem with the site

Yap, also such items are auto-retried after some time.

Wartest du auf einen angekündigten Bugfix oder ein neues Feature?
Updates werden nicht immer sofort bereitgestellt!
Bitte lies unser Update FAQ! | Please read our Update FAQ!
---
Are you waiting for recently announced changes to get released?
Updates to not necessarily get released immediately!
Bitte lies unser Update FAQ! | Please read our Update FAQ!

Important notice:
Our ticket system & knowledgebase are currently under maintenance.
If this is still the case while you are reading my posts and you can't access help articles linked by our staff, use the Internet archive/wayback machine to be able to view those articles:
archive.org/web/
Enter the URL -> Click on "Browse history" -> Select one of the latest dates available
If the date you selected does not lead you to the support article try the next oldest one.

[nobody-U-know]

Thank you all for your commitment.
You make our lives a lot easier.
Will try it tomorrow.

[nobody-U-know]

I must correct myself.

Images from Civitai with the message "Media broken?" are not broken... well, for some programs they look broken.

Firefox cannot open them in a tab. Shows just code.

And I guess it's kind of the same with JDownloader.

But these images open just fine in a Chrome tab. I can see and save them without a problem.

Tested it with around 100 images with this message. JPG or PNG doesn't matter. All of them seem to be around a year old. Didn't see a newer one yet.

Edge looks also fine.

[pspzockerscene]

Please post your log-ID here
If your bugreport is about a specific website which JD supports via plugin, please also provide example URLs which can be used to reproduce the issue you are having.

Bitte poste deine Log-ID hier.
Falls dein gemeldetes Problem ein Problem mit einer Webseite ist, die per Plugin unterstützt wird, stelle bitte zusätzlich Testlinks zur Verfügung, mit denen sich dein Problem nachstellen lässt.

-psp-

[nobody-U-know]

I can get the log Wednesday. I am at the wrong computer right now.

But I got three samples at hand from an Email I send to myself:

**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**

Firefox and JDownloader broken.
Chrome and Edge fine.

The links in all three browsers and their new tabs opened with a right click on the image are identically.

BUT, when I copy this links from the new tabs, JDownloader can download the image (with a txt extension).

So Firefox sucks.
But JDownloader maybe just fetching the wrong link because it's misinterpreting the real thing as txt?

[Jiaz]

@nobody-U-know: will be working again with next update

[nobody-U-know]

So, after downloading over a million images, there are only two error messages which are wrong.

First is the "Broken media?" message. Saw it only on older images. The youngest was 10 months old.
Second is "Hosterproblem?". It's so rare it shouldn't be worth doing anything.

Once in a while, a "Broken media?" image is downloadable or becomes a "Hosterproblem?" and vice versa. But it's rare.

New examples for "Broken media?":

**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**

All images can be opened with a right click on the image in a new tab, and the link from this tab is downloadable by JDownloader but with a txt extension.

This time a log:
02.04.24 09.54.17 <--> 02.04.24 09.55.04 jdlog://2681411370661/

[Jiaz]

@nobody-U-know: broken media will be fixed with next update

[nobody-U-know]

Habt ihr am Civitai Plugin rumgewerkelt? Irgendein automatisches Dinges?

Funktioniert leider nicht, weil es häufig nur einen Bruchteil der Bilder erkennt, ruiniert dafür aber leider meine althergebrachte Methode - ganz nach unten scrollen, alles markieren und kopieren.

Früher hat er brav alle kopierten Links abgearbeitet, wenn man ganz nach unten gescrollt hat. Jetzt ist es wie ein Zufallsgenerator, ob er mal alle Bilder erkennt oder nur einen Bruchteil. Häufig muss ich jetzt eine Seite mehrfach kopieren und hoffen, dass es irgendwann funktioniert.

Hat sich bedauerlicherweise ordentlich verschlimmbessert.

[Jiaz]

Originally Posted by nobody-U-know

Habt ihr am Civitai Plugin rumgewerkelt? Irgendein automatisches Dinges?

Nein. Keinerlei Änderungen von uns. Das Hoster Plugin wurde zuletzt Ende August. Der Sammler zuletzt am 14.10 aktualisiert.

[Jiaz]

Originally Posted by nobody-U-know

Hat sich bedauerlicherweise ordentlich verschlimmbessert.

Es gab wie beschrieben keine Änderungen. Ich konnte auf die schnelle auch keine Probleme nachstellen. Habe einige Bilder (/images/nummer) hinzugefügt und die wurden alle in die Liste aufgenommen.
Bitte ein Debug Log bereitstellen, siehe https://support.jdownloader.org/de/k...d-session-logs
Debug Modus aktivieren, JDownloader neustarten, dann den Fehler mit dem Hinzufügen reproduzieren und dann Log erstellen und logID hier posten.

Evtl hat es auch mit Civitai Problemen zu tun? Bei mir funktioniert die Webseite gerade mehr schlecht als recht. Viele Bilder und Seiten leiden gar nicht. Von 20 Links im Browser öffnen nur 3 Stück bei mir.

Originally Posted by nobody-U-know

Häufig muss ich jetzt eine Seite mehrfach kopieren und hoffen, dass es irgendwann funktioniert.

Die Seite ist ultra langsam. Ich brauche für 5 Links im JDownloader nahezu fast 1 Minute

[nobody-U-know]

Mein letzter Post war im März. Das war auch der Zeitpunkt wo ich es zuletzt genutzt habe.

Damals wurden, wie bereits geschrieben, alle markierten und kopierten Bilder eines Creators brav abgearbeitet und ein Link erzeugt. Nun scheint mir, dass das Plugin irgendwas "eigenes" treibt und das kopieren der Bilder ignoriert.

Das nur ein Bruchteil der Bilder erfasst werden, ist vermutlich der extremen Lahmarschigkeit der Seite bei sehr vielen Bildern geschuldet. Manchmal ist die Seite auch nur random lahmarschig.

Vor allem triggert das "Hosterproblem" viel zu schnell.

[Jiaz]

Originally Posted by nobody-U-know

Vor allem triggert das "Hosterproblem" viel zu schnell.

Zu schnell? Ich hab übelst Probleme die Seite überhaupt im Browser zu nutzen, das Seiten , geschweige denn Bilder laden. Hosterprobleme kann RateLimit/Protection oder eben jene genannte Serverprobleme sein.

Ich bitte um ein Log, denn ich konnte beim Hinzufügen der Links auf die schnelle keine Probleme nachstellen, außer das es wirklich wirklich lange dauert. Aber alle /images/nummer Links welche ich probiert hatte, tauchten auch in der Liste auf

Originally Posted by nobody-U-know

"eigenes" treibt und das kopieren der Bilder ignoriert.

Kann ich nicht nachstellen und für /images/ Links wird kein Sammler Plugin genutzt, und daher ist die Ursache wo anders zu suchen/finden.

Bitte einfach ein neues Log und dann brauchen wir nicht Rätselraten, dann seh ich direkt was Sache ist

[nobody-U-know]

Die Seite hat ihre Zeiten, wo sie fast down ist.

Unangemeldet erscheint sie aber fast immer down.

Ich werde mal etwas experimentieren und mich dann melden...

[Jiaz]

Originally Posted by nobody-U-know

alle markierten und kopierten Bilder eines Creators

Es gibt /posts/ und /images/. /posts Links wandern durch den Sammler und hier können die aktuellen Probleme seitens Server durchaus dazu führen das der Vorgang mit einem Fehler abbricht. In solchen Fällen sollte ein Dummy Retry Link der Liste hinzugefügt werden. Schau mal Einstellungen->Profieinstellungen->LinkCrawler.addretrycrawlertasks3 und setze die Einstellung zurück. Evtl ist in deiner Einstellung das Erstellen von Dummylinks für Netzwerkfehler noch nicht enthalten.

Ohne Log ist das alles im Dunkeln raten, aber wenn du zb /posts/ Links hinzufügst, dann kann besagte Probleme zu *Nichts* führen, aber auch API Änderungen/Fehler dazu, da Link rein -> nichts raus führt.

Wenn du das Problem aktuell nachstellen kannst, dann wäre ein Debug Log der schnellste Weg das wir "Licht ins Dunkel" bringen und wir dir helfen können

[Jiaz]

Gerade geht die Seite wieder schnell und ohne Probleme.

Update: Und wieder tot. zb gehen bei mir im Browser grad keine/nur sehr wenige /posts Links. Es werden keine Bilder angezeigt. Einzelne /images Links gehen hier deutlich besser

Update 2: Nach 10 mal Reload der /posts/ Seite sind nun endlich die Bilder da.

Daher meine Vermutung das hier Probleme/Überlastung seitens der API deine besagten Probleme verursachen.

/posts -> unzuverlässig, da die Seite/API nicht sauber arbeitet und das Plugin deshalb Probleme hat diese zu verarbeiten. Mehrmaliges Hinzufügen (ähnlich einem Reload) kann hier dann helfen
/images -> werden direkt mittels Hoster Plugin hinzugefügt und brauchen nur ewig


Update 3: Seite wieder nahezu unbenutzbar bei mir (Firefox und Chrome)

[nobody-U-know]

Eventuell kann man die Bilder der Seite zwar noch markieren, aber das Kopieren funktioniert nicht mehr wie früher. Also eine Änderung bei der Webseite.

Früher hatte sie auch schon diese Probleme mit der Lahmarschigkeit um diese Zeit herum und ging dann irgendwann in den Maintenances Mode. Normal.

[Jiaz]

@nobody-U-know: Welche Links kopierst du denn in die Zwischenablage? Kannst du da Bsp geben? Kopieren und dann Notepad und dann nachschauen ob es /posts/ oder /images Links sind?

Update: Okay, jetzt sehe ich was du meinst. Markieren/Kopieren geht nicht mit normalen Hausmitteln, da die Seite diesen Weg zumacht

[nobody-U-know]

Mein altes Vorgehen war:

- Mit "ende" nach unten scrollen. Dauert, weil immer reloads. Aber wenn man mit gedrückter "ende"-Taste den Tab wechselt (Chrome), macht er das im Hintergrund. Kann man auch mit mehreren Creators in eigenen Tabs machen.
- STRG-A
- STRG-C

Den Müll von den ganzen anderen Links die kopiert wurden habe ich mit Filtern aussortiert.

Bin eigentlich der Meinung, dass früher auch keine Links der Bilder in der Zwischenablage waren.

[Jiaz]

@nobody-U-know: Also irgendwas muss in der Zwischenablage sein, weil JDownloader ja nur Links aus der Ablage lesen/verarbeiten kann. Aber ich denke durch einen Umbau des Layouts und viel Javascript ist das anders. Du weisst das JDownloader auch /models /posts und /user Links kann und damit das Scrollen+Kopieren nur nötig wenn du Suchergebnisse hinzufügen willst

[nobody-U-know]

Ich hatte bereits festgestellt, dass er nun /images kann.

Aber da sieht man ja die Anzahl der Bilder auf der Creator-Seite und er hat regelmäßig nur einen Bruchteil erfasst, um dann irgendwann bei einem späteren nochmaligen kopieren des Links doch alle zu erfassen.

Wollte danach eigentlich auf mein altes zuverlässigeres Verfahren umsteigen...

[Jiaz]

Originally Posted by nobody-U-know

Aber da sieht man ja die Anzahl der Bilder auf der Creator-Seite und er hat regelmäßig nur einen Bruchteil erfasst, um dann irgendwann bei einem späteren nochmaligen kopieren des Links doch alle zu erfassen.

Und hierfür wären Logs gut, denn Probleme sind hier keine bekannt. Bis halt die Serverprobleme aktuell?, welche dann auch zum Ausfall des Plugins führen kann

[nobody-U-know]

Beim manuellen bis zum Ende der Seite kommen, kann es mehrere Stunden dauern, wenn die Bilderanzahl einer hohe fünfstellige Zahl entspricht.

Das Laden eines neuen Chunks von Bildern braucht später immer länger.

Eventuell gibt das Plugin zu früh auf, wenn es ähnlich funktioniert. Ich weiß gar nicht wie es erkennt, wann das Ende erreicht wurde.

[Jiaz]

Originally Posted by nobody-U-know

Ich weiß gar nicht wie es erkennt, wann das Ende erreicht wurde.

Welches Plugin? /images Links werden direkt hinzugefügt und letztendlich hängt die Dauer des Hinzufügens ab, wie schnell der Server den Linkcheck zulässt. Linkcheck deaktivieren und du kannst nahezu direkt tausende Links hinzufügen, hast halt keine Informationen wie Größe/Name/Status, welche ddann erst später verfügbar sind. Bei Links welche über den Sammler gehen, da antwortet ja die API was es gibt und wieviel und co.

[nobody-U-know]

Also bei mir tickt der Jdownloader beim Hinzufügen der Links im 50er Takt, wenn ich /images kopiere. Das entspricht auch den Chunks beim Scrollen. Deshalb meine Vermutung, dass es Ähnlichkeiten gibt.

[Jiaz]

@nobody-U-know: Sind denn noch weitere Unklarheiten vorhanden?
50er Takt entspricht der Pagination Size -> Einstellungen->Plugins->civitai.com (Crawler Plugin).
Wenn du einzelne (image) Links einfügst, dann kannst mittels Einstellungen->Profieinstellungen->LinkCollector.dolinkcheck den Check deaktivieren und das Hinzufügen der Links massiv beschleunigen.

[nobody-U-know]

Wie gesagt, ich werde ein wenig rumexperimentieren...

[nobody-U-know]

So...

Die ersten zwei Tage waren eine Tortur beim Ausprobieren meiner /images-Links, weil häufig erst nach mehreren Anläufen alle Bilder erfasst wurden. Aber mysteriöserweise ging die Erfolgsquote dann urplötzlich auf fast 100 %.

Seltsam... seltsam...


Bleiben nur noch zwei Probleme:

1. Manchmal kriegt man beim Downloaden eine Ungültiger-Downloadpfadmeldung, da manche Videos und sehr selten Bilder zu lange Dateinamen bekommen und/oder Sonderzeichen beinhalten.

Ein Creator wo beides vorkommt:
**External links are only visible to Support Staff****External links are only visible to Support Staff**

Das Gibberish ab dem ¿ ist das Hauptproblem bei dieser Meldung, welches ich manuell rauslösche. Wobei bei mp4s die Dateiendung sowohl davor als auch ganz am Ende vorhanden ist und bei Bildern die Dateiendung nur am Ende.

Sorry, die einzelnen Links der Dateien hab ich nicht mehr rausbekommen, deshalb der ganze Creator.


2. Bei sehr, sehr wenigen Creator stolpert euer Plugin wohl über irgendetwas und erfasst nur einen Teil bis zu einer Hosterproblemmeldung.

Ein paar Creator mit diesem Problem:
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**


Vielen Dank für eure Arbeit.
Frohes Fest und guten Rutsch.

[Jiaz]

@nobody-U-know: Danke für die Rückmeldung. Von unserer Seite aus gab es keine Änderungen.
Zu den zu langen Dateienmane, könntest du den Packagizer nehmen, siehe https://support.jdownloader.org/de/k...the-packagizer
um automatisch Namen länger als X zu kürzen.
Könntest du hier evtl vesuchen den Fehler nachzustellen und uns den konkreten /image Link geben? So muss ich diesen nicht umständlich selbst suchen.

2.) Gefunden, mit nächstem Update behoben. Die Serverantwort ist größer als der Check erlaubt.

Update: Das Update zu 2.) geht grad live.

[nobody-U-know]

Hier ein paar Links zu 1), wo der Dateiname mit/ab dem ¿ verhunzt ist:

**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**

Bei mp4s passiert es regelmäßig. Hab immer nur welche mit "¿token"-irgendwas gesehen.

Bei Bildern ist es sehr exotisch. Bin der Meinung, dass ich auch welche ohne "¿token" - mit "¿"-irgendwas gesehen habe.


PS: Kommt der 50.000-Bilder-Cap bei einem Creator von euch oder von der Seite?

[Jiaz]

@nobody-U-know: Danke perfekt. Kann ich über ein Update beheben. Ursache ist ein API Fehler, die Melden der Name der Datei wäre

name=XZYY.mp4?token=GANZ LANGER TOKEN.mp4

Bei den BeispielLinks mit Bildern ähnliches.
Mit nächstem Update behoben (?token=.... wird automatisch abgeschnitten).
Wird morgen/Montag (je nachdem wie ich Zeit finde) live gehen

[nobody-U-know]

Achherrje,

seit Mitternacht kein Download mehr möglich, mit einer "Datei nicht gefunden"-Meldung.

Haben vielleicht wieder was an ihrer Seite verändert...

[Jiaz]

@nobody-U-know: JSON Änderung der API Antwort. Bin dran

Update: Serverproblem. Die JSON Antwort beinhaltet statt der erwarteten Informationen

"error": {
"name": "TRPCError",
"message": "\nInvalid `prisma.$queryRaw()` invocation:\n\n\nRaw query failed. Code: `42703`. Message: `column "undefined" does not exist`"
},

Und jetzt ist der TestLink offline wird zumindest so angezeigt im Browser

/api/trpc/image.get?input={"json":{"id":47025114}}
antwortet mit

{"error":{"json":{"message":"\nInvalid `prisma.$queryRaw()` invocation:\n\n\nRaw query failed. Code: `42703`. Message: `column "undefined" does not exist`","code":-32603,"data":{"code":"INTERNAL_SERVER_ERROR","httpStatus":500,"path":"image.get"}}}}

Erster Klick im Browser, Bild lädt, HTML hat Fehler, zweites Mal, Link ist Offline. Im Extra Tab -> Seite lädt nicht.

Denke sobald das Problem Serverseitig behoben, sollte es auch im JDownloader wieder gehen

[Jiaz]

@nobody-U-know: Könntest du nochmal auf deiner Seite prüfen? Die Website geht, zumindest bei mir, wieder.

[nobody-U-know]

Läuft. Danke.

[Jiaz]

Originally Posted by nobody-U-know

Läuft. Danke.

Danke der Rückmeldung!