[pspzockerscene]

Fixed.

Wartest du auf einen angekündigten Bugfix oder ein neues Feature?
Updates werden nicht immer sofort bereitgestellt!
Bitte lies unser Update FAQ! | Please read our Update FAQ!
---
Are you waiting for recently announced changes to get released?
Updates to not necessarily get released immediately!
Bitte lies unser Update FAQ! | Please read our Update FAQ!

-psp-

[WRESTLiNGHDD]

Hallo,
ich wollte heute das beliebte fastcrawl feature nutzen und es zeigt mir beim crawlen nur eine einzgie txt Datei an namens "Content offline!@id*****"
Ich nutzte das feature immer recht gern, da ich Freundeslisten abklappere, crawle und dann in aller Ruhe rauspicke, was ich letzten Endes laden möchte.
Videos einzeln laden klappt weiterhin. Mein VK Account ist auch OK im JD, weil es Videos eines aus meiner Freundesliste sind.
Danke im Voraus.
Liebe Grüße


17.05.24 23.16.32 <--> 20.05.24 20.52.15 jdlog://0992411370661/

[Jiaz]

@WRESTLiNGHDD: Bitte nach dem nächsten Pluginupdate nochmals prüfen

[WRESTLiNGHDD]

Ok, Danke.

[Jiaz]

Originally Posted by WRESTLiNGHDD

Ok, Danke.

Erst bedanken wenn Update raus ist und es auch bei dir wieder geht

[WRESTLiNGHDD]

Ok, nun nochmal: Update draußen, geht, vielen Dank!

[Jiaz]

@WRESTLiNGHDD: Nun Danke der Rückmeldung!

[Red-Cipher]

This is a re-post regrading grabbing vp9 encodes from vk.com.
Most videos on the site are encoded this way after a few days. Some non-open source tools like (idm) can grab these vp9 links in all qualities (and probably remux them into mkv?).

here's an examble link:

**External links are only visible to Support Staff****External links are only visible to Support Staff**


In idm, for example the 480p mkv link is:

**External links are only visible to Support Staff****External links are only visible to Support Staff**


By inspecting the page source I found some interesting text:

"url480":"https:\/\/vkvd446.mycdn.me\/?srcIp=65.49.68.37&pr=40&expires=1717409708117&srcAg=CHROME&fromCache=1&ms=185.226.52.161&type=2&sig =80l22BSdwE0&ct=0&urls=45.136.22.198&clientType=13&appId=512000384397&id=5475806022283"

"url720":"https:\/\/vkvd446.mycdn.me\/?srcIp=65.49.68.37&pr=40&expires=1717409708117&srcAg=CHROME&fromCache=1&ms=185.226.52.161&type=3&sig =5L1se9N4RVk&ct=0&urls=45.136.22.198&clientType=13&appId=512000384397&id=5475806022283"

"url1080":"https:\/\/vkvd446.mycdn.me\/?srcIp=65.49.68.37&pr=40&expires=1717409708117&srcAg=CHROME&fromCache=1&ms=185.226.52.161&type=5&sig =umKngeNj51o&ct=0&urls=45.136.22.198&clientType=13&appId=512000384397&id=5475806022283"


Can you please look into it. And if possible make JD grab these encodes?

btw, I did try the option to grab HLS stream. it was not vp9.

[pspzockerscene]

Originally Posted by Red-Cipher

Most videos on the site are encoded this way after a few days. Some non-open source tools like (idm) can grab these vp9 links in all qualities (and probably remux them into mkv?).

Just a quick disclaimer:
It's not "IDM grabbing those links" - they have a browser addon which can see the browsers' traffic.
That is not more or less magic than using popular tool "VideoDownloadHelper" or using your browsers' developer tools to find media items in the traffic.

I'm unable to find those progressive .webm VP9 streams here.
Where were you able to locate them?
Looking at the POST request to "vk.com/al_video.php?act=show", that does contain the qualities via "url720", "url1080" and so on but those are the .mp4 ones which our plugin is obtaining at this moment.

Originally Posted by Red-Cipher

btw, I did try the option to grab HLS stream. it was not vp9.

There is no setting which would enable VP9 download at this moment.
This would need to be implemented once we know where those streams can be found.

[Red-Cipher]

Thanks for the reply.

I checked VideoDownloadHelper, and it actually does grab the vp9 stream as webm (and can convert to mkv with a paid subscription).

But copying the link to JD linkgrabber does not capture anything.

I'd still prefer if JD can this on its own, without me having to copy and paste every link.
If possible, I hope you'll look into it.

[pspzockerscene]

The streaming type of the item which Vdh sees is "MPD".
JDownloader does not support that kind of stream-type.

Also, in our instructions, VideoDownloadHelper is not the only media download browser extension which is linked - did you also test the other linked methods/browser addons?

[Red-Cipher]

No, I did not test other apps. Since I can download single videos with no trouble.
What I was hoping for was using JD to automate downloading entire playlist, automatic quality selection ...etc in the much more efficient VP9 encoding.

[pspzockerscene]

Yes - again: I understood your request but I was unable to find the vp9 sources as stated in my last post.
JDownloader is open source so you and other users are more than welcome to contribute code and/or hints on where to find said sources.

As long as I can't find the vp9 progressive video-URLs, I'm unable to add support slash a setting for vp9 codec preference.

[WRESTLiNGHDD]

Hallo,
ich habe wie immer in VK meinen Account hinterlegt, seit heute kann ich aus einer öffentlichen Gruppe keine Videos mehr laden.
Gleichzeitig kann ich aber Videos von Leuten aus meiner Freundesliste Videos problemlos laden. Vielleicht hilft euch dieser Fakt bei der Lösung des Problems:
03.08.24 10.43.32 <--> 03.08.24 17.01.02 jdlog://1754411370661/
Im Log ganzen "hinten" bzw. aktuell.
Danke

Entschuldigung. Ein Neustart hat geholfen. Sorry für die Umstände.

[Jiaz]

Originally Posted by WRESTLiNGHDD

Entschuldigung. Ein Neustart hat geholfen. Sorry für die Umstände.

Danke für die Rückmeldung. Sollte es nochmal ein Problem geben, kann ja evtl eine Änderung seitens vk.com sein, welche langsam ausgerollt wird, dann einfach wieder melden

[Jiaz]

@WRESTLiNGHDD: Gibt tatsächlich ne Änderung am Layout, wird mit nächstem Update behoben sein, zumindest den Fehler den ich nachstellen konnte

[WRESTLiNGHDD]

Hallo,
gibt es eine Möglichkeit, nur die Playlist in den JDownloader (Linksammler) zu packen? Wenn ich die entsprechende URL kopiere, werden alle Videos des Users importiert, nicht nur die der Playlist.
Danke im Voraus.

[Jiaz]

@WRESTLiNGHDD: Welche URL konkret? Kannst du ein Beispiel geben? Ich frage, weil es letztens eine Änderug gab und ein Update des Plugins auf sich wartet

[WRESTLiNGHDD]

Habe dir die URL als PN geschickt. Man muss befreundet sein mit der Person/Freundesliste. Meines Wissens war das schon immer ein Problem.

[Jiaz]

@WRESTLiNGHDD: Warte mal aufs nächste Update und probier es dann, habe da einiges geändert.

[pspzockerscene]

vk.com Threads zusammengeführt.

[WRESTLiNGHDD]

Originally Posted by Jiaz

@WRESTLiNGHDD: Warte mal aufs nächste Update und probier es dann, habe da einiges geändert.

Ok, danke dir! Wird es dann möglich sein?

[WRESTLiNGHDD]

Originally Posted by Jiaz

@WRESTLiNGHDD: Warte mal aufs nächste Update und probier es dann, habe da einiges geändert.

Es gab seit dem einige Updates doch es ist noch nicht möglich.

[Jiaz]

@WRESTLiNGHDD: Bitte mal den Fehler nachstellen und ein Debug Log erstellen, siehe https://support.jdownloader.org/de/k...d-session-logs

[WRESTLiNGHDD]

Originally Posted by Jiaz

@WRESTLiNGHDD: Bitte mal den Fehler nachstellen und ein Debug Log erstellen, siehe **External links are only visible to Support Staff**...

07.08.24 08.42.18 <--> 07.08.24 08.43.48 jdlog://5564411370661/

Meine ursprüngliche Frage war, ob man Playlisten hinzufügen kann (ein Beispiel habe ich dir als PN/Email geschickt), ohne dass der gesamte Content des Freundes/Profils gecrawlt wird. Bin deiner Aufforderung nachgegange, Neustart des JD inkl aller Updates: Nun werden gar keine Videos mehr hinzugefügt (Fastcrawl). Danke im Voraus.

[WRESTLiNGHDD]

Update: Problem exisitiert wieder.
Siehe allgemeiner VK Thread.

[WRESTLiNGHDD]

Siehe VK Sammelthread: nach den Updates geht nun geht "gar nichts" mehr. Danke im Voraus für die Hilfe.

[pspzockerscene]

vk.com Threads zusammengeührt.

Es reicht, diesen Sammelthread zu verwenden.
Alle offenen Probleme werde ich später prüfen- und hier nochmals Feedback dazu geben.

[pspzockerscene]

Problem, dass das Profil des Users statt die Playliste gecrawlt werden, konnte ich nicht nachstellen.

"Es geht gar nichts mehr" -> Konnte ich nach etwas herumprobieren nachstellen.

Bevor du dich wunders, dass bei größeren Playlisten/[Video-]Alben nicht alle Elemente gefunden werden: Der Fehlt ist bekannt und es gibt ein Ticket dazu, siehe:
https://board.jdownloader.org/showth...132#post528132

Für meine Änderungen gilt:

Wartest du auf einen angekündigten Bugfix oder ein neues Feature?
Updates werden nicht immer sofort bereitgestellt!
Bitte lies unser Update FAQ! | Please read our Update FAQ!
---
Are you waiting for recently announced changes to get released?
Updates to not necessarily get released immediately!
Bitte lies unser Update FAQ! | Please read our Update FAQ!

-psp-

[WRESTLiNGHDD]

Originally Posted by pspzockerscene

Problem, dass das Profil des Users statt die Playliste gecrawlt werden, konnte ich nicht nachstellen.

"Es geht gar nichts mehr" -> Konnte ich nach etwas herumprobieren nachstellen.

Bevor du dich wunders, dass bei größeren Playlisten/[Video-]Alben nicht alle Elemente gefunden werden: Der Fehlt ist bekannt und es gibt ein Ticket dazu, siehe:
**External links are only visible to Support Staff**...

Für meine Änderungen gilt:

Wartest du auf einen angekündigten Bugfix oder ein neues Feature?
Updates werden nicht immer sofort bereitgestellt!
Bitte lies unser **External links are only visible to Support Staff**...! | Please read our **External links are only visible to Support Staff**...!
---
Are you waiting for recently announced changes to get released?
Updates to not necessarily get released immediately!
Bitte lies unser **External links are only visible to Support Staff**...! | Please read our **External links are only visible to Support Staff**...!

-psp-

Ich meinte nicht, dass das Profil des Users gecrawlt wird, sondern alle VIDEOS auf seinem Profil, nicht die Playlist.
Doch das geht seit den Updates auch nicht mehr.

Ja, werde nur noch hier schreiben, nicht mehr in den Einzelthreads, sorry.

Kurzfassung: Seit den Updates wird gar nichts mehr gecrawlt.


Edit: Gerade gab es ein neues Update, danke. Playlist wird einzeln gecrawlt. Das funktioniert also.
Aber es wird kein Video gecrawlt, wenn ich die gesamten Videos eines Profils möchte. (Fastcrawl)
Dies passiert ohne Fehlermeldung. Also kein "Plugin Defekt" oder "Ungültiger Account", etc.

[pspzockerscene]

Originally Posted by WRESTLiNGHDD

Ich meinte nicht, dass das Profil des Users gecrawlt wird, sondern alle VIDEOS auf seinem Profil, nicht die Playlist.
Doch das geht seit den Updates auch nicht mehr.

Das habe ich schon richtig verstanden, da war mein Wording wohl falsch.

Originally Posted by WRESTLiNGHDD

Edit: Gerade gab es ein neues Update, danke. Playlist wird einzeln gecrawlt.

Danke fürs Feedback.
Für die Zukunft bei solchen Problemen:
Sollte dein Testlink zu Inhalten führen, auf die nur du im eingeloggten Zustand Zugriff hat, ist es für uns hilfreich, wenn du uns, sofern möglich, Links zum Testen gibst, die öffentlich abrufbar sind und mit denen sich das Problem ebenfalls nachstellen lässt.

Originally Posted by WRESTLiNGHDD

Aber es wird kein Video gecrawlt, wenn ich die gesamten Videos eines Profils möchte. (Fastcrawl)

Wie immer gilt: Testlinks & Debug-Log bitte.

Please post your log-ID here
If your report is about a specific website which JD supports via plugin, please also provide example URLs which can be used to reproduce the issue you are having.
If your report is related to a login specific problem with a plugin supported website, enable debug mode before creating logs, see previously linked instructions.

Bitte poste deine Log-ID hier.
Falls dein Problem ein Problem mit einer Webseite ist, die per Plugin unterstützt wird, stelle bitte zusätzlich Testlinks zur Verfügung, mit denen sich dein Problem nachstellen lässt.
Geht es um einen nicht funktionierenden Account-Login, aktiviere vor dem Erstellen deines Logs den debug Modus (siehe zuvor verlinkte Anleitung).

-psp-

[WRESTLiNGHDD]

Danke für den Hinweis.
Gerade kam nochmal ein Update, alle Videos eines Users geht wie beschrieben noch nicht. Hier ein öffentlicher Link für ein Profil: **External links are only visible to Support Staff****External links are only visible to Support Staff**
Log: jdlog://2664411370661/

[pspzockerscene]

Originally Posted by WRESTLiNGHDD

Gerade kam nochmal ein Update

Es gibt täglich mehrere Updates siehe:
https://support.jdownloader.org/de/k...pdate-behavior
-> Siehe "JDownloaders' update frequency"

Ob das Update Änderungen der vkontakte Plugins enthält kannst du herausfinden, indem du in deinem JD Installationsordner nach "vkontakte" suchst und dir das Änderungsdatum der Dateien anschaust.

Originally Posted by WRESTLiNGHDD

Hier ein öffentlicher Link für ein Profil

Danke. Ich schaue mir das an und melde mich dann nochmal hier.

[WRESTLiNGHDD]

von heute, 7.8. 15:26: decrypter und hoster
Noch aktuellere Treffer waren nur (temp)logs. Danke dir. Bis später.

[pspzockerscene]

Originally Posted by WRESTLiNGHDD

von heute, 7.8. 15:26: decrypter und hoster

Richtig, das waren kleinere Änderungen und/oder auch der Fix des vorherigen Problems.

[pspzockerscene]

Bevor du dich wunders, dass bei größeren Profilen/Playlisten/[Video-]Alben nicht alle Elemente gefunden werden: Der Fehlt ist bekannt und es gibt ein Ticket dazu, siehe:
https://board.jdownloader.org/showth...132#post528132
Hier nochmal das damit zusammenhängende Ticket:

Der Umbau, um das zu fixen würde sehr viele Stunden in Anspruch nehmen, die ich derzeit lieber in andere Baustellen stecke.

Sollte es daran liegen bleibt dir nur, die übrigen Links manuell zu sammeln, siehe:
https://support.jdownloader.org/de/k...orted-websites

Profile Crawler: Problem, dass gar nichts gefunden wird behoben.
Das Update ging soeben live.

Ich verabschiede mich für heute in den Feierabend.

[WRESTLiNGHDD]

Originally Posted by pspzockerscene

Bevor du dich wunders, dass bei größeren Profilen/Playlisten/[Video-]Alben nicht alle Elemente gefunden werden: Der Fehlt ist bekannt und es gibt ein Ticket dazu, siehe:
**External links are only visible to Support Staff**...
Sollte es daran liegen bleibt dir nur, die übrigen Links manuell zu sammeln, siehe:
**External links are only visible to Support Staff**...

Profile Crawler: Problem, dass gar nichts gefunden wird behoben.
Das Update ging soeben live.

Ich verabschiede mich für heute in den Feierabend.

Playlisten klappt, danke.
Fastcrawl, naja... wie due vermutet hast, nur einen ganz ganz kleinen Bruchteil: **External links are only visible to Support Staff****External links are only visible to Support Staff**

Den Workaround kenne ich wegen YouTube, danke.
Die letzten 5 Jahre oder so wurde immer das gesamte Profile gecrawlt. Warum ist das plötzlich nicht mehr so?
Was ich damit sagen will: Bevor ich das Playlistenproblem angesprochen habe, hat es funktioniert, ganze Profile komplett zu crawlen.

07.08.24 18.04.52 <--> 07.08.24 18.10.24 jdlog://5664411370661/

[Jiaz]

@WRESTLiNGHDD: VK bleibt natürlich auch nicht stehen und bastelt an Website/Layout und API.
Wir sind noch dran

[WRESTLiNGHDD]

Originally Posted by Jiaz

@WRESTLiNGHDD: VK bleibt natürlich auch nicht stehen und bastelt an Website/Layout und API.
Wir sind noch dran

Alles klar, danke. Dann bleib ich auch noch dran und leiste meinen Beitrag.

[pspzockerscene]

Originally Posted by WRESTLiNGHDD

Den Workaround kenne ich wegen YouTube, danke.

Wofür genau benötigst du ihn bei YT?

Originally Posted by WRESTLiNGHDD

Die letzten 5 Jahre oder so wurde immer das gesamte Profile gecrawlt. Warum ist das plötzlich nicht mehr so?
Was ich damit sagen will: Bevor ich das Playlistenproblem angesprochen habe, hat es funktioniert, ganze Profile komplett zu crawlen.

Wir unterstützen mehrere tausend Webseiten, die sich jeden Tag ändern können.
Da wir auch fast täglich mehrere Updates releasen hören wir öfter die Aussage, ein Update hätte Fehler XY verursacht, während dies einfach durch eine Änderung der Webseite passierte - nähere Erläuterung siehe:
https://support.jdownloader.org/know...pdate-behavior
-> Volltextsuche nach "JDownloaders' update frequency".

Zu dem Problem:
Ich konnte die Pagination von video Alben/Playlisten reparieren.
Interner Changelog:

vk:
- fixed video album/playlist crawler pagination (fixed problem that crawler only found 30-1000 items) RE forum 30431
- '/clips' crawler: fixed (without pagination)
- fixed fastcrawl for single clips aka '/clip-...'

Wartest du auf einen angekündigten Bugfix oder ein neues Feature?
Updates werden nicht immer sofort bereitgestellt!
Bitte lies unser Update FAQ! | Please read our Update FAQ!
---
Are you waiting for recently announced changes to get released?
Updates to not necessarily get released immediately!
Bitte lies unser Update FAQ! | Please read our Update FAQ!

-psp-