[pspzockerscene]

Originally Posted by Jiaz

Bei mir klappt der Link (Windows, Telekom VSDL, Region Bayern)
Und der Host Problem Eintrag lässt genau auf die Bot-Protection rückschließen.

Korrekt.

Hier lässt sich der Link nur mit einem in JD eingetragenen vk.com Account crawlen & laden.
Dass dies helfen kann, ist ebenfalls weiter oben im Thread beschrieben.

Ohne "host problem" (ja, wegen bot protection).

[StefanM]

Originally Posted by pspzockerscene

Korrekt.

Hier lässt sich der Link nur mit einem in JD eingetragenen vk.com Account crawlen & laden.
Dass dies helfen kann, ist ebenfalls weiter oben im Thread beschrieben.

Ohne "host problem" (ja, wegen bot protection).

Nachfolgend nochmal ein paar Infos und auch ein paar Fragen - zum besseren Auffinden in violett und fett hervorgehoben.


Ich habe die Problem mit einem eingetragenen vk.com Account!

Und noch einmal:
Das Problem, dass kein einziger Link downloadbar ist, tritt nur bei vkvideo.ru auf.

Parallel dazu kann ich Videos von vk.com/video... davor und danach - auch in größerer Anzahl - problemlos mit JD herunterladen.

Aber...
... mit dem VideoDownloadHelper kann ich mit Firefox jederzeit beliebige Videos von vkvideo.ru herunterladen.

Mit demselben vk.com-Account, mit derselben IP-Adresse,...

Daher frage ich mich und euch:
FRAGE 1: Was könnte das Kriterium sein, wenn es denn die Bot-Protection sein sollte?

Denn das Problem mit vkvideo.ru tritt bei mir auch dann auf, wenn ich zuvor mehrere Tage von vk.com und auch mehrere Tage von vkvideo.ru gar nichts heruntergeladen habe.

Ich habe das Ganze auch bei einem Bekannten getestet - also mit einem anderen Internet-Provider:
Dasselbe Problem: vk.com funktioniert im JD, vkvideo.ru nicht.

FRAGE 2: Könnte es am User Agent liegen, den JD verwendet?
FRAGE 3: Ist der User Agent bei allen JDs derselbe?

[pspzockerscene]

Originally Posted by StefanM

Aber...
... mit dem VideoDownloadHelper kann ich mit Firefox jederzeit beliebige Videos von vkvideo.ru herunterladen.

Ja, denn VideoDownloadHelper ist ein generisches Tool, das auf Browserebene arbeitet.
Somit werden die meisten Bot-Schutzmaßnahmen vorher automatisch von deinem Browser verarbeitet.

Originally Posted by StefanM

FRAGE 1: Was könnte das Kriterium sein, wenn es denn die Bot-Protection sein sollte?

Ich vermute, du hast die vorherigen Posts nicht genau durchgelesen und deinen vk.com Account somit nicht exakt wie hier beschrieben hinzugefügt.

Ohne Logs kann ich nur Vermutungen anstellen.

Originally Posted by StefanM

FRAGE 2: Könnte es am User Agent liegen, den JD verwendet?

Jein: vk blockiert einige ältere User-Agent werte.
Der aktuelle Standard User-Agent, den das vk Plugin benutzt, ist nicht blockiert, ansonsten würden wir mehr Meldungen erhalten.
Den User-Agent für alle vom vk.com Plugin ausgelösten Requests kannst du anpassen unter:
Einstellungen -> Plugins -> vk.com

Originally Posted by StefanM

FRAGE 3: Ist der User Agent bei allen JDs derselbe?

Ja, es sei denn du änderst ihn in den Einstellungen.

[StefanM]

Originally Posted by pspzockerscene

...von hier die Cookies exportieren und als vk.com Account hinzufügen

Hatte ich tatsächlich überlesen. Aber das Obige habe ich noch nicht wirklich verstanden.

1. Ich lösche meine Accountdaten im JD - soweit klar.

2. Ich öffne eine beliebigen vkvideo.ru Link im Browser öffnen - auch klar.

3. Jetzt exportiere ich die Cookies:
Mit diesem Firefox-AddOn
https://addons.mozilla.org/en-US/fir...t-cookies-txt/
erhalte ich sie im Netscape-Format als txt-Dateien.

FRAGE: Und wie füge ich diese Cookies jetzt als Account-Daten im JD hinzu?

Was trage ich als User Name,
was trage ich als Password ein?

[pspzockerscene]

Wie bist du auf dieses Addon gekommen?
Nimm eines der Cookie Export Addons, die in unserer offiziellen Cookie Login Anleitung aufgeführt werden und halte dich an diese Anleitung.
Die Anleitung ist auch in der JD GUI verlinkt, wenn man beim vk.com Login auf den Text "Pass or Cookies" klickt.

Deine drei violett markierten Fragen werden allesamt in der Anleitung beantwortet.

[WRESTLiNGHDD]

Videos werden nicht mehr hinzugefügt.
2 Testlinks:
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**
14.01.25 20.01.46 <--> 14.01.25 20.06.52 jdlog://0128411370661/

[Jiaz]

@WRESTLiNGHDD: Bot Protection seitens vkvideo.ru, siehe die Posts vorher

[WRESTLiNGHDD]

Originally Posted by Jiaz

@WRESTLiNGHDD: Bot Protection seitens vkvideo.ru, siehe die Posts vorher

Wenn ich mit einem Account eingeloggt bin im JD, brauche ich doch keinen Cookie-Login, oder?

[Jiaz]

@WRESTLiNGHDD: Der Cookie Login kann zusätzlich noch Cookies vom AntiBot beinhalten, während der normale Login sich nur bei VK einloggt. Daher kann hier Cookie Login vorteilhaft sein, sofern man das BotProtection Problem hat.

[WRESTLiNGHDD]

Originally Posted by Jiaz

@WRESTLiNGHDD: Der Cookie Login kann zusätzlich noch Cookies vom AntiBot beinhalten, während der normale Login sich nur bei VK einloggt. Daher kann hier Cookie Login vorteilhaft sein, sofern man das BotProtection Problem hat.

Muss man dann 2 Accounts hinzufügen?
1. Username und Passwort
2. Username und Cookies

[Jiaz]

@WRESTLiNGHDD: Nein, den Account statt Username/Password , einfach mittels Cookies Methode

[Tableware2343]

Hi,

gibt es eine Möglichkeit alle Videos einer VKVideos-Playlist herunterzuladen welche teilweise auf Youtubevideos verweist?

Bisher hatte ich immer nur Playlisten geladen deren Videos komplett auf vkvideos gehostet waren, ohne Probleme.

Bei gemischten Playlisten werden aber alle eingebundenen youtubevideos als offline angezeigt.
Allerdings kann ich über die Verlinkung das Video direkt auf Youtube aufrufen, ansehen, und normal herunterladen.

Als Notlösung hab ich versucht die Playlist zu öffnen und alle Video-Urls manuell in den Linksammler eingefügt, weil ich dachte dass über die Tiefe Linkanalyse das eingebettete Video erkannt wird. Das funktioniert allerdings auch nicht.
Gibt es irgendeine Lösung, außer manuell jedes Video aus der Playlist aufzurufen, die Youtubeverlinkung zu kopieren und das über den Umweg runterzuladen?


Beispiel für eine gemischte Playlist mit 5 VK-Videos und 2 Youtubevideos:
**External links are only visible to Support Staff****External links are only visible to Support Staff**

Bei einer Tiefen Linkanalyse werden die VK-Videos als Online und die Youtubevideos als Offline angezeigt

[pspzockerscene]

Fixed.

Wartest du auf einen angekündigten Bugfix oder ein neues Feature?
Updates werden nicht immer sofort bereitgestellt!
Bitte lies unser Update FAQ! | Please read our Update FAQ!
---
Are you waiting for recently announced changes to get released?
Updates to not necessarily get released immediately!
Bitte lies unser Update FAQ! | Please read our Update FAQ!

-psp-

[urfausto]

jdownlaoder started warning vk.com plugin is obsolete.

i can't download this **External links are only visible to Support Staff****External links are only visible to Support Staff** and it doesn't even find anything upon pasting vk links to it...

[pspzockerscene]

Merged vk threads.

@urfausto
That link cannot be crawled because it leads to a DRM protected audio playlist.
Due to said DRM protection, the support for audio playlists has been removed a long time ago.
In some cases you might be able to crawl audio items so they will appear in the linkgrabber but you will not be able to download them.
Try other download methods such as this one.

[urfausto]

@psp
oh ok, i will try different methods then!

thanks

[urfausto]

even hls direct link ddl not working? https://imgur.com/a/bHkjbpm

[pspzockerscene]

Yes this is what I told you before:
The vk.com HLS audio streams are DRM protected and therefore not supported

[StefanM]

Hier geht es mir nur um eine Verständnisfrage:

Vorbemerkungen in blau
Ich kopiere die Cookie-Datei im JSON-Format als Passwort ein und ich kann (meistens) in den LinkGrabber kopierte Video-Links erfolgreich ins LinkGrabber-Fenster eintragen lassen.

Auch die Übergabe an das Downloads-Fenster funktioniert und ich kann die Videos herunterladen.

Nur stelle ich dann irgendwann fest, das in den Account-Daten im JD "login cookies expired" angezeigt wird.

Aber die Downloads der gegrabbten Videos laufen weiter, einer nach dem anderen.

Nur neue Links kann ich nicht mehr grabben.

Hier die FRAGE:
Ich sehe nicht, dass spezielle "kryptische" Links zu den Videos gespeichert wurden - egal welche Anzeige ich unter "Downloadlink Address Display"auswähle.

Unter "Data, The address to the actual content" sehe ich nur den üblichen Videolink im Format:
[url]**External links are only visible to Support Staff**
Wie kann JD diese Videos weiter herunterladen? Das würde ich gern verstehen.

Findet hier nur eine Konvertierung statt von

**External links are only visible to Support Staff****External links are only visible to Support Staff**
nach
**External links are only visible to Support Staff****External links are only visible to Support Staff**
?

[Jiaz]

@StefanM: Nein, das ist nicht die interne, finale URL, sondern lediglich, wie schon beschrieben, die URL die zum eigentlichen Inhalt führt. Heisst nicht das es die interne/allerletzte URL in der Kette ist. Wir geben in der Regel die internen URLs nicht raus, da diese oft an Cookies/Session/IP gebunden sind und außerhalb des JDownloader, oftmals, nichts bringen. Viele Plugins merken sich interne URLs und erst wenn diese unbekannt/abgelaufen/fehlerhaft sind,versucht das Plugin entsprechend diese zu holen/erneuern und dann wird zb so eine Situation mit abgelaufenen/ungültigen Cookies bemerkt.

[StefanM]

Originally Posted by Jiaz

@StefanM:...Heisst nicht das es die interne/allerletzte URL in der Kette ist. Wir geben in der Regel die internen URLs nicht raus, da diese oft an Cookies/Session/IP gebunden sind und außerhalb des JDownloader, oftmals, nichts bringen. Viele Plugins merken sich interne URLs und erst wenn diese unbekannt/abgelaufen/fehlerhaft sind,...

ok, da habe ich dann wieder was gelernt. Das war mit nicht bekannt/bewusst. Dann ist aber "Address to the actual content" nicht ganz richtig bezeichnet.

Originally Posted by Jiaz

@StefanM:...versucht das Plugin entsprechend diese zu holen/erneuern und dann wird zb so eine Situation mit abgelaufenen/ungültigen Cookies bemerkt.

Hier möchte ich nochmal nachfragen:
Es ist z.B. aktuell so, dass mein JD immer noch dabei ist, gegrabbte Videos 'runterzuladen, obwohl schon seit über einem Tag "Login cookies expired" angezeigt wird.

NACHFRAGE 1: Wenn ich das nun richtig verstehe, dann wird ein aktueller, noch nicht abgelaufener Cookie nur dann benötigt, wenn Links gegrabbt werden sollen?

Also dann sollte ich ihn nur dann erneuern, wenn ich neu grabben möchte, um VK.com keinen Anlass zu geben, dies vorübergehend zu blocken. Manchmal erhalte ich nämlich auch im JD die Anzeige eines 60 Minuten-Timers, bis JD ist erneut versucht (und dann der zuvor abgelehnte Cookie wieder akzeptiert wird)

NACHFRAGE 2: Bleibt die Frage, wie lang die zum Teil schon vor zwei Tagen gegrabbten Links noch zum Download geeignet sind. Die (kryptische) URL dazu enthält ja vermutlich auch ein Ablaufdatum!?

Hoffe, meine Fragen nerven nicht zu sehr...

[Jiaz]

Originally Posted by StefanM

ok, da habe ich dann wieder was gelernt. Das war mit nicht bekannt/bewusst. Dann ist aber "Address to the actual content" nicht ganz richtig bezeichnet.

Wie man es sieht. Es ist der Link der genau zu dem Inhalt führt. Und das ist es auch. Hier steht nicht das es der Link ist, welcher direkt den Download initiiert.

Ich bin nicht in vk drin, daher meine Aussagen eher allgemein betrachtet:

Originally Posted by StefanM

Hier möchte ich nochmal nachfragen:
Es ist z.B. aktuell so, dass mein JD immer noch dabei ist, gegrabbte Videos 'runterzuladen, obwohl schon seit über einem Tag "Login cookies expired" angezeigt wird.

Weil die bereits geholten/bekannten URLs anscheinend noch nicht abgelaufen sind. Ob diese Ablaufen, oder nach welcher Zeit, oder nach welchen Bedingungen (Zeit, IP, Cookies..) ist von Seite zu Seite unterschiedlich.

Originally Posted by StefanM

NACHFRAGE 1: Wenn ich das nun richtig verstehe, dann wird ein aktueller, noch nicht abgelaufener Cookie nur dann benötigt, wenn Links gegrabbt werden sollen?

Auch das hängt wieder sehr von Seite zu Seite ab. Manche Seiten benötigen nur einen Teil des Cookies für zb Downloads, aber für einen anderen Bereich(zb Link erneuern) andere Cookies. So kannst du zb bei vielen Seiten die Seite nutzen, musst aber um bestimmte Aktionen ausführen dich nochmals anmelden.

Originally Posted by StefanM

Also dann sollte ich ihn nur dann erneuern, wenn ich neu grabben möchte, um VK.com keinen Anlass zu geben, dies vorübergehend zu blocken. Manchmal erhalte ich nämlich auch im JD die Anzeige eines 60 Minuten-Timers, bis JD ist erneut versucht (und dann der zuvor abgelehnte Cookie wieder akzeptiert wird)

Stecke nicht tief genug in vk drin um hier eine Antwort zu geben. Aber nur das vorhanden sein/nutzen der Cookies für den Aufruf der Webseite wird hier, meiner Meinung nach, keinen großen Unterschied machen

Originally Posted by StefanM

NACHFRAGE 2: Bleibt die Frage, wie lang die zum Teil schon vor zwei Tagen gegrabbten Links noch zum Download geeignet sind. Die (kryptische) URL dazu enthält ja vermutlich auch ein Ablaufdatum!?

Wie schon erwähnt, stecke ich nicht tief genug im Plugin drin um diese Frage zu beantworten.

[StefanM]

Originally Posted by Jiaz

...Wie schon erwähnt, stecke ich nicht tief genug im Plugin drin um diese Frage zu beantworten.

OK, also hat einer deiner Kollegen das VK-Plugin erstellt bzw. zumindest den aktuellen Stand, der ja erfreulicherweise gut funktioniert.

Danke für deine Antworten!

Vielleicht bekomme ich ja noch die ergänzenden Antworten von demjenigen (psp?)...

[pspzockerscene]

Originally Posted by StefanM

Dann ist aber "Address to the actual content" nicht ganz richtig bezeichnet.

* ist Definitionssache.

In der Regel ist die "content URL" in JDownloader ein statischer Link zum Inhalt, der dauerhaft im Browser aufrufbar/abspielbar ist.
Gibt es intern Links, die ablaufen und Links, die statisch sind (vk.com/video-1234_1234), wird der statische Link bevorzugt, um dem User einen im Browser funktionierenden Link zu präsentieren.

Interne Direktlinks werden als Plugin Properties abgespeichert.
Über eine benutzerdefinierte "Copy Information Action" kommst du an die Direktlinks also ähnlich wie in diesem Thread erklärt.
Der Ablaufzeitstempel steckt in diesen URLs im Parameter "expires".
Den Zeitstempel kannst du dir z.B. mit folgendem Webtool meschlich lesbar darstellen lassen: epochconverter.com
Property des Direktlinks im vk.com Plugin: directlink

Originally Posted by StefanM

Bleibt die Frage, wie lang die zum Teil schon vor zwei Tagen gegrabbten Links noch zum Download geeignet sind.

Laut Ablaufzeitstempel in einem eben durchgeführten Test, laufen heute erstellte Direktlinks in ca 5 Tagen ab.
Wie lange vk.com Direktlinks gültig sind, kann variieren daher empfehle ich dir, dies mit frischen Direktlinks selbst zu testen.
Sobald die Direktlinks ablaufen und neue vom Plugin geholt werden müssen, wird es zu einem Fehler kommen, sofern dafür ein gültiger Account benötigt wird und keiner vorhanden ist.

[StefanM]

Originally Posted by pspzockerscene

...Den Zeitstempel kannst du dir z.B. mit folgendem Webtool meschlich lesbar darstellen lassen: epochconverter.com
Property des Direktlinks im vk.com Plugin: directlink

Besten Dank für die Infos und die Mühe, womit dann alle meine Fragen erstmal beantwortet sind!

Das Einzige, was ich tatsächlich schon wusste, ist, wie ich das Ablaufdatum lesbar machen kann. Damit hatte ich nämlich schon mal bei anderen Webseiten zu tun...

5 Tage bei VK ist erstaunlich (im positiven Sinn bei meinem schnarchlangsamen Internetzugang).