#3481
|
|||
|
|||
Danke für deine Arbeit.
Für YouTube benötige ich es, weil JD "nur" ~1000 Videos eines Kanals crawlt und dann aufhört. Benutze ich, wenn es weitaus mehr sind. Habe JD geupdated: Meine Tests: **External links are only visible to Support Staff****External links are only visible to Support Staff** Crawlt 999 von 14504 Das gleiche Profil, nur die "added" Sektion statt "uploaded": **External links are only visible to Support Staff****External links are only visible to Support Staff** Crawlt 1 von 14504 **External links are only visible to Support Staff****External links are only visible to Support Staff** Crawlt alles Das gleiche Profil, nur die "added" Sektion statt "uploaded": **External links are only visible to Support Staff****External links are only visible to Support Staff** Passiert nichts **External links are only visible to Support Staff****External links are only visible to Support Staff** Crawlt 993 von 1876 Das gleiche Profil, nur die "added" Sektion statt "uploaded": **External links are only visible to Support Staff****External links are only visible to Support Staff** Passiert nichts **External links are only visible to Support Staff****External links are only visible to Support Staff** crawlt alles **External links are only visible to Support Staff****External links are only visible to Support Staff** 11 von 1004 Dass beim Crawlen von "added" nur die restlichen Videos hinzugefügt werden, die bei "uploaded" nicht dabei waren, erscheibt mir logisch. Ich erkenne leider keine Systematik, wieso es nicht 100%ig fuktioniert. Aber es ist auf jeden Fall ein großer Fortschritt. Kann man da noch was machen evtl.? Danke nochmal. 09.08.24 08.01.36 <--> 09.08.24 08.14.21 jdlog://3274411370661/ |
#3482
|
||||
|
||||
Danke für die Beispiele! Wir werden uns das natürlich anschauen
__________________
JD-Dev & Server-Admin |
#3483
|
||||
|
||||
Quote:
https://board.jdownloader.org/showthread.php?t=48894 Fixed. Hintergrund: Das Plugin erwartete, dass eine 'volle Seite' immer 1000 Elemente enthält, aber das vk System kann zwischendrin auch eine andere Anzahl von Elementen zurückgeben ohne, dass das Ende erreicht ist. Dadurch dachte das Plugin es wäre auf der letzten Seite und stoppte zu früh. Ich bekomme beim ersten Link 14416 Elemente von angeblich 14504, beim zweiten Link 14362. Herauszufinden ob wirklich welche fehlen und welche, überlasse ich dir (mehr dazu weiter unten). Quote:
Ich bekomme 1453 Ergebnisse. Ich bekomme 1003 Elemente. Warte am besten aufs nächste Update, bevor du weiteres Feedback gibst. Bzlg potentiell fehlender Elemente habe ich nicht weiter geforscht, aber ich vermute, dass das so zustande kommt: - Manche Videos wurden gelöscht, aber der Zähler nicht aktualisiert - Manche Videos sind doppelt enthalten (selbe videoID), aber in JD kann jede eindeutige VideoID nur 1x hinzugefügt werden - Oder: vk hat ein Bug im Pagination System, wodurch manche Elemente tatsächlich "verloren gehen" Auch Betreiber großer Webseiten machen Fehler und einen solchen haben wir auch schonmal an anderer Stelle entdeckt daher prüfe es gerne. Es kann natürlich auch an einem Bug im Plugin liegen. VK Änderungen fürs nächste Update (interner Changelog): - fixed pagination when page size is lower than expected max such as 999 items on a page instead of 1000 - video pagination: now respects 'sleep between pages' plugin setting - deleted a lot of old audio crawl functionality as audio streams are DRM protected and cannot be downloaded with JD anyways Bitte auf das nächste CORE-Update warten! Please wait for the next CORE-Update! Wartest du auf einen angekündigten Bugfix oder ein neues Feature? Updates werden nicht immer sofort bereitgestellt! Bitte lies unser Update FAQ! | Please read our Update FAQ! --- Are you waiting for recently announced changes to get released? Updates to not necessarily get released immediately! Bitte lies unser Update FAQ! | Please read our Update FAQ! -psp- EDIT Nachtrag, da du mir per PN eine Frage bzlg "CORE Updates" gestellt hattest: In dem Fall ist die Art des Updates auch egal. Du hast die besagten Änderungen, sobald sich die von vkontakte zusammenhängenden JDownloader Plugin-Klassen das nächste mal nach einem Update ändern.
__________________
JD Supporter, Plugin Dev. & Community Manager
Erste Schritte & Tutorials || JDownloader 2 Setup Download Last edited by pspzockerscene; 12.08.2024 at 13:20. Reason: EDIT Nachtrag |
#3484
|
||||
|
||||
Hello, how are you?
After the latest updates, the "linkgrabber" no longer works with personal album links. It used to download the first 20 images, but now it only happens with page albums. Public albums (albums-14839763) are working perfectly as far as I can tell. Here is the log and the links I used in the test: 11.08.24 19.15.45 <--> 11.08.24 19.27.28 jdlog://2974411370661/ n work: **External links are only visible to Support Staff****External links are only visible to Support Staff** n work: **External links are only visible to Support Staff****External links are only visible to Support Staff** n work: **External links are only visible to Support Staff****External links are only visible to Support Staff** n work: **External links are only visible to Support Staff****External links are only visible to Support Staff** n work: **External links are only visible to Support Staff****External links are only visible to Support Staff** ok: **External links are only visible to Support Staff****External links are only visible to Support Staff** ok: **External links are only visible to Support Staff****External links are only visible to Support Staff** :helpsmilie: |
#3485
|
||||
|
||||
Good, thanks.
Quote:
Did you add your vk.com account to JDownloader? I haven't touched any of the album crawl functionality. Please provide a (new) debug-log. Please post your log-ID here If your report is about a specific website which JD supports via plugin, please also provide example URLs which can be used to reproduce the issue you are having. If your report is related to a login specific problem with a plugin supported website, enable debug mode before creating logs, see previously linked instructions. Bitte poste deine Log-ID hier. Falls dein Problem ein Problem mit einer Webseite ist, die per Plugin unterstützt wird, stelle bitte zusätzlich Testlinks zur Verfügung, mit denen sich dein Problem nachstellen lässt. Geht es um einen nicht funktionierenden Account-Login, aktiviere vor dem Erstellen deines Logs den debug Modus (siehe zuvor verlinkte Anleitung). -psp-
__________________
JD Supporter, Plugin Dev. & Community Manager
Erste Schritte & Tutorials || JDownloader 2 Setup Download Last edited by pspzockerscene; 12.08.2024 at 14:42. Reason: Fixed typo |
#3486
|
||||
|
||||
@patriks: please check again with next update
__________________
JD-Dev & Server-Admin |
#3487
|
||||
|
||||
16.08.24 16.17.24 <--> 16.08.24 16.17.10 jdlog://7094411370661/
After many tests, I discovered that the problem might be with the login. Here's what I did: I took files X and Y from an my backup of JD (where my login was saved). I placed them in the newly downloaded JD, where I wasn't able to download while logged in (even the public album, which is accessible without an account). The logs are from this JD, and I also placed the files in the one where I had the issue initially. It was able to find all the albums now. I logged in correctly, but maybe it’s not able to detect the login or save it properly in the file in the new version? X= org.jdownloader.settings.AccountSettings.json Y= org.jdownloader.settings.AccountSettings.accounts.ejs links I tested: work: **External links are only visible to Support Staff****External links are only visible to Support Staff** work: **External links are only visible to Support Staff****External links are only visible to Support Staff** only 20 photos work: **External links are only visible to Support Staff****External links are only visible to Support Staff** work: **External links are only visible to Support Staff****External links are only visible to Support Staff** work: **External links are only visible to Support Staff****External links are only visible to Support Staff** Last edited by patriks; 16.08.2024 at 23:18. |
#3488
|
||||
|
||||
Sorry for the inconvenience, but I would really like to ask for one thing, an option that can be activated: that it downloads the original image and not the image converted by the server, I don't know why VK does this, but it converts all the images and often ends up being twice the size. Example:
converted: **External links are only visible to Support Staff****External links are only visible to Support Staff**impg/UsF_Ur8tOGxv2VjdQMUTeOskJjetRc2nTq0WqQ/zN4qgC2fcQE.jpg?size=1620x2160&quality=95&sign=4772b127c48c68c9c3a4b2b37014ec1b&type=album original: **External links are only visible to Support Staff****External links are only visible to Support Staff** link: **External links are only visible to Support Staff****External links are only visible to Support Staff** thx Last edited by patriks; 17.08.2024 at 10:01. |
#3489
|
||||
|
||||
Quote:
vk version (with params) = 1.58MB original version? (without params) = 2.32 MB Have you mixed up your tests ? Does this URL rewrite work always? if so, of course we could add an option for it.
__________________
JD-Dev & Server-Admin |
#3490
|
||||
|
||||
Quote:
but I guarantee that in the vast majority of cases this is not what happens, I had already noticed this problem some time ago. I suggested it as an "option" to avoid causing problems in links that may not have this pattern, but the pattern I have noticed so far is this. // new links **External links are only visible to Support Staff****External links are only visible to Support Staff** converted: 610 KB **External links are only visible to Support Staff****External links are only visible to Support Staff** original: 381 KB // old link 2014 **External links are only visible to Support Staff****External links are only visible to Support Staff** converted: 387 KB **External links are only visible to Support Staff****External links are only visible to Support Staff** original: 242 KB I believe it is always better to get the original image without unnecessary conversions. This also makes it easier to find duplicates. |
#3491
|
||||
|
||||
Quote:
Jiaz' question was if you think/know that the original image is always available.
__________________
JD Supporter, Plugin Dev. & Community Manager
Erste Schritte & Tutorials || JDownloader 2 Setup Download |
#3492
|
||||
|
||||
__________________
JD-Dev & Server-Admin |
#3493
|
||||
|
||||
@pspzockerscene: Can you check this? https://board.jdownloader.org/showpo...postcount=3487
__________________
JD-Dev & Server-Admin |
#3494
|
||||
|
||||
Quote:
You just need to remove "impg/" or "impf/" + everything that comes after .jpg Just out of curiosity, here is the excerpt from the python script I used: Code:
def modify_directlink(url): """Modifies the URL by removing 'impg/', 'impf/', and everything after the image file extension.""" parsed_url = urlparse(url) path_parts = parsed_url.path.split('/') # Identifies the last part of the path (file with extension) file_name_with_ext = path_parts[-1] if '.' in file_name_with_ext: # Removes 'impg/' and 'impf/' from the path path_parts = [part for part in path_parts if part not in ('impg', 'impf')] # Removes everything after the file extension path_parts = path_parts[:path_parts.index(file_name_with_ext) + 1] new_path = '/'.join(path_parts) # Recreates the URL without 'impg/', 'impf/' and parameters after the file new_url = urlunparse(parsed_url._replace( path=new_path, query='', fragment='' )) return new_url return url Last edited by patriks; 19.08.2024 at 20:35. |
#3495
|
||||
|
||||
Added plugin setting for this (default = turned off).
Code snippet: Code:
private String modifyFinalDownloadurl(final String input) { final Regex photo_url_regex; if (this.getPluginConfig().getBooleanProperty(VKPHOTOS_DOWNLOAD_ORIGINAL_IMAGE_VIA_MAGIC_TRICK, default_VKPHOTOS_DOWNLOAD_ORIGINAL_IMAGE_VIA_MAGIC_TRICK) && (photo_url_regex = new Regex(input, Pattern.compile("(https?://[^/]+)/imp(?:f|g)/([^\\?]+)\\?.+", Pattern.CASE_INSENSITIVE))).patternFind()) { /* Modify URL according to: https://board.jdownloader.org/showpost.php?p=538448&postcount=3490 */ final String new_url = photo_url_regex.getMatch(0) + "/" + photo_url_regex.getMatch(1); return new_url; } else { final Regex urlregex = new Regex(input, "(https?://cs(\\d+)\\.vk\\.me/)"); if (!urlregex.patternFind()) { /* Return unmodified url */ return input; } /* 2024-08-20: This is very old. I'm unsure whether this is still needed and working. */ final String oldserver = urlregex.getMatch(0); final String serv_id = urlregex.getMatch(1); final String newserver = "**External links are only visible to Support Staff** + serv_id + "/"; return input.replace(oldserver, newserver); } } https://support.jdownloader.org/de/k...up-ide-eclipse Wartest du auf einen angekündigten Bugfix oder ein neues Feature? Updates werden nicht immer sofort bereitgestellt! Bitte lies unser Update FAQ! | Please read our Update FAQ! --- Are you waiting for recently announced changes to get released? Updates to not necessarily get released immediately! Bitte lies unser Update FAQ! | Please read our Update FAQ! -psp-
__________________
JD Supporter, Plugin Dev. & Community Manager
Erste Schritte & Tutorials || JDownloader 2 Setup Download |
#3496
|
|||
|
|||
Kann wieder keine Videos downloaden:
05.10.24 13.25.03 <--> 05.10.24 13.27.23 jdlog://9495411370661/ **External links are only visible to Support Staff****External links are only visible to Support Staff** Ganzer Kanal (fastcrawl?) geht nicht, einzelne Videos gehen. Last edited by WRESTLiNGHDD; 05.10.2024 at 14:30. |
#3497
|
||||
|
||||
core: 48254
it's says "plugin outdated" when i press "refresh" on vk account in account manager |
#3498
|
||||
|
||||
@WRESTLiNGHDD
Wird auf absehbare Zeit nicht fixed, siehe: https://board.jdownloader.org/showth...088#post538088 Ticket: Der Umbau, um das zu fixen würde sehr viele Stunden in Anspruch nehmen, die ich derzeit lieber in andere Baustellen stecke. Mit folgender Methode kannst du die Video-Einzellinks separat sammeln: https://support.jdownloader.org/de/k...orted-websites Nachtrag: Was noch funktioniert ist, wenn du das "/uploaded" aus dem Link entfernst also das Crawlen aller Videos aus allen "sections" des Users. In diesem Fall sind das 1506 Elemente. @Neurotoxin001 Please post your log-ID here If your report is about a specific website which JD supports via plugin, please also provide example URLs which can be used to reproduce the issue you are having. If your report is related to a login specific problem with a plugin supported website, enable debug mode before creating logs, see previously linked instructions. Bitte poste deine Log-ID hier. Falls dein Problem ein Problem mit einer Webseite ist, die per Plugin unterstützt wird, stelle bitte zusätzlich Testlinks zur Verfügung, mit denen sich dein Problem nachstellen lässt. Geht es um einen nicht funktionierenden Account-Login, aktiviere vor dem Erstellen deines Logs den debug Modus (siehe zuvor verlinkte Anleitung). -psp-
__________________
JD Supporter, Plugin Dev. & Community Manager
Erste Schritte & Tutorials || JDownloader 2 Setup Download Last edited by pspzockerscene; 07.10.2024 at 14:11. Reason: Nachtrag |
#3499
|
|||
|
|||
Quote:
Also, wenn ich **External links are only visible to Support Staff****External links are only visible to Support Staff** (ohne uploaded) einfüge, passiert gar nichts. Sind bei den 1506 Elementen auch die Videos dabei? Zu deinem Screenshot bzgl. Crawling: Bist du dir sicher, dass es der gleiche Fehler ist? Denn ich bin mir relativ sicher, dass du oder ein Kollege von dir es mal Ende August oder so gefixt hat und es dann ging, siehe VK Thread. Der Screenshot von deinem bekannten Fehler bezieht sich glaub ich auf andere Elemente? |
#3500
|
||||
|
||||
Quote:
Ja das waren nur Video-Elemente. Quote:
Quote:
Die vk Webseite wird nach und nach auf die interne API umgestellt, wodurch sie völlig anders funktioniert. Die entsprechenden Crawl Funktionen des vk Plugins müssten somit in großen Teilen neu geschrieben werden, was viel Zeit in Anspruch nimmt. Quote:
Jedoch wurden hier auch nur minimale Änderungen vorgenommen, die zum aktuellen slash _alten_ Webseitenlayout passen. Nochmal: Die Webseite mag gleich aussehen, aber funktioniert intern völlig anders. Du kannst dir dies gerne selbst anschauen, indem du die Entwicklertools deines Browser öffnest und in den Requests nach "api.vk.com" suchst. Wenn du viele Inhalte von vk.com herunterladen möchtest empfehle ich dir, dir eine Software zu holen, die genau darauf ausgelegt ist. Davon sollte man z.B. auf github.com mehr als genug finden. Außer mir wird vermutlich niemand an dem JD vk.com Plugin arbeiten.
__________________
JD Supporter, Plugin Dev. & Community Manager
Erste Schritte & Tutorials || JDownloader 2 Setup Download |
#3501
|
|||
|
|||
Danke dir. Ich denke die Kombi mit Link Gopher ist ganz gut.
Kann man in etwa ganz grob sagen, wann in etwa Probleme wie dieses mit der Priority Low gefixt werden? Damit wir nicht aneinander vorbeirden: **External links are only visible to Support Staff****External links are only visible to Support Staff** Du hast bei deinem 1. Posting 1506 Elemente inkl. Videos bekommen, als ich es dann auch getestet habe, so wie ich 0 Elemente? Bzw. 0 Videos? Oder sprichst du vom normalen Profil? Weil 1506 Elemente sind etwas viel bei der geringen Menge an Videos. Danke dir. Last edited by WRESTLiNGHDD; 08.10.2024 at 16:50. |
#3502
|
||||
|
||||
Quote:
Du siehst, wie lange das Ticket schon existiert. Quote:
Nochmal: Du kannst in den Entwicklertools auch selbst sehen, an welchen Stellen die Webseite die neue API verwendet, um die Infos zu beziehen.
__________________
JD Supporter, Plugin Dev. & Community Manager
Erste Schritte & Tutorials || JDownloader 2 Setup Download |
#3503
|
|||
|
|||
Tut mir leid, ich weiß leider nicht, was du mir mit api.vk.com/Entwicklertools/selber nachsehen bzw. selber nachsehen sagen willst. Was soll ich da rausfinden bzw. wie geht das? Sorry.
|
#3504
|
||||
|
||||
Siehe:
developer.chrome.com/docs/devtools/network?hl=de (Für Chrome) Im Endeffekt hilft dir diese Info aber nicht weiter mit dem Problem. TL;DR vk.com baut die Webseite um, daher funktionieren Teile unseres vk Plugins derzeit nicht mehr oder nicht mehr so, wie du es gewohnt bist.
__________________
JD Supporter, Plugin Dev. & Community Manager
Erste Schritte & Tutorials || JDownloader 2 Setup Download |
#3505
|
|||
|
|||
Ok, Danke.
|
#3506
|
|||
|
|||
Ich möchte noch schnell hinzufügen, dass fastcrawl weiterhin bei Nutzerprofilen perfekt funktioniert. Lediglich bei Gruppen funktioniert es nicht mehr. Das war mir ursprünglich nicht aufgefallen, sorry.
|
#3507
|
||||
|
||||
Please post your log-ID here
If your report is about a specific website which JD supports via plugin, please also provide example URLs which can be used to reproduce the issue you are having. If your report is related to a login specific problem with a plugin supported website, enable debug mode before creating logs, see previously linked instructions. Bitte poste deine Log-ID hier. Falls dein Problem ein Problem mit einer Webseite ist, die per Plugin unterstützt wird, stelle bitte zusätzlich Testlinks zur Verfügung, mit denen sich dein Problem nachstellen lässt. Geht es um einen nicht funktionierenden Account-Login, aktiviere vor dem Erstellen deines Logs den debug Modus (siehe zuvor verlinkte Anleitung). -psp-
__________________
JD Supporter, Plugin Dev. & Community Manager
Erste Schritte & Tutorials || JDownloader 2 Setup Download |
#3508
|
|||
|
|||
vk direct video link brings only 144p quality
delete, my fault.
Last edited by Supermaks; 15.10.2024 at 18:31. |
#3509
|
||||
|
||||
Works fine here (best = 2160p, total number of qualities = 8).
Please post a screenshot of your vk.com plugin settings.
__________________
JD Supporter, Plugin Dev. & Community Manager
Erste Schritte & Tutorials || JDownloader 2 Setup Download |
#3510
|
|||
|
|||
Sorry, it was something weird on my side, now it shows 8 links as it should be.
|
#3511
|
|||
|
|||
Quote:
https://board.jdownloader.org/showpo...postcount=3498 |
#3512
|
||||
|
||||
Da scheinbar Unklarheiten herrschen, gehe ich nochmal darauf ein:
Ich habe das so verstanden: "Gruppen sind noch crawlbar, aber fastcrawl funktioniert nicht mehr." Falls du damit sagen wolltest "Gruppen gehen wegen den genannten Webseitenänderungen nicht mehr", wird kein Log benötigt, ansonsten schon.
__________________
JD Supporter, Plugin Dev. & Community Manager
Erste Schritte & Tutorials || JDownloader 2 Setup Download |
Thread Tools | |
Display Modes | |
|
|