JDownloader Community - Appwork GmbH
 

Reply
 
Thread Tools Display Modes
  #3481  
Old 09.08.2024, 09:14
WRESTLiNGHDD WRESTLiNGHDD is offline
Wind Gust
 
Join Date: May 2022
Posts: 40
Default

Danke für deine Arbeit.
Für YouTube benötige ich es, weil JD "nur" ~1000 Videos eines Kanals crawlt und dann aufhört. Benutze ich, wenn es weitaus mehr sind.

Habe JD geupdated:

Meine Tests:

**External links are only visible to Support Staff****External links are only visible to Support Staff**
Crawlt 999 von 14504
Das gleiche Profil, nur die "added" Sektion statt "uploaded":
**External links are only visible to Support Staff****External links are only visible to Support Staff**
Crawlt 1 von 14504

**External links are only visible to Support Staff****External links are only visible to Support Staff**
Crawlt alles
Das gleiche Profil, nur die "added" Sektion statt "uploaded":
**External links are only visible to Support Staff****External links are only visible to Support Staff**
Passiert nichts

**External links are only visible to Support Staff****External links are only visible to Support Staff**
Crawlt 993 von 1876
Das gleiche Profil, nur die "added" Sektion statt "uploaded":
**External links are only visible to Support Staff****External links are only visible to Support Staff**
Passiert nichts

**External links are only visible to Support Staff****External links are only visible to Support Staff**
crawlt alles
**External links are only visible to Support Staff****External links are only visible to Support Staff**
11 von 1004

Dass beim Crawlen von "added" nur die restlichen Videos hinzugefügt werden, die bei "uploaded" nicht dabei waren, erscheibt mir logisch.

Ich erkenne leider keine Systematik, wieso es nicht 100%ig fuktioniert.
Aber es ist auf jeden Fall ein großer Fortschritt. Kann man da noch was machen evtl.?
Danke nochmal.
09.08.24 08.01.36 <--> 09.08.24 08.14.21 jdlog://3274411370661/
Reply With Quote
  #3482  
Old 09.08.2024, 10:28
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 81,241
Default

Quote:
Originally Posted by WRESTLiNGHDD View Post
Aber es ist auf jeden Fall ein großer Fortschritt. Kann man da noch was machen evtl.?
Danke für die Beispiele! Wir werden uns das natürlich anschauen
__________________
JD-Dev & Server-Admin
Reply With Quote
  #3483  
Old 09.08.2024, 11:12
pspzockerscene's Avatar
pspzockerscene pspzockerscene is offline
Community Manager
 
Join Date: Mar 2009
Location: Deutschland
Posts: 73,455
Default

Quote:
Originally Posted by WRESTLiNGHDD View Post
Für YouTube benötige ich es, weil JD "nur" ~1000 Videos eines Kanals crawlt und dann aufhört.
Das sollte nicht passieren. Melde das Problem mit Testlinks gerne im YT Thread:
https://board.jdownloader.org/showthread.php?t=48894

Quote:
Originally Posted by WRESTLiNGHDD View Post
Crawlt 999 von 14504
[...]
Crawlt 1 von 14504
Fixed.
Hintergrund:
Das Plugin erwartete, dass eine 'volle Seite' immer 1000 Elemente enthält, aber das vk System kann zwischendrin auch eine andere Anzahl von Elementen zurückgeben ohne, dass das Ende erreicht ist.
Dadurch dachte das Plugin es wäre auf der letzten Seite und stoppte zu früh.
Ich bekomme beim ersten Link 14416 Elemente von angeblich 14504, beim zweiten Link 14362.
Herauszufinden ob wirklich welche fehlen und welche, überlasse ich dir (mehr dazu weiter unten).

Quote:
Originally Posted by WRESTLiNGHDD View Post
Das gleiche Profil, nur die "added" Sektion statt "uploaded":
...
Passiert nichts
Funktioniert hier einwandfrei.
Ich bekomme 1453 Ergebnisse.

Quote:
Originally Posted by WRESTLiNGHDD View Post
11 von 1004
Ich bekomme 1003 Elemente.

Warte am besten aufs nächste Update, bevor du weiteres Feedback gibst.

Bzlg potentiell fehlender Elemente habe ich nicht weiter geforscht, aber ich vermute, dass das so zustande kommt:
- Manche Videos wurden gelöscht, aber der Zähler nicht aktualisiert
- Manche Videos sind doppelt enthalten (selbe videoID), aber in JD kann jede eindeutige VideoID nur 1x hinzugefügt werden
- Oder: vk hat ein Bug im Pagination System, wodurch manche Elemente tatsächlich "verloren gehen"

Auch Betreiber großer Webseiten machen Fehler und einen solchen haben wir auch schonmal an anderer Stelle entdeckt daher prüfe es gerne. Es kann natürlich auch an einem Bug im Plugin liegen.

VK Änderungen fürs nächste Update (interner Changelog):
- fixed pagination when page size is lower than expected max such as 999 items on a page instead of 1000
- video pagination: now respects 'sleep between pages' plugin setting
- deleted a lot of old audio crawl functionality as audio streams are DRM protected and cannot be downloaded with JD anyways

Bitte auf das nächste CORE-Update warten!

Please wait for the next CORE-Update!

Wartest du auf einen angekündigten Bugfix oder ein neues Feature?
Updates werden nicht immer sofort bereitgestellt!
Bitte lies unser Update FAQ! | Please read our Update FAQ!

---
Are you waiting for recently announced changes to get released?
Updates to not necessarily get released immediately!
Bitte lies unser Update FAQ! | Please read our Update FAQ!


-psp-
EDIT

Nachtrag, da du mir per PN eine Frage bzlg "CORE Updates" gestellt hattest:
In dem Fall ist die Art des Updates auch egal.
Du hast die besagten Änderungen, sobald sich die von vkontakte zusammenhängenden JDownloader Plugin-Klassen das nächste mal nach einem Update ändern.
__________________
JD Supporter, Plugin Dev. & Community Manager

Erste Schritte & Tutorials || JDownloader 2 Setup Download
Spoiler:

A users' JD crashes and the first thing to ask is:
Quote:
Originally Posted by Jiaz View Post
Do you have Nero installed?

Last edited by pspzockerscene; 12.08.2024 at 13:20. Reason: EDIT Nachtrag
Reply With Quote
  #3484  
Old 12.08.2024, 01:39
patriks's Avatar
patriks patriks is offline
DSL User
 
Join Date: Aug 2017
Location: Brasil
Posts: 36
Default

Hello, how are you?

After the latest updates, the "linkgrabber" no longer works with personal album links. It used to download the first 20 images, but now it only happens with page albums. Public albums (albums-14839763) are working perfectly as far as I can tell.

Here is the log and the links I used in the test:

11.08.24 19.15.45 <--> 11.08.24 19.27.28 jdlog://2974411370661/

n work: **External links are only visible to Support Staff****External links are only visible to Support Staff**
n work: **External links are only visible to Support Staff****External links are only visible to Support Staff**
n work: **External links are only visible to Support Staff****External links are only visible to Support Staff**
n work: **External links are only visible to Support Staff****External links are only visible to Support Staff**
n work: **External links are only visible to Support Staff****External links are only visible to Support Staff**

ok: **External links are only visible to Support Staff****External links are only visible to Support Staff**
ok: **External links are only visible to Support Staff****External links are only visible to Support Staff**

:helpsmilie:
Reply With Quote
  #3485  
Old 12.08.2024, 13:39
pspzockerscene's Avatar
pspzockerscene pspzockerscene is offline
Community Manager
 
Join Date: Mar 2009
Location: Deutschland
Posts: 73,455
Default

Quote:
Originally Posted by patriks View Post
Hello, how are you?
Good, thanks.

Quote:
Originally Posted by patriks View Post
After the latest updates, the "linkgrabber" no longer works with personal album links.
Works fine here.
Did you add your vk.com account to JDownloader?
I haven't touched any of the album crawl functionality.

Please provide a (new) debug-log.

Please post your log-ID here
If your report is about a specific website which JD supports via plugin, please also provide example URLs which can be used to reproduce the issue you are having.
If your report is related to a login specific problem with a plugin supported website, enable debug mode before creating logs, see previously linked instructions.

Bitte poste deine Log-ID hier.
Falls dein Problem ein Problem mit einer Webseite ist, die per Plugin unterstützt wird, stelle bitte zusätzlich Testlinks zur Verfügung, mit denen sich dein Problem nachstellen lässt.
Geht es um einen nicht funktionierenden Account-Login, aktiviere vor dem Erstellen deines Logs den debug Modus (siehe zuvor verlinkte Anleitung).

-psp-
__________________
JD Supporter, Plugin Dev. & Community Manager

Erste Schritte & Tutorials || JDownloader 2 Setup Download
Spoiler:

A users' JD crashes and the first thing to ask is:
Quote:
Originally Posted by Jiaz View Post
Do you have Nero installed?

Last edited by pspzockerscene; 12.08.2024 at 14:42. Reason: Fixed typo
Reply With Quote
  #3486  
Old 12.08.2024, 15:08
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 81,241
Default

@patriks: please check again with next update
__________________
JD-Dev & Server-Admin
Reply With Quote
  #3487  
Old 16.08.2024, 23:16
patriks's Avatar
patriks patriks is offline
DSL User
 
Join Date: Aug 2017
Location: Brasil
Posts: 36
Default

Quote:
Originally Posted by Jiaz View Post
@patriks: please check again with next update
16.08.24 16.17.24 <--> 16.08.24 16.17.10 jdlog://7094411370661/

After many tests, I discovered that the problem might be with the login. Here's what I did:

I took files X and Y from an my backup of JD (where my login was saved).
I placed them in the newly downloaded JD, where I wasn't able to download while logged in (even the public album, which is accessible without an account). The logs are from this JD, and I also placed the files in the one where I had the issue initially.
It was able to find all the albums now.

I logged in correctly, but maybe it’s not able to detect the login or save it properly in the file in the new version?

X= org.jdownloader.settings.AccountSettings.json
Y= org.jdownloader.settings.AccountSettings.accounts.ejs


links I tested:
work: **External links are only visible to Support Staff****External links are only visible to Support Staff**
work: **External links are only visible to Support Staff****External links are only visible to Support Staff** only 20 photos
work: **External links are only visible to Support Staff****External links are only visible to Support Staff**

work: **External links are only visible to Support Staff****External links are only visible to Support Staff**
work: **External links are only visible to Support Staff****External links are only visible to Support Staff**

Last edited by patriks; 16.08.2024 at 23:18.
Reply With Quote
  #3488  
Old 17.08.2024, 09:26
patriks's Avatar
patriks patriks is offline
DSL User
 
Join Date: Aug 2017
Location: Brasil
Posts: 36
Default

Sorry for the inconvenience, but I would really like to ask for one thing, an option that can be activated: that it downloads the original image and not the image converted by the server, I don't know why VK does this, but it converts all the images and often ends up being twice the size. Example:

converted: **External links are only visible to Support Staff****External links are only visible to Support Staff**impg/UsF_Ur8tOGxv2VjdQMUTeOskJjetRc2nTq0WqQ/zN4qgC2fcQE.jpg?size=1620x2160&quality=95&sign=4772b127c48c68c9c3a4b2b37014ec1b&type=album

original: **External links are only visible to Support Staff****External links are only visible to Support Staff**

link: **External links are only visible to Support Staff****External links are only visible to Support Staff**

thx

Last edited by patriks; 17.08.2024 at 10:01.
Reply With Quote
  #3489  
Old 17.08.2024, 23:55
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 81,241
Default

Quote:
Originally Posted by patriks View Post
I don't know why VK does this, but it converts all the images and often ends up being twice the size.
Hmmm,not for me?!
vk version (with params) = 1.58MB
original version? (without params) = 2.32 MB
Have you mixed up your tests ?
Does this URL rewrite work always? if so, of course we could add an option for it.
__________________
JD-Dev & Server-Admin
Reply With Quote
  #3490  
Old 18.08.2024, 11:50
patriks's Avatar
patriks patriks is offline
DSL User
 
Join Date: Aug 2017
Location: Brasil
Posts: 36
Default

Quote:
Originally Posted by Jiaz View Post
Hmmm,not for me?!
vk version (with params) = 1.58MB
original version? (without params) = 2.32 MB
Have you mixed up your tests ?
Does this URL rewrite work always? if so, of course we could add an option for it.
I used a bad example,, it was the first image I took from my timeline to give as an example

but I guarantee that in the vast majority of cases this is not what happens, I had already noticed this problem some time ago.
I suggested it as an "option" to avoid causing problems in links that may not have this pattern, but the pattern I have noticed so far is this.

// new links

**External links are only visible to Support Staff****External links are only visible to Support Staff**
converted: 610 KB

**External links are only visible to Support Staff****External links are only visible to Support Staff**
original: 381 KB

// old link 2014

**External links are only visible to Support Staff****External links are only visible to Support Staff**
converted: 387 KB

**External links are only visible to Support Staff****External links are only visible to Support Staff**
original: 242 KB

I believe it is always better to get the original image without unnecessary conversions. This also makes it easier to find duplicates.
Reply With Quote
  #3491  
Old 19.08.2024, 12:01
pspzockerscene's Avatar
pspzockerscene pspzockerscene is offline
Community Manager
 
Join Date: Mar 2009
Location: Deutschland
Posts: 73,455
Default

Quote:
Originally Posted by patriks View Post
I believe it is always better to get the original image without unnecessary conversions. This also makes it easier to find duplicates.
I agree.

Jiaz' question was if you think/know that the original image is always available.
__________________
JD Supporter, Plugin Dev. & Community Manager

Erste Schritte & Tutorials || JDownloader 2 Setup Download
Spoiler:

A users' JD crashes and the first thing to ask is:
Quote:
Originally Posted by Jiaz View Post
Do you have Nero installed?
Reply With Quote
  #3492  
Old 19.08.2024, 20:18
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 81,241
Default

__________________
JD-Dev & Server-Admin
Reply With Quote
  #3493  
Old 19.08.2024, 20:19
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 81,241
Default

@pspzockerscene: Can you check this? https://board.jdownloader.org/showpo...postcount=3487
__________________
JD-Dev & Server-Admin
Reply With Quote
  #3494  
Old 19.08.2024, 20:27
patriks's Avatar
patriks patriks is offline
DSL User
 
Join Date: Aug 2017
Location: Brasil
Posts: 36
Default

Quote:
Originally Posted by pspzockerscene View Post
I agree.

Jiaz' question was if you think/know that the original image is always available.
Yes, I made a python script with chatgpt that modifies the links inside the downloadList*.zip files.

You just need to remove "impg/" or "impf/" + everything that comes after .jpg

Just out of curiosity, here is the excerpt from the python script I used:

Code:
def modify_directlink(url):
    """Modifies the URL by removing 'impg/', 'impf/', and everything after the image file extension."""
    parsed_url = urlparse(url)
    path_parts = parsed_url.path.split('/')
    
    # Identifies the last part of the path (file with extension)
    file_name_with_ext = path_parts[-1]
    if '.' in file_name_with_ext:
        # Removes 'impg/' and 'impf/' from the path
        path_parts = [part for part in path_parts if part not in ('impg', 'impf')]
        
        # Removes everything after the file extension
        path_parts = path_parts[:path_parts.index(file_name_with_ext) + 1]
        new_path = '/'.join(path_parts)
        
        # Recreates the URL without 'impg/', 'impf/' and parameters after the file
        new_url = urlunparse(parsed_url._replace(
            path=new_path,
            query='',
            fragment=''
        ))
        return new_url
    return url

Last edited by patriks; 19.08.2024 at 20:35.
Reply With Quote
  #3495  
Old 20.08.2024, 12:24
pspzockerscene's Avatar
pspzockerscene pspzockerscene is offline
Community Manager
 
Join Date: Mar 2009
Location: Deutschland
Posts: 73,455
Default

Added plugin setting for this (default = turned off).
Code snippet:
Code:
    private String modifyFinalDownloadurl(final String input) {
        final Regex photo_url_regex;
        if (this.getPluginConfig().getBooleanProperty(VKPHOTOS_DOWNLOAD_ORIGINAL_IMAGE_VIA_MAGIC_TRICK, default_VKPHOTOS_DOWNLOAD_ORIGINAL_IMAGE_VIA_MAGIC_TRICK) && (photo_url_regex = new Regex(input, Pattern.compile("(https?://[^/]+)/imp(?:f|g)/([^\\?]+)\\?.+", Pattern.CASE_INSENSITIVE))).patternFind()) {
            /* Modify URL according to: https://board.jdownloader.org/showpost.php?p=538448&postcount=3490 */
            final String new_url = photo_url_regex.getMatch(0) + "/" + photo_url_regex.getMatch(1);
            return new_url;
        } else {
            final Regex urlregex = new Regex(input, "(https?://cs(\\d+)\\.vk\\.me/)");
            if (!urlregex.patternFind()) {
                /* Return unmodified url */
                return input;
            }
            /* 2024-08-20: This is very old. I'm unsure whether this is still needed and working. */
            final String oldserver = urlregex.getMatch(0);
            final String serv_id = urlregex.getMatch(1);
            final String newserver = "**External links are only visible to Support Staff** + serv_id + "/";
            return input.replace(oldserver, newserver);
        }
    }
You can obtain our full source code here:
https://support.jdownloader.org/de/k...up-ide-eclipse

Wartest du auf einen angekündigten Bugfix oder ein neues Feature?
Updates werden nicht immer sofort bereitgestellt!
Bitte lies unser Update FAQ! | Please read our Update FAQ!

---
Are you waiting for recently announced changes to get released?
Updates to not necessarily get released immediately!
Bitte lies unser Update FAQ! | Please read our Update FAQ!


-psp-
__________________
JD Supporter, Plugin Dev. & Community Manager

Erste Schritte & Tutorials || JDownloader 2 Setup Download
Spoiler:

A users' JD crashes and the first thing to ask is:
Quote:
Originally Posted by Jiaz View Post
Do you have Nero installed?
Reply With Quote
  #3496  
Old 05.10.2024, 14:27
WRESTLiNGHDD WRESTLiNGHDD is offline
Wind Gust
 
Join Date: May 2022
Posts: 40
Default

Kann wieder keine Videos downloaden:
05.10.24 13.25.03 <--> 05.10.24 13.27.23 jdlog://9495411370661/
**External links are only visible to Support Staff****External links are only visible to Support Staff**
Ganzer Kanal (fastcrawl?) geht nicht, einzelne Videos gehen.

Last edited by WRESTLiNGHDD; 05.10.2024 at 14:30.
Reply With Quote
  #3497  
Old 06.10.2024, 00:09
Neurotoxin001's Avatar
Neurotoxin001 Neurotoxin001 is offline
Linkgrabbing Monster
 
Join Date: Feb 2021
Posts: 86
Default

core: 48254
it's says "plugin outdated" when i press "refresh" on vk account in account manager
Reply With Quote
  #3498  
Old 07.10.2024, 13:55
pspzockerscene's Avatar
pspzockerscene pspzockerscene is offline
Community Manager
 
Join Date: Mar 2009
Location: Deutschland
Posts: 73,455
Default

@WRESTLiNGHDD
Wird auf absehbare Zeit nicht fixed, siehe:
https://board.jdownloader.org/showth...088#post538088
Ticket:

Der Umbau, um das zu fixen würde sehr viele Stunden in Anspruch nehmen, die ich derzeit lieber in andere Baustellen stecke.

Mit folgender Methode kannst du die Video-Einzellinks separat sammeln:
https://support.jdownloader.org/de/k...orted-websites

Nachtrag:
Was noch funktioniert ist, wenn du das "/uploaded" aus dem Link entfernst also das Crawlen aller Videos aus allen "sections" des Users.
In diesem Fall sind das 1506 Elemente.

@Neurotoxin001
Please post your log-ID here
If your report is about a specific website which JD supports via plugin, please also provide example URLs which can be used to reproduce the issue you are having.
If your report is related to a login specific problem with a plugin supported website, enable debug mode before creating logs, see previously linked instructions.

Bitte poste deine Log-ID hier.
Falls dein Problem ein Problem mit einer Webseite ist, die per Plugin unterstützt wird, stelle bitte zusätzlich Testlinks zur Verfügung, mit denen sich dein Problem nachstellen lässt.
Geht es um einen nicht funktionierenden Account-Login, aktiviere vor dem Erstellen deines Logs den debug Modus (siehe zuvor verlinkte Anleitung).

-psp-
__________________
JD Supporter, Plugin Dev. & Community Manager

Erste Schritte & Tutorials || JDownloader 2 Setup Download
Spoiler:

A users' JD crashes and the first thing to ask is:
Quote:
Originally Posted by Jiaz View Post
Do you have Nero installed?

Last edited by pspzockerscene; 07.10.2024 at 14:11. Reason: Nachtrag
Reply With Quote
  #3499  
Old 08.10.2024, 15:52
WRESTLiNGHDD WRESTLiNGHDD is offline
Wind Gust
 
Join Date: May 2022
Posts: 40
Default

Quote:
Originally Posted by pspzockerscene View Post
@WRESTLiNGHDD
Wird auf absehbare Zeit nicht fixed, siehe:
**External links are only visible to Support Staff**...
Ticket:

Der Umbau, um das zu fixen würde sehr viele Stunden in Anspruch nehmen, die ich derzeit lieber in andere Baustellen stecke.

Mit folgender Methode kannst du die Video-Einzellinks separat sammeln:
**External links are only visible to Support Staff**...

Nachtrag:
Was noch funktioniert ist, wenn du das "/uploaded" aus dem Link entfernst also das Crawlen aller Videos aus allen "sections" des Users.
In diesem Fall sind das 1506 Elemente.

@Neurotoxin001
Please post **External links are only visible to Support Staff**...
If your report is about a specific website which JD supports via plugin, please also provide example URLs which can be used to reproduce the issue you are having.
If your report is related to a login specific problem with a plugin supported website, enable debug mode before creating logs, see previously linked instructions.

Bitte poste **External links are only visible to Support Staff**....
Falls dein Problem ein Problem mit einer Webseite ist, die per Plugin unterstützt wird, stelle bitte zusätzlich Testlinks zur Verfügung, mit denen sich dein Problem nachstellen lässt.
Geht es um einen nicht funktionierenden Account-Login, aktiviere vor dem Erstellen deines Logs den debug Modus (siehe zuvor verlinkte Anleitung).

-psp-
Danke für deine Antwort.
Also, wenn ich **External links are only visible to Support Staff****External links are only visible to Support Staff** (ohne uploaded) einfüge, passiert gar nichts. Sind bei den 1506 Elementen auch die Videos dabei?


Zu deinem Screenshot bzgl. Crawling:
Bist du dir sicher, dass es der gleiche Fehler ist? Denn ich bin mir relativ sicher, dass du oder ein Kollege von dir es mal Ende August oder so gefixt hat und es dann ging, siehe VK Thread. Der Screenshot von deinem bekannten Fehler bezieht sich glaub ich auf andere Elemente?
Reply With Quote
  #3500  
Old 08.10.2024, 16:07
pspzockerscene's Avatar
pspzockerscene pspzockerscene is offline
Community Manager
 
Join Date: Mar 2009
Location: Deutschland
Posts: 73,455
Default

Quote:
Originally Posted by WRESTLiNGHDD View Post
Also, wenn ich https... (ohne uploaded) einfüge, passiert gar nichts.
Bei mir nun ebenfalls.

Quote:
Originally Posted by WRESTLiNGHDD View Post
Sind bei den 1506 Elementen auch die Videos dabei?
Ja das waren nur Video-Elemente.

Quote:
Originally Posted by WRESTLiNGHDD View Post
Der Screenshot von deinem bekannten Fehler bezieht sich glaub ich auf andere Elemente?
Nein es bezieht sich auf _alle_ vk Linktypen siehe Titel des Tickets:
Quote:
vk.com vkontakte crawler pagination is broken (affects all types e.g. photo/video/clip albums)
Zudem habe ich diese Info auch nicht nur kopiert sondern natürlich geprüft:
Die vk Webseite wird nach und nach auf die interne API umgestellt, wodurch sie völlig anders funktioniert.
Die entsprechenden Crawl Funktionen des vk Plugins müssten somit in großen Teilen neu geschrieben werden, was viel Zeit in Anspruch nimmt.

Quote:
Originally Posted by WRESTLiNGHDD View Post
Denn ich bin mir relativ sicher, dass du oder ein Kollege von dir es mal Ende August oder so gefixt hat und es dann ging
Korrekt, das war am 12.08.2024 eine Änderung von Jiaz,
Jedoch wurden hier auch nur minimale Änderungen vorgenommen, die zum aktuellen slash _alten_ Webseitenlayout passen.
Nochmal: Die Webseite mag gleich aussehen, aber funktioniert intern völlig anders.
Du kannst dir dies gerne selbst anschauen, indem du die Entwicklertools deines Browser öffnest und in den Requests nach "api.vk.com" suchst.

Wenn du viele Inhalte von vk.com herunterladen möchtest empfehle ich dir, dir eine Software zu holen, die genau darauf ausgelegt ist.
Davon sollte man z.B. auf github.com mehr als genug finden.

Außer mir wird vermutlich niemand an dem JD vk.com Plugin arbeiten.
__________________
JD Supporter, Plugin Dev. & Community Manager

Erste Schritte & Tutorials || JDownloader 2 Setup Download
Spoiler:

A users' JD crashes and the first thing to ask is:
Quote:
Originally Posted by Jiaz View Post
Do you have Nero installed?
Reply With Quote
  #3501  
Old 08.10.2024, 16:44
WRESTLiNGHDD WRESTLiNGHDD is offline
Wind Gust
 
Join Date: May 2022
Posts: 40
Default

Danke dir. Ich denke die Kombi mit Link Gopher ist ganz gut.
Kann man in etwa ganz grob sagen, wann in etwa Probleme wie dieses mit der Priority Low gefixt werden?

Damit wir nicht aneinander vorbeirden: **External links are only visible to Support Staff****External links are only visible to Support Staff**
Du hast bei deinem 1. Posting 1506 Elemente inkl. Videos bekommen, als ich es dann auch getestet habe, so wie ich 0 Elemente? Bzw. 0 Videos? Oder sprichst du vom normalen Profil? Weil 1506 Elemente sind etwas viel bei der geringen Menge an Videos. Danke dir.

Last edited by WRESTLiNGHDD; 08.10.2024 at 16:50.
Reply With Quote
  #3502  
Old 08.10.2024, 17:17
pspzockerscene's Avatar
pspzockerscene pspzockerscene is offline
Community Manager
 
Join Date: Mar 2009
Location: Deutschland
Posts: 73,455
Default

Quote:
Originally Posted by WRESTLiNGHDD View Post
Kann man in etwa ganz grob sagen, wann in etwa Probleme wie dieses mit der Priority Low gefixt werden?
Nein. Wir geben nie Zeitangaben zu Fixes/Features.
Du siehst, wie lange das Ticket schon existiert.

Quote:
Originally Posted by WRESTLiNGHDD View Post
Du hast bei deinem 1. Posting 1506 Elemente inkl. Videos bekommen, als ich es dann auch getestet habe, so wie ich 0 Elemente?
Ich bekomme nun auch null Elemente, du hast mich richtig verstanden.
Nochmal: Du kannst in den Entwicklertools auch selbst sehen, an welchen Stellen die Webseite die neue API verwendet, um die Infos zu beziehen.
__________________
JD Supporter, Plugin Dev. & Community Manager

Erste Schritte & Tutorials || JDownloader 2 Setup Download
Spoiler:

A users' JD crashes and the first thing to ask is:
Quote:
Originally Posted by Jiaz View Post
Do you have Nero installed?
Reply With Quote
  #3503  
Old 08.10.2024, 18:14
WRESTLiNGHDD WRESTLiNGHDD is offline
Wind Gust
 
Join Date: May 2022
Posts: 40
Default

Tut mir leid, ich weiß leider nicht, was du mir mit api.vk.com/Entwicklertools/selber nachsehen bzw. selber nachsehen sagen willst. Was soll ich da rausfinden bzw. wie geht das? Sorry.
Reply With Quote
  #3504  
Old 08.10.2024, 18:27
pspzockerscene's Avatar
pspzockerscene pspzockerscene is offline
Community Manager
 
Join Date: Mar 2009
Location: Deutschland
Posts: 73,455
Default

Siehe:
developer.chrome.com/docs/devtools/network?hl=de
(Für Chrome)

Im Endeffekt hilft dir diese Info aber nicht weiter mit dem Problem.
TL;DR
vk.com baut die Webseite um, daher funktionieren Teile unseres vk Plugins derzeit nicht mehr oder nicht mehr so, wie du es gewohnt bist.
__________________
JD Supporter, Plugin Dev. & Community Manager

Erste Schritte & Tutorials || JDownloader 2 Setup Download
Spoiler:

A users' JD crashes and the first thing to ask is:
Quote:
Originally Posted by Jiaz View Post
Do you have Nero installed?
Reply With Quote
  #3505  
Old 08.10.2024, 19:49
WRESTLiNGHDD WRESTLiNGHDD is offline
Wind Gust
 
Join Date: May 2022
Posts: 40
Default

Ok, Danke.
Reply With Quote
  #3506  
Old 12.10.2024, 14:03
WRESTLiNGHDD WRESTLiNGHDD is offline
Wind Gust
 
Join Date: May 2022
Posts: 40
Default

Ich möchte noch schnell hinzufügen, dass fastcrawl weiterhin bei Nutzerprofilen perfekt funktioniert. Lediglich bei Gruppen funktioniert es nicht mehr. Das war mir ursprünglich nicht aufgefallen, sorry.
Reply With Quote
  #3507  
Old 14.10.2024, 22:17
pspzockerscene's Avatar
pspzockerscene pspzockerscene is offline
Community Manager
 
Join Date: Mar 2009
Location: Deutschland
Posts: 73,455
Default

Quote:
Originally Posted by WRESTLiNGHDD View Post
Lediglich bei Gruppen funktioniert es nicht mehr.
Please post your log-ID here
If your report is about a specific website which JD supports via plugin, please also provide example URLs which can be used to reproduce the issue you are having.
If your report is related to a login specific problem with a plugin supported website, enable debug mode before creating logs, see previously linked instructions.

Bitte poste deine Log-ID hier.
Falls dein Problem ein Problem mit einer Webseite ist, die per Plugin unterstützt wird, stelle bitte zusätzlich Testlinks zur Verfügung, mit denen sich dein Problem nachstellen lässt.
Geht es um einen nicht funktionierenden Account-Login, aktiviere vor dem Erstellen deines Logs den debug Modus (siehe zuvor verlinkte Anleitung).

-psp-
__________________
JD Supporter, Plugin Dev. & Community Manager

Erste Schritte & Tutorials || JDownloader 2 Setup Download
Spoiler:

A users' JD crashes and the first thing to ask is:
Quote:
Originally Posted by Jiaz View Post
Do you have Nero installed?
Reply With Quote
  #3508  
Old 15.10.2024, 18:26
Supermaks Supermaks is offline
Storm
 
Join Date: Oct 2009
Posts: 200
Default vk direct video link brings only 144p quality

delete, my fault.

Last edited by Supermaks; 15.10.2024 at 18:31.
Reply With Quote
  #3509  
Old 15.10.2024, 18:36
pspzockerscene's Avatar
pspzockerscene pspzockerscene is offline
Community Manager
 
Join Date: Mar 2009
Location: Deutschland
Posts: 73,455
Default

Works fine here (best = 2160p, total number of qualities = 8).

Please post a screenshot of your vk.com plugin settings.
__________________
JD Supporter, Plugin Dev. & Community Manager

Erste Schritte & Tutorials || JDownloader 2 Setup Download
Spoiler:

A users' JD crashes and the first thing to ask is:
Quote:
Originally Posted by Jiaz View Post
Do you have Nero installed?
Reply With Quote
  #3510  
Old 15.10.2024, 18:40
Supermaks Supermaks is offline
Storm
 
Join Date: Oct 2009
Posts: 200
Default

Quote:
Originally Posted by pspzockerscene View Post
Works fine here (best = 2160p, total number of qualities = 8).

Please post a screenshot of your vk.com plugin settings.
Sorry, it was something weird on my side, now it shows 8 links as it should be.
Reply With Quote
  #3511  
Old 16.10.2024, 15:37
WRESTLiNGHDD WRESTLiNGHDD is offline
Wind Gust
 
Join Date: May 2022
Posts: 40
Default

Quote:
Originally Posted by pspzockerscene View Post
Please post **External links are only visible to Support Staff**...
If your report is about a specific website which JD supports via plugin, please also provide example URLs which can be used to reproduce the issue you are having.
If your report is related to a login specific problem with a plugin supported website, enable debug mode before creating logs, see previously linked instructions.

Bitte poste **External links are only visible to Support Staff**....
Falls dein Problem ein Problem mit einer Webseite ist, die per Plugin unterstützt wird, stelle bitte zusätzlich Testlinks zur Verfügung, mit denen sich dein Problem nachstellen lässt.
Geht es um einen nicht funktionierenden Account-Login, aktiviere vor dem Erstellen deines Logs den debug Modus (siehe zuvor verlinkte Anleitung).

-psp-
Kein Grund für einen Log, ist auch schon "rum ums Eck". Wollte euch nur die Info geben, falls es euch bei der Behebung dieses Problems heir hilft. Gut gemeint.

https://board.jdownloader.org/showpo...postcount=3498
Reply With Quote
  #3512  
Old 16.10.2024, 15:39
pspzockerscene's Avatar
pspzockerscene pspzockerscene is offline
Community Manager
 
Join Date: Mar 2009
Location: Deutschland
Posts: 73,455
Default

Da scheinbar Unklarheiten herrschen, gehe ich nochmal darauf ein:
Quote:
Originally Posted by WRESTLiNGHDD View Post
Lediglich bei Gruppen funktioniert es nicht mehr.
Ich habe das so verstanden: "Gruppen sind noch crawlbar, aber fastcrawl funktioniert nicht mehr."

Falls du damit sagen wolltest "Gruppen gehen wegen den genannten Webseitenänderungen nicht mehr", wird kein Log benötigt, ansonsten schon.
__________________
JD Supporter, Plugin Dev. & Community Manager

Erste Schritte & Tutorials || JDownloader 2 Setup Download
Spoiler:

A users' JD crashes and the first thing to ask is:
Quote:
Originally Posted by Jiaz View Post
Do you have Nero installed?
Reply With Quote
  #3513  
Old 17.11.2024, 17:12
Racefan-24 Racefan-24 is offline
Linkgrabbing Monster
 
Join Date: Feb 2022
Posts: 84
Default

Entschuldigung, daß ich hier den youtube-Thread kapere - leider finde ich nicht den Thread zu vk.com Videos. Denn seit heute kann ich dort keine Videos mehr in den jd laden.

Es kommt im jd-Linksammler die Meldung: Offline Dateien - Content offline!video-901607_456258809
vk.com habe ich auch schon in den jd-Einstellungen aktualisiert - ohne Erfolg.

Bitte helft mir, denn ich lade viele Videos über vk.com was bisher über jd problemlos lief.

Ist ok, wenn ihr meine Anfrage in den vk.com Thread verschiebt - nur muß ich den dann auch finden.

Danke schon mal für eure Hilfe!!!
Reply With Quote
  #3514  
Old 17.11.2024, 21:57
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 81,241
Default

@Racefan-24: Bitte BspLinks und Logs, siehe https://support.jdownloader.org/de/k...d-session-logs
__________________
JD-Dev & Server-Admin
Reply With Quote
  #3515  
Old 17.11.2024, 23:30
Racefan-24 Racefan-24 is offline
Linkgrabbing Monster
 
Join Date: Feb 2022
Posts: 84
Default

Hallo,

zunächst einmal danke fürs verschieben - aus dem youtube Thread hierher!

Quote:
Originally Posted by Jiaz View Post
@Racefan-24: Bitte BspLinks und Logs, siehe **External links are only visible to Support Staff**...
Hier mein Log: 17.11.24 22.26.27 <--> 17.11.24 22.26.22 jdlog://8976411370661/

Und die Links zu den Videos von vk.com:


**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**

Danke für eure Hilfe!
Reply With Quote
  #3516  
Old 18.11.2024, 00:23
Racefan-24 Racefan-24 is offline
Linkgrabbing Monster
 
Join Date: Feb 2022
Posts: 84
Default

Kleine Ergänzung: am Samstag konnte ich noch dieses Video über den jd problemlos laden - **External links are only visible to Support Staff****External links are only visible to Support Staff**

Auch sonst habe ich bisher über diese Übersicht **External links are only visible to Support Staff****External links are only visible to Support Staff** jedes Video per rechte Maustaste und "Link-Adresse kopieren" in den jd einfügen und laden können. Scheinbar funktioniert das seit einem der letzten jd-Update nicht mehr?
Reply With Quote
  #3517  
Old 18.11.2024, 19:30
pspzockerscene's Avatar
pspzockerscene pspzockerscene is offline
Community Manager
 
Join Date: Mar 2009
Location: Deutschland
Posts: 73,455
Default

Sehr seltsam.
Du scheinst eine andere Version der vk.com Webseite als ich ausgeliefert zu bekommen.
Bei mir funktioniert es einwandfrei sowohl im eingeloggten Zustand als auch ohne aktiven vk.com Account.
Nur basierend auf einen Logs kann ich das Problem nicht beheben.

Versuche folgendes:
1. Einstellungen -> Plugins -> vk.com -> Runterscrollen und Folgenden Wert in das User-Agent Feld schreiben:
Code:
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/130.0.0.0 Safari/537.36
Crawlvorgang erneut versuchen.

falls das nicht hilft:
2. User-Agent Einstellung auf default zurücksetzen, vk.com Account in JD löschen und Crawlvorgang erneut versuchen.
__________________
JD Supporter, Plugin Dev. & Community Manager

Erste Schritte & Tutorials || JDownloader 2 Setup Download
Spoiler:

A users' JD crashes and the first thing to ask is:
Quote:
Originally Posted by Jiaz View Post
Do you have Nero installed?
Reply With Quote
  #3518  
Old 19.11.2024, 10:23
Racefan-24 Racefan-24 is offline
Linkgrabbing Monster
 
Join Date: Feb 2022
Posts: 84
Default

Danke für die Anleitung, leider hat es dennoch nicht funktioniert - es kommt dieselbe Meldung "Offline Dateien - Content offline!"

Was ist mit "Crawlvorgang erneut versuchen" gemeint - das Video in den jd laden?

Quote:
Originally Posted by pspzockerscene View Post
falls das nicht hilft:
2. User-Agent Einstellung auf default zurücksetzen, vk.com Account in JD löschen und Crawlvorgang erneut versuchen.
Heißt daß einfach default in das Feld schreiben, wo jetzt "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/130.0.0.0 Safari/537.36" steht?
Reply With Quote
  #3519  
Old 19.11.2024, 11:45
Racefan-24 Racefan-24 is offline
Linkgrabbing Monster
 
Join Date: Feb 2022
Posts: 84
Default

Quote:
Originally Posted by pspzockerscene View Post
Nur basierend auf einen Logs kann ich das Problem nicht beheben.
Ok, ich habe mal noch ein paar Videos von vk.com in den jd geladen und das Log erzeugt: 19.11.24 10.40.15 <--> 19.11.24 10.43.40 jdlog://9386411370661/

Die Links dazu wären diese:
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**


Erstellt habe ich das Log nach der Änderung unter "1. Einstellungen -> Plugins -> vk.com -> Runterscrollen und Folgenden Wert in das User-Agent Feld schreiben:"

Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/130.0.0.0 Safari/537.36
Reply With Quote
  #3520  
Old 19.11.2024, 13:11
pspzockerscene's Avatar
pspzockerscene pspzockerscene is offline
Community Manager
 
Join Date: Mar 2009
Location: Deutschland
Posts: 73,455
Default

Quote:
Originally Posted by Racefan-24 View Post
Was ist mit "Crawlvorgang erneut versuchen" gemeint
Den Link erneut in JD einfügen.

Quote:
Originally Posted by Racefan-24 View Post
Heißt daß einfach default in das Feld schreiben
Nein. Entweder du kennst den default Wert oder du setzt einfach alle Einstellungen des vk.com Plugins zurück.
In den Plugineinstellungen befindet sich oben rechts in der Zeile der Hoster-Domain ein gelber Pfeil, welcher alle Einstellungen für diesen Hoster zurücksetzt.

Verwendest du einen VPN?
Falls ja, versuchs mal ohne erneut.

Ich kann dieses Problem nur basierend auf Logs leider nicht beheben.
Wärst du offen für eine Teamviewer live Session?
__________________
JD Supporter, Plugin Dev. & Community Manager

Erste Schritte & Tutorials || JDownloader 2 Setup Download
Spoiler:

A users' JD crashes and the first thing to ask is:
Quote:
Originally Posted by Jiaz View Post
Do you have Nero installed?
Reply With Quote
Reply

Thread Tools
Display Modes

Posting Rules
You may not post new threads
You may not post replies
You may not post attachments
You may not edit your posts

BB code is On
Smilies are On
[IMG] code is On
HTML code is Off

Forum Jump

All times are GMT +2. The time now is 03:01.
Provided By AppWork GmbH | Privacy | Imprint
Parts of the Design are used from Kirsch designed by Andrew & Austin
Powered by vBulletin® Version 3.8.10 Beta 1
Copyright ©2000 - 2024, Jelsoft Enterprises Ltd.