[Horstlegend]

Can others simulate the problem that links with the approval "Everyone who has it" are only crawled when the Google Docs account is switched off, and that the download only works again with an activated Google Docs account after a certain quota?

[Jiaz]

@Horstlegend: most likely issue with such links when logged in. Can you share the link with us? The download issue happens because public shared links do have traffic/share limits and once reached, need account to continue to download

[Horstlegend]

Hier habe ich mal einen Beispiellink
**External links are only visible to Support Staff****External links are only visible to Support Staff**


Das Problem ist: wenn du mit docs.google.com im JD eingeloggt bist, wird gar nichts gecrawlt.
Man muss den Account dann also deaktivieren, um ihn dann beim Download wieder zu aktivieren wenn

a) entweder das File dem hinterlegten Account freigegeben ist
b) oder wenn jeder drauf Zugriff hat: das geringe Limit, was man ohne Account-Login hat, aufgebraucht ist

Wie psp mir in einer privaten Konversation erzählte, nutzt JD gar nicht die API von Google.

Ich hatte vor über 4,5 Jahren mal den Wunsch geäußert, dass JD die verschiedenen Streamingformate, die Google Drive genauso wie YT erstellt, ebenfalls abfangen kann. Das Google Drive-Plugin für Kodi, geschrieben in Python, kann das
**External links are only visible to Support Staff****External links are only visible to Support Staff**

Ich kann aber nicht erblicken, wo und wie es das macht (mangels Programmierkenntnissen). Ich bin mehrere py-Dateien zwar durchgegangen (da man ja anhand der Befehle erschließen kann, was an Stelle x gemacht werden soll), aber daraus nicht klüger geworden. Ich weiß nur, dass es (u.a./zumindest) die Drive API v2 nutzt; mittlerweile gibt es auch eine v3.

psp sagte mir auch, dass die API-Benutzung "intern" bisher abgelehnt wurde.
Durch die konforme API-Benutzung würde das JD-Plugin dann aber richtig crawlen, anstatt wie aktuell bei kleinsten Änderungen an der Website das Plugin wieder anpassen zu müssen, was aufgrund eurer Arbeitslast ja Monate (oder gar Jahre) dauern kann.

Google Drive nutzt denselben Player wie Google Fotos, und dieser nutzt den YouTube-Player. Es wäre wirklich zu schön um wahr zu sein, wenn das Ticket ("Streamingformate" bzw "Alle Videoqualitäten rausfiltern" oder "Alle Versionen", wie auch immer ihr das genannt habt) bei G Drive und Fotos ebenso kämen, wie es bei YT ja schon der Fall ist.

Das Video bei meinem Beispiellink oben hat im Original über 3 GB. Google Drive schafft es, bei optisch gleichbleibender Qualität die Größe auf 1,2 GB zu verringern. Bei den ebenfalls erstellten Versionen 720p und 360p sind es sogar nur 645 bzw. 182 MB.

Bei G Fotos schafft es JD bisher ja auch, die Version mit der "besten Qualität" (z.B. 1080p) zu crawlen.

English

The problem is: if you are logged into the JD with docs.google.com, nothing is crawled.
You then have to deactivate the account in order to reactivate it when downloading

a) either the file has been released to the stored account
b) or if everyone has access to it: the low limit of what you have without an account login has been used up

As psp told me in a private conversation, JD doesn't use Google's API at all.

More than 4.5 years ago I expressed the wish that JD could also intercept the various streaming formats that Google Drive creates just like YT. The Google Drive plugin for Kodi, written in Python, can do that
** External links are only visible to Support Staff **** External links are only visible to Support Staff **

But I can't see where and how it does it (due to a lack of programming knowledge). Although I went through several py files (since you can use the commands to determine what should be done in line x ), I did not find out any more. I just know that it uses (among other things / at least) the Drive API v2; now there is also a v3.

psp also told me that the API usage "internally" has been refused so far.
Due to the compliant use of the API, the JD plugin would then crawl properly instead of having to adjust the plugin again with the smallest changes to the website, which can take months (or even years) due to your workload.

Google Drive uses the same player as Google Photos, and it uses the YouTube player. It would really be too good to be true if the ticket ("streaming formats" or "filter out all video qualities" or "all versions", whatever you called it) came from G Drive and photos as well as from YT is already the case.

The video at my example link above has over 3 GB in the original. Google Drive manages to reduce the size to 1.2 GB while maintaining the same visual quality. In the 720p and 360p versions, which were also created, it is only 645 and 182 MB, respectively.

With G Photos, JD has also managed to crawl the version with the "best quality" (e.g. 1080p).

[Jiaz]

Es hatte bisher schlicht kein Entwickler Zeit/Muse sich des Themas anzunehmen. Für Qualitätsauswahl muss das komplette Plugin umgeschrieben werden und der Teil der Qualitätsauswahl muss aus dem Hoster Plugin in ein Decrypter Plugin ausgelagert werden. Hier spielt es keine Rolle ob das Plugin über API geht oder nicht. Das Qualitätszeugs selbst anschließend seh ich keinen großen Aufwand. Kurz: Es muss halt jemand sich genug Zeit dafür nehmen und eben auch Zeit dafür haben

[pspzockerscene]

Originally Posted by Horstlegend

Hier habe ich mal einen Beispiellink
**External links are only visible to Support Staff****External links are only visible to Support Staff**


Das Problem ist: wenn du mit docs.google.com im JD eingeloggt bist, wird gar nichts gecrawlt.
Man muss den Account dann also deaktivieren, um ihn dann beim Download wieder zu aktivieren wenn

a) entweder das File dem hinterlegten Account freigegeben ist
b) oder wenn jeder drauf Zugriff hat: das geringe Limit, was man ohne Account-Login hat, aufgebraucht ist

Ich habe den Login aus dem Folder-Crawler entfernt und damit das Problem umgangen.
Der Crawler wird leider weiter keine Ordner crawlen können, die nur eingeloggte Benutzer sehen können.
Einzelne Dateien sind jedoch ladbar.

Originally Posted by Horstlegend

Ich hatte vor über 4,5 Jahren mal den Wunsch geäußert, dass JD die verschiedenen Streamingformate, die Google Drive genauso wie YT erstellt, ebenfalls abfangen kann. Das Google Drive-Plugin für Kodi, geschrieben in Python, kann das
**External links are only visible to Support Staff****External links are only visible to Support Staff**

Ich kann aber nicht erblicken, wo und wie es das macht (mangels Programmierkenntnissen). Ich bin mehrere py-Dateien zwar durchgegangen (da man ja anhand der Befehle erschließen kann, was an Stelle x gemacht werden soll), aber daraus nicht klüger geworden. Ich weiß nur, dass es (u.a./zumindest) die Drive API v2 nutzt; mittlerweile gibt es auch eine v3.

Siehe Jiaz' Antwort.

Originally Posted by Horstlegend

Google Drive nutzt denselben Player wie Google Fotos, und dieser nutzt den YouTube-Player. Es wäre wirklich zu schön um wahr zu sein, wenn das Ticket ("Streamingformate" bzw "Alle Videoqualitäten rausfiltern" oder "Alle Versionen", wie auch immer ihr das genannt habt) bei G Drive und Fotos ebenso kämen, wie es bei YT ja schon der Fall ist.

Nur weil der Player dem von YT ähnlich sieht bedeutet das nicht, dass der Crawlvorgang gleich ist und das durch ein simples Copy & Paste von bestehendem Code klappen würde

Originally Posted by Horstlegend

Bei G Fotos schafft es JD bisher ja auch, die Version mit der "besten Qualität" (z.B. 1080p) zu crawlen.

Ja, aber ich verstehe nicht, was das mit dem Thema zu tun hat.
Dort gibt es auch keine Qualitätsauswahl und bei Google Photos gibt es auch keine Wahl zwischen Original und irgendwelchen automatisch erzeugten anderen Varianten sondern eben nur letztere.

Grüße, psp

[Horstlegend]

Also bzgl. dem letzten Absatz von psp: doch doch, G Fotos erstellt auch Versionen in 144, 240, 360, 480, 720p - neben 1080p
nur das Original wird verworfen

Bsplink
https://photos.app.goo.gl/8PfvRmxqNvMDgEEe7

[Jiaz]

@Horstlegend: Achso, du meinst Videos Wir dachten da eben an Fotos Am Ende bleibt es auch hier die gleiche Antwort, Qualitätsauswahl bedeutet immer größere Arbeit und da es schon entsprechende Plugins gibt, auch entsprechend mehr Aufwand

[pspzockerscene]

Originally Posted by Horstlegend

Also bzgl. dem letzten Absatz von psp: doch doch, G Fotos erstellt auch Versionen in 144, 240, 360, 480, 720p - neben 1080p
nur das Original wird verworfen

Richtig und ja ich weiß. Mir ging es um Photos.

Ansonsten das was Jiaz schreibt.

Zumindest das Parsing der Qualitätsstufen von GPhotos dürfte einfach sein, aber das Plugin ist so vermurkst daran ändere ich besser gar nichts mehr.

Zu GDrive Qualitätsauswahl:
Ist in Arbeit ...

Grüße, psp

[pspzockerscene]

Mit dem nächsten CORE-Update oder aber irgendwann im Verlauf dieser Woche wird die "bevorzugte Qualität" für GDrive Downloads in den Plugin Einstellungen wählbar sein.

Aktuell ist es noch so, dass diese erst beim Download-Start umgesetzt wird d.h. bis dahin sieht man die originale Dateigröße.
Ich passe das vielleicht noch an, aber eigentlich gefällt es mir so und ich habe bemerkt, dass man durch "anladen" von Streams sehr schnell das "unsichtbare Trafficlimit" von GDrive Accounts erreichen kann und dann warten muss, bis man Datei X mit Account Y wieder laden kann.
Screenshot:


Wartest du auf einen angekündigten Bugfix oder ein neues Feature?
Updates werden nicht immer sofort bereitgestellt!
Bitte lies unser Update FAQ! | Please read our Update FAQ!
---
Are you waiting for recently announced changes to get released?
Updates to not necessarily get released immediately!
Bitte lies unser Update FAQ! | Please read our Update FAQ!

-psp-

[pspzockerscene]

Alle Tickets bzlg. GDrive Qualitätsauswahl habe ich soeben geschlossen.
Die Auswahl ist eingebaut und funktioniert.

Der Einbau der GDrive API (= hat mit dem Streaming Thema nichts zu tun) bleibt weiter auf der TODO.

Grüße, psp

[Cyberavater]

Can you add support for Drive takeout?

[pspzockerscene]

Originally Posted by Cyberavater

Can you add support for Drive takeout?

Bo idea what that is.
Please add a detailed description and example URLs ...

[Cyberavater]

I can't give any example URL cause as it needs account auth. You can read/try these tho,
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**

[pspzockerscene]

Ahh you mean the google data export.
I see no reasons for adding support for that ...

-psp-
EDIT

And there are already tools/scripts out to handle that - I don't see any user demand here.
Also, exporting your google data is something that you don't do on a daily basis.

[Cyberavater]

Oh, okay. It'd be helpful but thanks anyway.

[pspzockerscene]

If there is more demand we can talk about it but so far you're the only user who has ever asked for this feature.

-psp-

[Cyberavater]

Understandable, I appreciate your time and effort.