JDownloader Community - Appwork GmbH
 

Notices

Reply
 
Thread Tools Display Modes
  #81  
Old 13.11.2020, 22:55
Horstlegend Horstlegend is offline
JD Addict
 
Join Date: Jul 2015
Posts: 151
Default

Can others simulate the problem that links with the approval "Everyone who has it" are only crawled when the Google Docs account is switched off, and that the download only works again with an activated Google Docs account after a certain quota?
Reply With Quote
  #82  
Old 14.11.2020, 18:38
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 69,349
Default

@Horstlegend: most likely issue with such links when logged in. Can you share the link with us? The download issue happens because public shared links do have traffic/share limits and once reached, need account to continue to download
__________________
JD-Dev & Server-Admin
Reply With Quote
  #83  
Old 17.11.2020, 15:14
Horstlegend Horstlegend is offline
JD Addict
 
Join Date: Jul 2015
Posts: 151
Default

Hier habe ich mal einen Beispiellink
**External links are only visible to Support Staff****External links are only visible to Support Staff**


Das Problem ist: wenn du mit docs.google.com im JD eingeloggt bist, wird gar nichts gecrawlt.
Man muss den Account dann also deaktivieren, um ihn dann beim Download wieder zu aktivieren wenn

a) entweder das File dem hinterlegten Account freigegeben ist
b) oder wenn jeder drauf Zugriff hat: das geringe Limit, was man ohne Account-Login hat, aufgebraucht ist

Wie psp mir in einer privaten Konversation erzählte, nutzt JD gar nicht die API von Google.

Ich hatte vor über 4,5 Jahren mal den Wunsch geäußert, dass JD die verschiedenen Streamingformate, die Google Drive genauso wie YT erstellt, ebenfalls abfangen kann. Das Google Drive-Plugin für Kodi, geschrieben in Python, kann das
**External links are only visible to Support Staff****External links are only visible to Support Staff**

Ich kann aber nicht erblicken, wo und wie es das macht (mangels Programmierkenntnissen). Ich bin mehrere py-Dateien zwar durchgegangen (da man ja anhand der Befehle erschließen kann, was an Stelle x gemacht werden soll), aber daraus nicht klüger geworden. Ich weiß nur, dass es (u.a./zumindest) die Drive API v2 nutzt; mittlerweile gibt es auch eine v3.

psp sagte mir auch, dass die API-Benutzung "intern" bisher abgelehnt wurde.
Durch die konforme API-Benutzung würde das JD-Plugin dann aber richtig crawlen, anstatt wie aktuell bei kleinsten Änderungen an der Website das Plugin wieder anpassen zu müssen, was aufgrund eurer Arbeitslast ja Monate (oder gar Jahre) dauern kann.

Google Drive nutzt denselben Player wie Google Fotos, und dieser nutzt den YouTube-Player. Es wäre wirklich zu schön um wahr zu sein, wenn das Ticket ("Streamingformate" bzw "Alle Videoqualitäten rausfiltern" oder "Alle Versionen", wie auch immer ihr das genannt habt) bei G Drive und Fotos ebenso kämen, wie es bei YT ja schon der Fall ist.

Das Video bei meinem Beispiellink oben hat im Original über 3 GB. Google Drive schafft es, bei optisch gleichbleibender Qualität die Größe auf 1,2 GB zu verringern. Bei den ebenfalls erstellten Versionen 720p und 360p sind es sogar nur 645 bzw. 182 MB.

Bei G Fotos schafft es JD bisher ja auch, die Version mit der "besten Qualität" (z.B. 1080p) zu crawlen.

English

The problem is: if you are logged into the JD with docs.google.com, nothing is crawled.
You then have to deactivate the account in order to reactivate it when downloading

a) either the file has been released to the stored account
b) or if everyone has access to it: the low limit of what you have without an account login has been used up

As psp told me in a private conversation, JD doesn't use Google's API at all.

More than 4.5 years ago I expressed the wish that JD could also intercept the various streaming formats that Google Drive creates just like YT. The Google Drive plugin for Kodi, written in Python, can do that
** External links are only visible to Support Staff **** External links are only visible to Support Staff **

But I can't see where and how it does it (due to a lack of programming knowledge). Although I went through several py files (since you can use the commands to determine what should be done in line x ), I did not find out any more. I just know that it uses (among other things / at least) the Drive API v2; now there is also a v3.

psp also told me that the API usage "internally" has been refused so far.
Due to the compliant use of the API, the JD plugin would then crawl properly instead of having to adjust the plugin again with the smallest changes to the website, which can take months (or even years) due to your workload.

Google Drive uses the same player as Google Photos, and it uses the YouTube player. It would really be too good to be true if the ticket ("streaming formats" or "filter out all video qualities" or "all versions", whatever you called it) came from G Drive and photos as well as from YT is already the case.

The video at my example link above has over 3 GB in the original. Google Drive manages to reduce the size to 1.2 GB while maintaining the same visual quality. In the 720p and 360p versions, which were also created, it is only 645 and 182 MB, respectively.

With G Photos, JD has also managed to crawl the version with the "best quality" (e.g. 1080p).

Last edited by Horstlegend; 17.11.2020 at 15:22.
Reply With Quote
  #84  
Old 17.11.2020, 18:39
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 69,349
Default

Es hatte bisher schlicht kein Entwickler Zeit/Muse sich des Themas anzunehmen. Für Qualitätsauswahl muss das komplette Plugin umgeschrieben werden und der Teil der Qualitätsauswahl muss aus dem Hoster Plugin in ein Decrypter Plugin ausgelagert werden. Hier spielt es keine Rolle ob das Plugin über API geht oder nicht. Das Qualitätszeugs selbst anschließend seh ich keinen großen Aufwand. Kurz: Es muss halt jemand sich genug Zeit dafür nehmen und eben auch Zeit dafür haben

__________________
JD-Dev & Server-Admin

Last edited by Jiaz; 17.11.2020 at 18:47.
Reply With Quote
  #85  
Old 17.11.2020, 21:10
pspzockerscene's Avatar
pspzockerscene pspzockerscene is online now
Community Manager
 
Join Date: Mar 2009
Location: Deutschland
Posts: 56,493
Default

Quote:
Originally Posted by Horstlegend View Post
Hier habe ich mal einen Beispiellink
**External links are only visible to Support Staff****External links are only visible to Support Staff**


Das Problem ist: wenn du mit docs.google.com im JD eingeloggt bist, wird gar nichts gecrawlt.
Man muss den Account dann also deaktivieren, um ihn dann beim Download wieder zu aktivieren wenn

a) entweder das File dem hinterlegten Account freigegeben ist
b) oder wenn jeder drauf Zugriff hat: das geringe Limit, was man ohne Account-Login hat, aufgebraucht ist
Ich habe den Login aus dem Folder-Crawler entfernt und damit das Problem umgangen.
Der Crawler wird leider weiter keine Ordner crawlen können, die nur eingeloggte Benutzer sehen können.
Einzelne Dateien sind jedoch ladbar.

Quote:
Originally Posted by Horstlegend View Post
Ich hatte vor über 4,5 Jahren mal den Wunsch geäußert, dass JD die verschiedenen Streamingformate, die Google Drive genauso wie YT erstellt, ebenfalls abfangen kann. Das Google Drive-Plugin für Kodi, geschrieben in Python, kann das
**External links are only visible to Support Staff****External links are only visible to Support Staff**

Ich kann aber nicht erblicken, wo und wie es das macht (mangels Programmierkenntnissen). Ich bin mehrere py-Dateien zwar durchgegangen (da man ja anhand der Befehle erschließen kann, was an Stelle x gemacht werden soll), aber daraus nicht klüger geworden. Ich weiß nur, dass es (u.a./zumindest) die Drive API v2 nutzt; mittlerweile gibt es auch eine v3.
Siehe Jiaz' Antwort.

Quote:
Originally Posted by Horstlegend View Post
Google Drive nutzt denselben Player wie Google Fotos, und dieser nutzt den YouTube-Player. Es wäre wirklich zu schön um wahr zu sein, wenn das Ticket ("Streamingformate" bzw "Alle Videoqualitäten rausfiltern" oder "Alle Versionen", wie auch immer ihr das genannt habt) bei G Drive und Fotos ebenso kämen, wie es bei YT ja schon der Fall ist.
Nur weil der Player dem von YT ähnlich sieht bedeutet das nicht, dass der Crawlvorgang gleich ist und das durch ein simples Copy & Paste von bestehendem Code klappen würde

Quote:
Originally Posted by Horstlegend View Post
Bei G Fotos schafft es JD bisher ja auch, die Version mit der "besten Qualität" (z.B. 1080p) zu crawlen.
Ja, aber ich verstehe nicht, was das mit dem Thema zu tun hat.
Dort gibt es auch keine Qualitätsauswahl und bei Google Photos gibt es auch keine Wahl zwischen Original und irgendwelchen automatisch erzeugten anderen Varianten sondern eben nur letztere.

Grüße, psp
__________________
JD Supporter, Plugin Dev. & Community Manager

Erste Schritte & Tutorials || JDownloader 2 Setup Download
Spoiler:

A users' JD crashes and the first thing to ask is:
Quote:
Originally Posted by Jiaz View Post
Do you have Nero installed?
That's true James
Quote:
Originally Posted by James
Die Leute verstehen einfach nicht dass nur weil man mit einer Waffe auch auf Menschen schießen kann dass ein Schützenver​ein kein Ort für Amoklaufide​en ist
Reply With Quote
  #86  
Old 19.11.2020, 02:27
Horstlegend Horstlegend is offline
JD Addict
 
Join Date: Jul 2015
Posts: 151
Default

Also bzgl. dem letzten Absatz von psp: doch doch, G Fotos erstellt auch Versionen in 144, 240, 360, 480, 720p - neben 1080p
nur das Original wird verworfen

Bsplink
https://photos.app.goo.gl/8PfvRmxqNvMDgEEe7
Reply With Quote
  #87  
Old 19.11.2020, 11:38
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 69,349
Default

@Horstlegend: Achso, du meinst Videos Wir dachten da eben an Fotos Am Ende bleibt es auch hier die gleiche Antwort, Qualitätsauswahl bedeutet immer größere Arbeit und da es schon entsprechende Plugins gibt, auch entsprechend mehr Aufwand
__________________
JD-Dev & Server-Admin
Reply With Quote
  #88  
Old 20.11.2020, 18:16
pspzockerscene's Avatar
pspzockerscene pspzockerscene is online now
Community Manager
 
Join Date: Mar 2009
Location: Deutschland
Posts: 56,493
Default

Quote:
Originally Posted by Horstlegend View Post
Also bzgl. dem letzten Absatz von psp: doch doch, G Fotos erstellt auch Versionen in 144, 240, 360, 480, 720p - neben 1080p
nur das Original wird verworfen
Richtig und ja ich weiß. Mir ging es um Photos.

Ansonsten das was Jiaz schreibt.

Zumindest das Parsing der Qualitätsstufen von GPhotos dürfte einfach sein, aber das Plugin ist so vermurkst daran ändere ich besser gar nichts mehr.

Zu GDrive Qualitätsauswahl:
Ist in Arbeit ...

Grüße, psp
__________________
JD Supporter, Plugin Dev. & Community Manager

Erste Schritte & Tutorials || JDownloader 2 Setup Download
Spoiler:

A users' JD crashes and the first thing to ask is:
Quote:
Originally Posted by Jiaz View Post
Do you have Nero installed?
That's true James
Quote:
Originally Posted by James
Die Leute verstehen einfach nicht dass nur weil man mit einer Waffe auch auf Menschen schießen kann dass ein Schützenver​ein kein Ort für Amoklaufide​en ist
Reply With Quote
  #89  
Old 24.11.2020, 00:56
pspzockerscene's Avatar
pspzockerscene pspzockerscene is online now
Community Manager
 
Join Date: Mar 2009
Location: Deutschland
Posts: 56,493
Default

Mit dem nächsten CORE-Update oder aber irgendwann im Verlauf dieser Woche wird die "bevorzugte Qualität" für GDrive Downloads in den Plugin Einstellungen wählbar sein.

Aktuell ist es noch so, dass diese erst beim Download-Start umgesetzt wird d.h. bis dahin sieht man die originale Dateigröße.
Ich passe das vielleicht noch an, aber eigentlich gefällt es mir so und ich habe bemerkt, dass man durch "anladen" von Streams sehr schnell das "unsichtbare Trafficlimit" von GDrive Accounts erreichen kann und dann warten muss, bis man Datei X mit Account Y wieder laden kann.
Screenshot:


Wartest du auf einen angekündigten Bugfix oder ein neues Feature?
Updates werden nicht immer sofort bereitgestellt!
Bitte lies unser Update FAQ! | Please read our Update FAQ!

---
Are you waiting for recently announced changes to get released?
Updates to not necessarily get released immediately!
Bitte lies unser Update FAQ! | Please read our Update FAQ!


-psp-
__________________
JD Supporter, Plugin Dev. & Community Manager

Erste Schritte & Tutorials || JDownloader 2 Setup Download
Spoiler:

A users' JD crashes and the first thing to ask is:
Quote:
Originally Posted by Jiaz View Post
Do you have Nero installed?
That's true James
Quote:
Originally Posted by James
Die Leute verstehen einfach nicht dass nur weil man mit einer Waffe auch auf Menschen schießen kann dass ein Schützenver​ein kein Ort für Amoklaufide​en ist
Reply With Quote
  #90  
Old 22.12.2020, 14:26
pspzockerscene's Avatar
pspzockerscene pspzockerscene is online now
Community Manager
 
Join Date: Mar 2009
Location: Deutschland
Posts: 56,493
Default

Alle Tickets bzlg. GDrive Qualitätsauswahl habe ich soeben geschlossen.
Die Auswahl ist eingebaut und funktioniert.

Der Einbau der GDrive API (= hat mit dem Streaming Thema nichts zu tun) bleibt weiter auf der TODO.

Grüße, psp
__________________
JD Supporter, Plugin Dev. & Community Manager

Erste Schritte & Tutorials || JDownloader 2 Setup Download
Spoiler:

A users' JD crashes and the first thing to ask is:
Quote:
Originally Posted by Jiaz View Post
Do you have Nero installed?
That's true James
Quote:
Originally Posted by James
Die Leute verstehen einfach nicht dass nur weil man mit einer Waffe auch auf Menschen schießen kann dass ein Schützenver​ein kein Ort für Amoklaufide​en ist
Reply With Quote
  #91  
Old 22.12.2020, 15:02
Cyberavater Cyberavater is offline
JD Legend
 
Join Date: Feb 2019
Posts: 580
Default

Can you add support for Drive takeout?
Reply With Quote
  #92  
Old 22.12.2020, 15:28
pspzockerscene's Avatar
pspzockerscene pspzockerscene is online now
Community Manager
 
Join Date: Mar 2009
Location: Deutschland
Posts: 56,493
Default

Quote:
Originally Posted by Cyberavater View Post
Can you add support for Drive takeout?
Bo idea what that is.
Please add a detailed description and example URLs ...
__________________
JD Supporter, Plugin Dev. & Community Manager

Erste Schritte & Tutorials || JDownloader 2 Setup Download
Spoiler:

A users' JD crashes and the first thing to ask is:
Quote:
Originally Posted by Jiaz View Post
Do you have Nero installed?
That's true James
Quote:
Originally Posted by James
Die Leute verstehen einfach nicht dass nur weil man mit einer Waffe auch auf Menschen schießen kann dass ein Schützenver​ein kein Ort für Amoklaufide​en ist
Reply With Quote
  #93  
Old 22.12.2020, 15:31
Cyberavater Cyberavater is offline
JD Legend
 
Join Date: Feb 2019
Posts: 580
Default

I can't give any example URL cause as it needs account auth. You can read/try these tho,
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**
Reply With Quote
  #94  
Old 22.12.2020, 15:34
pspzockerscene's Avatar
pspzockerscene pspzockerscene is online now
Community Manager
 
Join Date: Mar 2009
Location: Deutschland
Posts: 56,493
Default

Ahh you mean the google data export.
I see no reasons for adding support for that ...

-psp-
EDIT

And there are already tools/scripts out to handle that - I don't see any user demand here.
Also, exporting your google data is something that you don't do on a daily basis.
__________________
JD Supporter, Plugin Dev. & Community Manager

Erste Schritte & Tutorials || JDownloader 2 Setup Download
Spoiler:

A users' JD crashes and the first thing to ask is:
Quote:
Originally Posted by Jiaz View Post
Do you have Nero installed?
That's true James
Quote:
Originally Posted by James
Die Leute verstehen einfach nicht dass nur weil man mit einer Waffe auch auf Menschen schießen kann dass ein Schützenver​ein kein Ort für Amoklaufide​en ist
Reply With Quote
  #95  
Old 22.12.2020, 15:37
Cyberavater Cyberavater is offline
JD Legend
 
Join Date: Feb 2019
Posts: 580
Default

Oh, okay. It'd be helpful but thanks anyway.
Reply With Quote
  #96  
Old 22.12.2020, 15:41
pspzockerscene's Avatar
pspzockerscene pspzockerscene is online now
Community Manager
 
Join Date: Mar 2009
Location: Deutschland
Posts: 56,493
Default

If there is more demand we can talk about it but so far you're the only user who has ever asked for this feature.

-psp-
__________________
JD Supporter, Plugin Dev. & Community Manager

Erste Schritte & Tutorials || JDownloader 2 Setup Download
Spoiler:

A users' JD crashes and the first thing to ask is:
Quote:
Originally Posted by Jiaz View Post
Do you have Nero installed?
That's true James
Quote:
Originally Posted by James
Die Leute verstehen einfach nicht dass nur weil man mit einer Waffe auch auf Menschen schießen kann dass ein Schützenver​ein kein Ort für Amoklaufide​en ist
Reply With Quote
  #97  
Old 22.12.2020, 15:43
Cyberavater Cyberavater is offline
JD Legend
 
Join Date: Feb 2019
Posts: 580
Default

Understandable, I appreciate your time and effort.
Reply With Quote
Reply

Thread Tools
Display Modes

Posting Rules
You may not post new threads
You may not post replies
You may not post attachments
You may not edit your posts

BB code is On
Smilies are On
[IMG] code is On
HTML code is Off

Forum Jump

All times are GMT +2. The time now is 17:54.
Provided By AppWork GmbH | Privacy | Imprint
Parts of the Design are used from Kirsch designed by Andrew & Austin
Powered by vBulletin® Version 3.8.10 Beta 1
Copyright ©2000 - 2021, Jelsoft Enterprises Ltd.