|
#1
21.10.2022, 10:36
|
||||
|
||||
Probleme mit bestimmten Bildern von GoogleBooks
Ein Plugin scheint nicht mehr zu existieren. Daher habe ich die Links zu den Images (Seiten) eines Books selbst ermittelt (Beispiel: Links und Book siehe Anlage).
Wenn ich die Links mit DeepScan scanne, wird zu jedem Link auch ein Bild gefunden und kann heruntergeladen werden. Jedoch wird bei allen in der Anlage markierten Links mit 8,89 kB Größe nur ein Image mit dem Text "image not available" gefunden und heruntergeladen. Es fällt auf, dass all diese "not available"-Links den String pg=PA….. enthalten, während die korrekt heruntergeladenen Links den String pg=PR….. enthalten. Kopiere ich die Links in Firefox, wird jedes Image (jede Seite des Buchs, PR und PA) korrekt angezeigt. Verwende ich das Firefox AddOn DownThemAll wird ebenfalls jedes Image korrekt heruntergeladen. Frage 1: Hat JD hier ein Problem? Muss ich eine bestimmte Einstellung vornehmen? Frage 2: Wie kann ich die Namen für die heruntergeladenen Dateien als PAxx bzw. PRxx aus den Links erzeugen? Für eine Lösung wäre ich dankbar! 
|
|
#2
21.10.2022, 13:44
|
||||
|
||||
|
Quote:
PA: Sofern keine Google Cookies vorhanden sind /zb Incognito Tab in Firefox und Chrome, dann kommt ein "Image not available" auch im Browser. PR: Gehen unabhängig von Google Cookies im normalen Tab, wie auch im Incognito Tab im Firefox und Chrome Sobald man einen PA Link aufgerufen hatte, funktionieren weitere und danach ebenfalls der gleiche PA Links. Ein Umschreiben der Links von PA zur PR funktioniert nicht, es bleibt weiterhin ein "Image not available". Es liegt einzig am nötigen Cookie für PA Links. Ich empfehle dir hier eine Linkcrawler DIRECTHTTP Regel für diese Links und entsprechend schon die nötigen Cookies gesetzt sind, siehe https://support.jdownloader.org/Know...ple-directhttp
__________________
JD-Dev & Server-Admin Last edited by Jiaz; 21.10.2022 at 13:47.
|
|
#3
21.10.2022, 13:45
|
||||
|
||||
|
Quote:
__________________
JD-Dev & Server-Admin
|
|
#4
21.10.2022, 14:06
|
||||
|
||||
|
Verschoben ins Unterforum "Allgemeine Diskussion".
Ergänzend zu Jiaz' Antworten: Quote:
Letzte Anfrage eines Users 2021: https://board.jdownloader.org/showthread.php?t=66032 Davor 2017: https://board.jdownloader.org/showthread.php?t=75276 Quote:
Soll heißen dass hier nichts gefunden wird, ist kein Bug. Wenn du möchtest, dass diese Direktlinks auch ohne Deepscan z.B. beim Kopieren erkannt werden, musst du wie von Jiaz beschrieben eine entsprechende LinkCrawler Regel erstellen. In diesem Fall kann es sich lohnen, andere Tools zu verwenden, die genau dafür gemacht sind, von Google Books herunterzuladen. Eine kurze Websuche nach github google books downloader zeigt, dass es da einige open source Projekte zu geben scheint 
__________________
JD Supporter, Plugin Dev. & Community Manager
JDownloader 2 Setup Download
Spoiler:
A users' JD crashes and the first thing to ask is: Quote:
Quote:
|
|
#5
21.10.2022, 17:55
|
||||
|
||||
|
Quote:
Luden beide nicht alle Seiten herunter und beide - warum auch immer - reduzierten auch die Image-Auflösung/Qualität
|
|
#6
21.10.2022, 18:02
|
||||
|
||||
|
@StefanM: Mittels einer LinkCrawler Regel klappt es dann auch mit dem JDownloader. Versuch dich bitte zunächst selbst daran aber bei Fragen/Problemen/Verzweiflung helfen wir natürlich
__________________
JD-Dev & Server-Admin
|
|
#7
21.10.2022, 18:30
|
||||
|
||||
|
Quote:
JD will not pickup this URL - it will only find the image behind it if you add it via "Add Links" dialog and let JD deep-scan. Aber genau das mache ich ja, ich füge die Links via "Add Links"-Dialog hinzu und lasse JD einen Deep-Scan durchführen. Aber auch dann findet JD die Bilder nicht. Aber wie setze ich mit der Rule die notwendigen Cookies?
|
|
#8
21.10.2022, 21:18
|
||||
|
||||
|
Quote:
Wenn ich es richtig verstehe, fehlt im JD der notwendige Cookie. Wenn ich es richtig verstehe, ersetzt die Rule - zumindest in dem Beispiel unter dem Link, den du mir gesendet hast - nur die Notwendigkeit, einen Deep-Scan durchzuführen (damit auch so z.B. Bilder gefunden werden). Nur,... ... Bilder werden ja gefunden im Deep-Scan. Nur leider bzgl. der pg=PA-"Gruppe" eben nur das Bild "image not available". Und, dass ich mich bzgl. der URL mit RegEx sehr schwer tue, weißt du ja. Mit anderen Worten: Ich brauche bitte Hilfe. So eine Rule habe ich noch nie erstellt. Und das angegebene Beispiel verstehe ich so, dass es nur die Notwendigkeit, einen Deep-Scan durchzuführen überflüssig macht, aber keine Cookies setzt, oder???
|
|
#9
24.10.2022, 17:31
|
||||||||
|
||||||||
|
Quote:
Quote:
Quote:
Das erste Beispiel in unserem Übersichtsartikel enthält doch bereits testweise cookies. Anhand des Beispiels und der Tabelle unten siehst du, dass das Feld "cookies" für Cookie-Wertepaare ist und, wie man diese setzt... https://support.jdownloader.org/Know...kcrawler-rules Quote:
Wir haben ddir gesagt, dass im Browser beim ersten Aufruf eines solchen Bildes bestimmte Cookies gesetzt werden, die du JD jedoch händisch mitteilen musst. Also wie wohl als nächstes vorgehen? 1. Irgendeinen Bilder-Direktlink im Browser öffnen und die Cookies herausholen z.B. mit addons wie "EditThisCookie" oder "FlagCookies". Es geht auch komplett ohne Addon, ist jedoch mühseliger. 2. Regel für besagte Direktlinks erstellen. 3. Regel ohne Cookies testen -> Also schauen, ob JD die Links nun auch über die Zwischenablagenüberwachung erkennt. 4. Cookies in die Regel einfügen und so lange probieren bis du weißt, welche Cookies wirklich benötigt werden. Dabei hoffen, dass sich die Cookies nicht ständig ändern. Quote:
Youtube Videos + Webtool regex101.com ... Quote:
Ich sehe hier noch immer sehr wenig Bereitschaft von dir, dich ernsthaft mit dem Thema zu befassen (vor allem RegEx). Auch glaube ich nicht, dass besagte andere Tools es dir nicht erlauben, die Bilder in der höchsten verfügbaren Auflösung herunterzuladen. Für den Fall, dass das dennoch stimmt: Hast du auf Github entsprechende Tickets ("Issues") erstellt und um Hilfe gebeten bzlg. die Entwickler auf die möglichen Bugs hingewiesen?
__________________
JD Supporter, Plugin Dev. & Community Manager
JDownloader 2 Setup Download
Spoiler:
A users' JD crashes and the first thing to ask is: Quote:
Quote:
|
|
#10
24.10.2022, 21:22
|
||||
|
||||
|
Quote:
**External links are only visible to Support Staff****External links are only visible to Support Staff** **External links are only visible to Support Staff****External links are only visible to Support Staff** **External links are only visible to Support Staff****External links are only visible to Support Staff** Obige GitHub-Projekte habe ich getestet. Sie funktionierten gar nicht (mehr) bzw. fehlerbehaftet. Das letzte "Projekt" funktioniert am besten (Kopieren des Java-Scripts in die Google Chrome-Developer-Console), "verpasst" aber einige Seiten. Darüber hinaus habe ich getestet: **External links are only visible to Support Staff****External links are only visible to Support Staff** (Schafft gerade mal 2 Seiten) **External links are only visible to Support Staff****External links are only visible to Support Staff** (reduziert die Qualität extrem bereits als Image und erst recht im pdf Quote:
Ich habe die heuntergeladenen Seiten nicht weiter geprüft. Aber die Schrift war schon stark verpixelt gegenüber dem Original. Die weitere Antworten schreibe ich morgen. Noch ein wichtiger Hinweis: Ich kopiere den englischen Originaltext hier ein, den ich meinem Freund Maksym gesendet hatte: 1. When I use the new Google Books design, I find these URLs for PA7: (image not available) Start URL: https://www.google.de/books/edition/...AAAQBAJ?gbpv=1 File address: **External links are only visible to Support Staff****External links are only visible to Support Staff** Parent page address: **External links are only visible to Support Staff****External links are only visible to Support Staff** 2. When I use the old Google Books design, these URLs are found for PA7: (image correctly downloaded) Start URL: **External links are only visible to Support Staff****External links are only visible to Support Staff** File address: **External links are only visible to Support Staff****External links are only visible to Support Staff** Parent page address: **External links are only visible to Support Staff****External links are only visible to Support Staff**
|
|
#11
25.10.2022, 14:19
|
|||||
|
|||||
|
Quote:
Quote:
Quote:
Die Seiten sind so zwar lesbarer, aber weit entfernt von einer "guten Qualität" wenn du mich fragst. Ich ging davon aus, dass du eine höhere Qualitätsstufe erwartet hattest. Ich gehe nun davon aus, dass Google keine bessere Qualität zur Verfügung stellt. Auf den Rest gehe ich später ein.
__________________
JD Supporter, Plugin Dev. & Community Manager
JDownloader 2 Setup Download
Spoiler:
A users' JD crashes and the first thing to ask is: Quote:
Quote:
Last edited by pspzockerscene; 25.10.2022 at 14:56.
|
|
#12
25.10.2022, 14:41
|
||||
|
||||
|
Zu deinen ausprobierten Github Projekten:
Ich probiere zunächst die Projekte aus, die in letzter Zeit noch geändert wurden. Etwas was schon über 10 Jahre alt ist o.ä., überspringe ich direkt. github.com/vaibhavk97/GoBooDo Funktioniert nicht. Fehler "Received invalid response". Kann man sich aber auch schon anhand der vielen Issues denken: github.com/vaibhavk97/GoBooDo/issues -> Der Sourcecode dieses Projektes lässt vermuten, dass das benötigte Cookie das "NID" Cookie ist. github.com/aprikyan/google-books-downloader Dieses Projekt verwendet Chromedriver und liefert noch dazu eine veraltete Version davon mit daher habe ich es erst gar nicht versucht. Dies lässt außerdem vermuten, dass es stark an die Webseitenstruktur von Google Books gebunden ist, die sich seit ~2020 bestimmt schonmal geändert hat. github.com/mcdxn/google-books-preview-pages-downloader Egal ob dieses Projekt funktioniert oder nicht: Es scheint lediglich die Links zu den Bildern zu extrahieren und sie nicht automatisch herunterzuladen. Das können wir auch händisch und damit lohnt es sich nicht, dieses auszuprobieren. github.com/YurieCo/Google-Books-Downloader-1 Letzte Aktivität: 2012 Webseiten ändern sich regelmäßig. Es ist extrem unwahrscheinlich, dass 10 Jahre alte Web-Crawler noch funktionieren Damit komme ich zumselben Ergebnis wie du und erspare anderen Usern mit diesem Post ggf. etwas Zeit.
__________________
JD Supporter, Plugin Dev. & Community Manager
JDownloader 2 Setup Download
Spoiler:
A users' JD crashes and the first thing to ask is: Quote:
Quote:
Last edited by pspzockerscene; 25.10.2022 at 14:57. Reason: Overhead entfernt
|
|
#13
25.10.2022, 14:50
|
||||
|
||||
|
Quote:
Hier ist eine LinkCrawler Regel, die bei mir funktionierte: Code:
[
{
"enabled": true,
"cookies": [
[
"NID",
"ZENSIERT"
]
],
"updateCookies": true,
"logging": false,
"name": "Beispielregel fuer Google Books Direktlinks mit Cookie",
"pattern": "**External links are only visible to Support Staff**,
"rule": "DIRECTHTTP"
}
]
Ich konnte mithilfe dieser Regel alle 49 deiner Direktlinks herunterladen. Zwei der Links führten nur zu ca 8KiB großen dummy Bildern mit dem Inhalt "Image not available". Ob das per Browser auch so ist, müsste man gegenprüfen. Edit by Jiaz: Hier die vollständige Regel als Pastebin, pastebin.com/p7ixh7sS
__________________
JD Supporter, Plugin Dev. & Community Manager
JDownloader 2 Setup Download
Spoiler:
A users' JD crashes and the first thing to ask is: Quote:
Quote:
Last edited by Jiaz; 26.10.2022 at 11:08.
|
|
#14
25.10.2022, 16:27
|
||||
|
||||
|
vorab:
Quote:
Quote:
Habe hier: policies.google.com/technologies/cookies?hl=de dazu u.a. gefunden: "Das „NID“-Cookie wird verwendet, um in Google-Diensten Google-Werbung für abgemeldete Nutzer einzublenden." ..."Das „NID“-Cookie läuft 6 Monate nach der letzten Nutzung durch den Nutzer ab." Und wie schon gesagt, das Verhalten ist unterschiedlich, ob ich die alte oder neue Google Books-Weboberfläche benutze. Interessant ist auch, dass in anderen Ländern - z.B. in der Ukraine - andere Seiten als z.B. hier in Deutschland beim selben Buch angeboten werden. Das würde dann bei Verwendung verschiedener Proxies dazu führen, dass man am Ende mehr Seiten herunterladen kann.;)
|
|
#15
25.10.2022, 17:05
|
|||||
|
|||||
|
Quote:
youtu.be/cCFtlXJPoJ0 youtu.be/LsbGFLBiPWQ EDIT Ich sehe gerade, dass im Projekt steht, die Bilder würden danach automatisch heruntergeladen werden. Dieserr Schritt wurde in den Videos scheinbar ausgelassen. Im Code ist das ebenfalls in der "gbppd.js" zu sehen. Wie auch immer ich hatte u.a. weitere Gründe, warum ich es nicht als sinnvoll erachtet habe, mich weiter mit diesem Projekt zu befassen Falls es dir etwas bringt, kannst du die Nutzung dieses Projekts und JD nach belieben kombinieren. Ich kann mir trotzdem nicht vorstellen, dass die hier gecrawlten Bilder Direktlinksc zu niedrigeren Auflösungen führen als deine, aber ich werde es nicht testen dazu ist mir meine Zeit dann doch zu wertvoll. Quote:
Ich hab's über das Addon "EditThisCookie" gemacht. Es sollte mit beiden open source Browser Addons funktionieren, die wir in folgendem Artikel verlinken: https://support.jdownloader.org/Know...n-instructions Quote:
__________________
JD Supporter, Plugin Dev. & Community Manager
JDownloader 2 Setup Download
Spoiler:
A users' JD crashes and the first thing to ask is: Quote:
Quote:
Last edited by pspzockerscene; 25.10.2022 at 17:12.
|
|
#16
25.10.2022, 19:54
|
||||
|
||||
|
Quote:
Es kommt eine Abfrage, ob ich Chrome erlaube, alles herunterzuladen. Und dann lädt er alle Dateien aus der Link-Liste herunter. 5 gleichzeitig (ich glaube es waren 5 oder evtl. auch 6...) Wie trage ich den Cookie ein? NID=511=W1nBAWjHLq... Alles, oder erst ab dem ersten oder zweiten "=" Danke nochmal für die Hilfe!
|
|
#17
26.10.2022, 11:11
|
||||
|
||||
|
Quote:
Code:
"cookies": [
[
"Key1",
"Value1"
],
[
"Key2",
"Value2"
]
]
Code:
"cookies": [
[
"NID",
"W1nBAWjH...."
]
]
__________________
JD-Dev & Server-Admin
|
|
#18
26.10.2022, 11:16
|
||||
|
||||
|
Quote:
Quote:
Quote:
__________________
JD-Dev & Server-Admin Last edited by Jiaz; 26.10.2022 at 11:18.
|
|
#19
26.10.2022, 11:20
|
||||
|
||||
|
Quote:
__________________
JD-Dev & Server-Admin
|
|
#20
26.10.2022, 13:46
|
|||||
|
|||||
|
Quote:
Ich glaube so hat er das nicht gemeint. Ich glaube die Syntax hat er verstanden. Seine Frage ist eigentlich "Soll ich den ganzen Wert des Cookies einfügen oder nur einen Teil?". Quote:
Mein NID Cookie-Wert entspricht etwa folgendem Muster: 511=[A-Za-z0-9-]+ Quote:
Ich ging davon aus, dass Stefan die Links nicht verändert hat.
__________________
JD Supporter, Plugin Dev. & Community Manager
JDownloader 2 Setup Download
Spoiler:
A users' JD crashes and the first thing to ask is: Quote:
Quote:
|
 |
| Thread Tools | |
| Display Modes | |
|
|
Linear Mode
