#1
|
|||
|
|||
Instagram - JD mit unterschiedlichem Ergebnis (mit/ohne account login)
Anwendungsbeispiel: Sammel Links von URL: "**External links are only visible to Support Staff**
Ergebnis: Ohne Account Login: 10 Links werden gefunden Mit Account Login: 508 Links werden gefunden Das ist jetzt ein großer Unterschied. Gestern noch konnte der JD ohne Account Login mehr Links finden. ______________________ Weiteres Problem mit den Dateinamen: Anwendungsbeispiel: Sammel Links von "**External links are only visible to Support Staff** Dateinamen sind jetzt: barackobama - CG3VhaSAA2c_CG3VhWLg9Ev_4 barackobama - CG3VhaSAA2c_CG3VhWMAtX8_3 barackobama - CG3VhaSAA2c_CG3VhWQgpuY_2 barackobama - CG3VhaSAA2c_CG3VhWRg3Ln_5 barackobama - CG3VhaSAA2c_CG3VhWSAzJR_1 Dateinamen zuvor wären: barackobama - CG3VhaSAA2c_CG3VhWLg9Ev barackobama - CG3VhaSAA2c_CG3VhWMAtX8 barackobama - CG3VhaSAA2c_CG3VhWQgpuY barackobama - CG3VhaSAA2c_CG3VhWRg3Ln barackobama - CG3VhaSAA2c_CG3VhWSAzJR Wie werde ich die automatische Nummerierung von JD bei Instagram, wenn ein Post mehrere Medien hat, los? Das ist ein Problem wenn man Millionen von Medien hat und nun plötzlich die Dateinamen anders sind. Updates der Medien würden jetzt Millionen Duplikate erstellen. |
#2
|
||||
|
||||
Hallo,
1. Die neuen Dateinamen sind definitiv sinnvoller als die alten. Mir ist aufgefallen, dass die alten zu Konflikten führen können, aber das passiert wohl sehr selten. Ich habe für's nächste CORE-Update eine Plugin-Einstellung für die Dateinamen eingebaut: Ansonsten kannst du jederzeit Paketverwalter-Regeln erstellen, um Dateinamen zu modifizieren. 2. Ich konnte mit/ohne Account keine Unterschiede feststellen - ich kann das von dir verlinkte Profil vollständig crawlen. Bitte poste ein DEBUG-Log: Please post your log-ID here | bitte poste deine Log-ID hier. Für alle in diesem Post erwähnten Änderungen gilt: Wartest du auf einen angekündigten Bugfix oder ein neues Feature? Updates werden nicht immer sofort bereitgestellt! Bitte lies unser Update FAQ! | Please read our Update FAQ! --- Are you waiting for recently announced changes to get released? Updates to not necessarily get released immediately! Bitte lies unser Update FAQ! | Please read our Update FAQ! -psp-
__________________
JD Supporter, Plugin Dev. & Community Manager
Erste Schritte & Tutorials || JDownloader 2 Setup Download |
#3
|
||||
|
||||
Ich konnte auch ohne Account kein Problem feststellen, daher bitte ein Debug Log erstellen
__________________
JD-Dev & Server-Admin |
#4
|
|||
|
|||
debug log
Hier das Debug Log für das Problem mit dem Crawler ohne Account Login:
24.11.20 23.41.51 <--> 24.11.20 23.43.04 jdlog://0707425302851/ Quote:
|
#5
|
||||
|
||||
Quote:
Nach dem nächsten Update werden die Dateinamen wieder so wie bisher sein - die neue Einstellungsmöglichkeit ist standardmäßig abgeschaltet, da ich die Testlinks, die mich zu dieser Entscheidung geführt haben nicht mehr habe und sich der Problemfall ggf. auch automatisch erkennen- und behandeln ließe. Grüße, psp
__________________
JD Supporter, Plugin Dev. & Community Manager
Erste Schritte & Tutorials || JDownloader 2 Setup Download |
#6
|
||||
|
||||
@Shmi: Instagram möchte die Leute mehr und mehr zu Accounts erziehen/zwingen und daher klappt die Pagination nicht. Hängt wohl von vielen Faktoren ab, manchmal geht mehr manchmal nicht
__________________
JD-Dev & Server-Admin |
#7
|
||||
|
||||
@Shmi
Nachtrag zu Jiaz' Post* Jiaz meint das "Herunterscrollen" ohne Account. Das scheint Instagram basierend auf diversen Faktoren zu begrenzen z.B.: - GEO-location ("Wo kommst du her?") - VPN Nutzung - Account, den man sich ansehen möchte Ich z.B. kann den Link aus deinem Log ohne Probleme ohne Instagram Account vollständig crawlen, aber du nicht - du läufst ohne einen Account direkt in das "Limit". Wir werden eine Erkennung dafür einbauen und dann zumindest eine (bessere) Fehlermeldung in diesem Fall zeigen. Grüße, psp
__________________
JD Supporter, Plugin Dev. & Community Manager
Erste Schritte & Tutorials || JDownloader 2 Setup Download |
#8
|
|||
|
|||
thank you
Quote:
Vielen Dank für eure schnelle Hilfe in beiden Punkten. Ich werde mal wieder eine Donation schicken. Ich möchte keine große Rede schwingen und off-topic gehen, aber dieses Projekt (JD) ist awesome. PS: Vielleicht liegt das "Limitieren" ohne Account Login an meinem Verhalten. Ich habe dauerhaft (24/7) ein Skript am laufen, welches alle 40 Sekunden meine Following-Liste nach Livestreams überprüft und diese speichert. Sollten also 90 Anfragen pro Stunde sein (Eigentlich zulässig?). Auf jeden Fall werde ich aufgrund dessen gezwungen ca. 1x wöchentlich mein Account zu bestätigen und ein neues Passwort zu setzen. |
#9
|
||||
|
||||
@Shmi: Ich denke es sind viele Faktoren, zb auf meinem Handy kann ich quasi gar nicht mehr scrollen! Direkt "Bitte einloggen" und nach 1-2 Bilder anklicken auch die gleiche Meldung. Am PC hängt das sehr vom Profil ab, bei dem einen kann ich quasi alles Scrollen/Anschauen, beim anderen nur 1-2 Seiten/Bilder und dann wieder die Meldung. Instagram will hier die Leute einfach zur Nutzung eines Accounts bitten/zwingen (Datenkrake Facebook)
Ich denke das es bei der Bestätigung weniger um die Anzahl der Requests geht sondern darum das Instagram für solche Zwecke bezahlbare APIs anbietet und das Nutzungsverhalten wahrscheinlich irgendwelche Erkennung triggert.
__________________
JD-Dev & Server-Admin Last edited by Jiaz; 26.11.2020 at 11:37. |
#10
|
||||
|
||||
Ich habe es eben nochmal mit einem US VPN getestet:
Mit diesem konnte ich ohne mich einzuloggen gar nichts sehen Errorhandling ist drinnen: Falls der Crawler beim Crawlen eines User-Profiles mittendrin abbrechen sollte wird ein "Dummy Eintrag" im Linkgrabber erscheinen: Wartest du auf einen angekündigten Bugfix oder ein neues Feature? Updates werden nicht immer sofort bereitgestellt! Bitte lies unser Update FAQ! | Please read our Update FAQ! --- Are you waiting for recently announced changes to get released? Updates to not necessarily get released immediately! Bitte lies unser Update FAQ! | Please read our Update FAQ! -psp-
__________________
JD Supporter, Plugin Dev. & Community Manager
Erste Schritte & Tutorials || JDownloader 2 Setup Download |
#11
|
||||
|
||||
Als Hinweis, man kann dann Account eintragen und Rechtsklick auf diesen Link und den Vorgang neustarten für diesen Link
__________________
JD-Dev & Server-Admin |
#12
|
|||
|
|||
Quote:
__ Errorhandling funktioniert super und gut dass man jetzt die autom. Nummerierung abschalten kann bzw. bereits standardmäßig aus ist. Vielen Dank nochmal. |
#13
|
||||
|
||||
Danke für die Rückmeldung! Ja, ich hab mit pspzocker über das Handling besprochen und daher erstmal default aus. Wollen das so machen, das nur jene Fälle entsprechend gehandhabt werden, wo es nötig/sinnvoll ist.
__________________
JD-Dev & Server-Admin |
#14
|
||||
|
||||
Quote:
Ich konnte bisher keinen solchen Fall mehr finden. Die Option mit der Nummerierung lasse ich trotzdem drin - sie ist auch praktisch, wenn man z.B. die Reihenfolge mehrerer in einer Galerie befindlichen Bildern in den Dateinamen haben will. Die "default" Dateinamen geben das nicht her. Grüße, psp
__________________
JD Supporter, Plugin Dev. & Community Manager
Erste Schritte & Tutorials || JDownloader 2 Setup Download |
Thread Tools | |
Display Modes | |
|
|