JDownloader Community - Appwork GmbH
 

Notices

Reply
 
Thread Tools Display Modes
  #1  
Old 24.11.2020, 13:17
Shmi Shmi is offline
Baby Loader
 
Join Date: Jan 2020
Posts: 8
Default Instagram - JD mit unterschiedlichem Ergebnis (mit/ohne account login)

Anwendungsbeispiel: Sammel Links von URL: "**External links are only visible to Support Staff**

Ergebnis:
Ohne Account Login: 10 Links werden gefunden
Mit Account Login: 508 Links werden gefunden

Das ist jetzt ein großer Unterschied. Gestern noch konnte der JD ohne Account Login mehr Links finden.

______________________

Weiteres Problem mit den Dateinamen:

Anwendungsbeispiel: Sammel Links von "**External links are only visible to Support Staff**

Dateinamen sind jetzt:
barackobama - CG3VhaSAA2c_CG3VhWLg9Ev_4
barackobama - CG3VhaSAA2c_CG3VhWMAtX8_3
barackobama - CG3VhaSAA2c_CG3VhWQgpuY_2
barackobama - CG3VhaSAA2c_CG3VhWRg3Ln_5
barackobama - CG3VhaSAA2c_CG3VhWSAzJR_1

Dateinamen zuvor wären:
barackobama - CG3VhaSAA2c_CG3VhWLg9Ev
barackobama - CG3VhaSAA2c_CG3VhWMAtX8
barackobama - CG3VhaSAA2c_CG3VhWQgpuY
barackobama - CG3VhaSAA2c_CG3VhWRg3Ln
barackobama - CG3VhaSAA2c_CG3VhWSAzJR

Wie werde ich die automatische Nummerierung von JD bei Instagram, wenn ein Post mehrere Medien hat, los?

Das ist ein Problem wenn man Millionen von Medien hat und nun plötzlich die Dateinamen anders sind. Updates der Medien würden jetzt Millionen Duplikate erstellen.
Reply With Quote
  #2  
Old 24.11.2020, 14:57
pspzockerscene's Avatar
pspzockerscene pspzockerscene is online now
Community Manager
 
Join Date: Mar 2009
Location: Deutschland
Posts: 55,903
Default

Hallo,
1. Die neuen Dateinamen sind definitiv sinnvoller als die alten.
Mir ist aufgefallen, dass die alten zu Konflikten führen können, aber das passiert wohl sehr selten.
Ich habe für's nächste CORE-Update eine Plugin-Einstellung für die Dateinamen eingebaut:

Ansonsten kannst du jederzeit Paketverwalter-Regeln erstellen, um Dateinamen zu modifizieren.

2. Ich konnte mit/ohne Account keine Unterschiede feststellen - ich kann das von dir verlinkte Profil vollständig crawlen.
Bitte poste ein DEBUG-Log:
Please post your log-ID here | bitte poste deine Log-ID hier.

Für alle in diesem Post erwähnten Änderungen gilt:
Wartest du auf einen angekündigten Bugfix oder ein neues Feature?
Updates werden nicht immer sofort bereitgestellt!
Bitte lies unser Update FAQ! | Please read our Update FAQ!

---
Are you waiting for recently announced changes to get released?
Updates to not necessarily get released immediately!
Bitte lies unser Update FAQ! | Please read our Update FAQ!


-psp-
__________________
JD Supporter, Plugin Dev. & Community Manager

Erste Schritte & Tutorials || JDownloader 2 Setup Download
Spoiler:

A users' JD crashes and the first thing to ask is:
Quote:
Originally Posted by Jiaz View Post
Do you have Nero installed?
That's true James
Quote:
Originally Posted by James
Die Leute verstehen einfach nicht dass nur weil man mit einer Waffe auch auf Menschen schießen kann dass ein Schützenver​ein kein Ort für Amoklaufide​en ist
Reply With Quote
  #3  
Old 24.11.2020, 21:32
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 69,349
Default

Ich konnte auch ohne Account kein Problem feststellen, daher bitte ein Debug Log erstellen
__________________
JD-Dev & Server-Admin
Reply With Quote
  #4  
Old 25.11.2020, 00:52
Shmi Shmi is offline
Baby Loader
 
Join Date: Jan 2020
Posts: 8
Default debug log

Hier das Debug Log für das Problem mit dem Crawler ohne Account Login:
24.11.20 23.41.51 <--> 24.11.20 23.43.04 jdlog://0707425302851/

Quote:
Originally Posted by pspzockerscene View Post
Hallo,
1. Die neuen Dateinamen sind definitiv sinnvoller als die alten.
Mir ist aufgefallen, dass die alten zu Konflikten führen können, aber das passiert wohl sehr selten.
Ich habe für's nächste CORE-Update eine Plugin-Einstellung für die Dateinamen eingebaut:
Freue mich auf das kommende Update. Sinnvoller, mag sein. Ich kann meine bereits zuvor gespeicherten Dateien aber nicht mit den neuen Informationen der Nummerierungen ergänzen. Dann is jegliches Updaten der Folder eine Katastrophe.
Reply With Quote
  #5  
Old 25.11.2020, 13:26
pspzockerscene's Avatar
pspzockerscene pspzockerscene is online now
Community Manager
 
Join Date: Mar 2009
Location: Deutschland
Posts: 55,903
Default

Quote:
Originally Posted by Shmi View Post
Freue mich auf das kommende Update. Sinnvoller, mag sein. Ich kann meine bereits zuvor gespeicherten Dateien aber nicht mit den neuen Informationen der Nummerierungen ergänzen. Dann is jegliches Updaten der Folder eine Katastrophe.
Wie gesagt du kannst jederzeit per Paketverwalter Regeln Dateinamen modifizieren, aber in diesem Fall macht es Sinn, das per Einstellung zu regeln.

Nach dem nächsten Update werden die Dateinamen wieder so wie bisher sein - die neue Einstellungsmöglichkeit ist standardmäßig abgeschaltet, da ich die Testlinks, die mich zu dieser Entscheidung geführt haben nicht mehr habe und sich der Problemfall ggf. auch automatisch erkennen- und behandeln ließe.

Grüße, psp
__________________
JD Supporter, Plugin Dev. & Community Manager

Erste Schritte & Tutorials || JDownloader 2 Setup Download
Spoiler:

A users' JD crashes and the first thing to ask is:
Quote:
Originally Posted by Jiaz View Post
Do you have Nero installed?
That's true James
Quote:
Originally Posted by James
Die Leute verstehen einfach nicht dass nur weil man mit einer Waffe auch auf Menschen schießen kann dass ein Schützenver​ein kein Ort für Amoklaufide​en ist
Reply With Quote
  #6  
Old 25.11.2020, 16:22
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 69,349
Default


@Shmi: Instagram möchte die Leute mehr und mehr zu Accounts erziehen/zwingen und daher klappt die Pagination nicht. Hängt wohl von vielen Faktoren ab, manchmal geht mehr manchmal nicht
__________________
JD-Dev & Server-Admin
Reply With Quote
  #7  
Old 25.11.2020, 16:36
pspzockerscene's Avatar
pspzockerscene pspzockerscene is online now
Community Manager
 
Join Date: Mar 2009
Location: Deutschland
Posts: 55,903
Default

@Shmi
Nachtrag zu Jiaz' Post*
Jiaz meint das "Herunterscrollen" ohne Account.
Das scheint Instagram basierend auf diversen Faktoren zu begrenzen z.B.:
- GEO-location ("Wo kommst du her?")
- VPN Nutzung
- Account, den man sich ansehen möchte

Ich z.B. kann den Link aus deinem Log ohne Probleme ohne Instagram Account vollständig crawlen, aber du nicht - du läufst ohne einen Account direkt in das "Limit".
Wir werden eine Erkennung dafür einbauen und dann zumindest eine (bessere) Fehlermeldung in diesem Fall zeigen.

Grüße, psp
__________________
JD Supporter, Plugin Dev. & Community Manager

Erste Schritte & Tutorials || JDownloader 2 Setup Download
Spoiler:

A users' JD crashes and the first thing to ask is:
Quote:
Originally Posted by Jiaz View Post
Do you have Nero installed?
That's true James
Quote:
Originally Posted by James
Die Leute verstehen einfach nicht dass nur weil man mit einer Waffe auch auf Menschen schießen kann dass ein Schützenver​ein kein Ort für Amoklaufide​en ist
Reply With Quote
  #8  
Old 26.11.2020, 01:43
Shmi Shmi is offline
Baby Loader
 
Join Date: Jan 2020
Posts: 8
Default thank you

Quote:
Originally Posted by pspzockerscene View Post
@Shmi
Nachtrag zu Jiaz' Post*
Jiaz meint das "Herunterscrollen" ohne Account.
Das scheint Instagram basierend auf diversen Faktoren zu begrenzen z.B.:
- GEO-location ("Wo kommst du her?")
- VPN Nutzung
- Account, den man sich ansehen möchte

Ich z.B. kann den Link aus deinem Log ohne Probleme ohne Instagram Account vollständig crawlen, aber du nicht - du läufst ohne einen Account direkt in das "Limit".
Wir werden eine Erkennung dafür einbauen und dann zumindest eine (bessere) Fehlermeldung in diesem Fall zeigen.

Grüße, psp
Hört sich Klasse an mit der Fehlermeldung. Manch einem fällt es möglw. sonst nicht auf, wenn z. B. das Ergebnis des Crawlens sich geringfügig vom Optimum unterscheidet.

Vielen Dank für eure schnelle Hilfe in beiden Punkten. Ich werde mal wieder eine Donation schicken. Ich möchte keine große Rede schwingen und off-topic gehen, aber dieses Projekt (JD) ist awesome.

PS: Vielleicht liegt das "Limitieren" ohne Account Login an meinem Verhalten. Ich habe dauerhaft (24/7) ein Skript am laufen, welches alle 40 Sekunden meine Following-Liste nach Livestreams überprüft und diese speichert. Sollten also 90 Anfragen pro Stunde sein (Eigentlich zulässig?). Auf jeden Fall werde ich aufgrund dessen gezwungen ca. 1x wöchentlich mein Account zu bestätigen und ein neues Passwort zu setzen.
Reply With Quote
  #9  
Old 26.11.2020, 11:35
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 69,349
Default

@Shmi: Ich denke es sind viele Faktoren, zb auf meinem Handy kann ich quasi gar nicht mehr scrollen! Direkt "Bitte einloggen" und nach 1-2 Bilder anklicken auch die gleiche Meldung. Am PC hängt das sehr vom Profil ab, bei dem einen kann ich quasi alles Scrollen/Anschauen, beim anderen nur 1-2 Seiten/Bilder und dann wieder die Meldung. Instagram will hier die Leute einfach zur Nutzung eines Accounts bitten/zwingen (Datenkrake Facebook)

Ich denke das es bei der Bestätigung weniger um die Anzahl der Requests geht sondern darum das Instagram für solche Zwecke bezahlbare APIs anbietet und das Nutzungsverhalten wahrscheinlich irgendwelche Erkennung triggert.
__________________
JD-Dev & Server-Admin

Last edited by Jiaz; 26.11.2020 at 11:37.
Reply With Quote
  #10  
Old 26.11.2020, 16:12
pspzockerscene's Avatar
pspzockerscene pspzockerscene is online now
Community Manager
 
Join Date: Mar 2009
Location: Deutschland
Posts: 55,903
Default

Ich habe es eben nochmal mit einem US VPN getestet:
Mit diesem konnte ich ohne mich einzuloggen gar nichts sehen
Errorhandling ist drinnen:
Falls der Crawler beim Crawlen eines User-Profiles mittendrin abbrechen sollte wird ein "Dummy Eintrag" im Linkgrabber erscheinen:


Wartest du auf einen angekündigten Bugfix oder ein neues Feature?
Updates werden nicht immer sofort bereitgestellt!
Bitte lies unser Update FAQ! | Please read our Update FAQ!

---
Are you waiting for recently announced changes to get released?
Updates to not necessarily get released immediately!
Bitte lies unser Update FAQ! | Please read our Update FAQ!


-psp-
__________________
JD Supporter, Plugin Dev. & Community Manager

Erste Schritte & Tutorials || JDownloader 2 Setup Download
Spoiler:

A users' JD crashes and the first thing to ask is:
Quote:
Originally Posted by Jiaz View Post
Do you have Nero installed?
That's true James
Quote:
Originally Posted by James
Die Leute verstehen einfach nicht dass nur weil man mit einer Waffe auch auf Menschen schießen kann dass ein Schützenver​ein kein Ort für Amoklaufide​en ist
Reply With Quote
  #11  
Old 26.11.2020, 17:23
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 69,349
Default

Als Hinweis, man kann dann Account eintragen und Rechtsklick auf diesen Link und den Vorgang neustarten für diesen Link
__________________
JD-Dev & Server-Admin
Reply With Quote
  #12  
Old 29.11.2020, 16:09
Shmi Shmi is offline
Baby Loader
 
Join Date: Jan 2020
Posts: 8
Default

Quote:
Originally Posted by Jiaz View Post
...

Ich denke das es bei der Bestätigung weniger um die Anzahl der Requests geht sondern darum das Instagram für solche Zwecke bezahlbare APIs anbietet und das Nutzungsverhalten wahrscheinlich irgendwelche Erkennung triggert.
Ja, stimmt wahrscheinlich. Die Aktivitäten werden als verdächtig/phishing erkannt. Bei zu vielen Requests kriegt man eher temp bans etc.

__

Errorhandling funktioniert super und gut dass man jetzt die autom. Nummerierung abschalten kann bzw. bereits standardmäßig aus ist.

Vielen Dank nochmal.
Reply With Quote
  #13  
Old 30.11.2020, 10:39
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 69,349
Default

Danke für die Rückmeldung! Ja, ich hab mit pspzocker über das Handling besprochen und daher erstmal default aus. Wollen das so machen, das nur jene Fälle entsprechend gehandhabt werden, wo es nötig/sinnvoll ist.
__________________
JD-Dev & Server-Admin
Reply With Quote
  #14  
Old 30.11.2020, 15:32
pspzockerscene's Avatar
pspzockerscene pspzockerscene is online now
Community Manager
 
Join Date: Mar 2009
Location: Deutschland
Posts: 55,903
Default

Quote:
Originally Posted by Jiaz View Post
Wollen das so machen, das nur jene Fälle entsprechend gehandhabt werden, wo es nötig/sinnvoll ist.
Nachtrag dazu:
Ich konnte bisher keinen solchen Fall mehr finden.

Die Option mit der Nummerierung lasse ich trotzdem drin - sie ist auch praktisch, wenn man z.B. die Reihenfolge mehrerer in einer Galerie befindlichen Bildern in den Dateinamen haben will.
Die "default" Dateinamen geben das nicht her.

Grüße, psp
__________________
JD Supporter, Plugin Dev. & Community Manager

Erste Schritte & Tutorials || JDownloader 2 Setup Download
Spoiler:

A users' JD crashes and the first thing to ask is:
Quote:
Originally Posted by Jiaz View Post
Do you have Nero installed?
That's true James
Quote:
Originally Posted by James
Die Leute verstehen einfach nicht dass nur weil man mit einer Waffe auch auf Menschen schießen kann dass ein Schützenver​ein kein Ort für Amoklaufide​en ist
Reply With Quote
Reply

Thread Tools
Display Modes

Posting Rules
You may not post new threads
You may not post replies
You may not post attachments
You may not edit your posts

BB code is On
Smilies are On
[IMG] code is On
HTML code is Off

Forum Jump

All times are GMT +2. The time now is 17:51.
Provided By AppWork GmbH | Privacy | Imprint
Parts of the Design are used from Kirsch designed by Andrew & Austin
Powered by vBulletin® Version 3.8.10 Beta 1
Copyright ©2000 - 2021, Jelsoft Enterprises Ltd.