JDownloader Community - Appwork GmbH
 

Notices

Reply
 
Thread Tools Display Modes
  #1  
Old 10.01.2017, 22:49
japani
Guest
 
Posts: n/a
Default DeviantArt.com unknownFileName im Linksammler

Hallo zusammen,

DeviantArt hat heute allgemein auf dynamische Website umgestellt und nun gibt es Probleme mit dem Sammeln.

Journal wurde noch nicht auf dynamische Webseite umgestellt und Funktioniert incl. Offset!!!!:
Featured
**External links are only visible to Support Staff****External links are only visible to Support Staff** sammelt 198 Journale
**External links are only visible to Support Staff****External links are only visible to Support Staff** und folgende sammelt jeweils 20 Journale
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**
All
**External links are only visible to Support Staff****External links are only visible to Support Staff** sammelt 198 Journale
**External links are only visible to Support Staff****External links are only visible to Support Staff** und folgende sammelt jeweils 20 Journale
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**

Einzelne Links werden auch noch gesammelt (hier Beispiele aus den einzelnen Bereichen):
Gallery:
**External links are only visible to Support Staff****External links are only visible to Support Staff**
Scraps:
**External links are only visible to Support Staff****External links are only visible to Support Staff**
Journal:
**External links are only visible to Support Staff****External links are only visible to Support Staff**
Favourites:
**External links are only visible to Support Staff****External links are only visible to Support Staff**


Probleme gibt es beim Sammeln der vollständigen Bereiche (hier gibt es kein Offset mehr):
Gallery:
Featured
**External links are only visible to Support Staff****External links are only visible to Support Staff**
All
**External links are only visible to Support Staff****External links are only visible to Support Staff**
Gallery "Picsets and Comics"
**External links are only visible to Support Staff****External links are only visible to Support Staff**
Scraps:
**External links are only visible to Support Staff****External links are only visible to Support Staff**
Favourites:
Featured
**External links are only visible to Support Staff****External links are only visible to Support Staff**
All
**External links are only visible to Support Staff****External links are only visible to Support Staff**
Featured
**External links are only visible to Support Staff****External links are only visible to Support Staff**
Favourites "Gifts commissions collabs and trades"
**External links are only visible to Support Staff****External links are only visible to Support Staff**

Hier wird im Linksammler jeweils "unknownFileName" gemeldet.
Ausser für "Picsets and Comics" und "Gifts commissions collabs and trades" wird im Linksammler Picsets.and.Comics bzw. Gifts.commissions.collabs.and.trades angezeigt aber nichts gesammelt.

Bei Journal habe ich die Möglichkeit mit Offset nur eine bestimmte Anzahl zu sammeln.
Bei Gallery, Scraps und Favourites wird es vermutlich nur noch möglich sein alles zu Sammeln?
Hoffentlich lässt sich überhaupt noch etwas Sammeln!!!!

Vielen Dank für die Bemühungen!

Gruß
japani


:dots:PS:
Hier noch etwas zu einer möglichen Lösungsfindung?????
Für Künstler mit deaktivierten Account nutze ich folgende Such:
**External links are only visible to Support Staff****External links are only visible to Support Staff**
Um die Links zu Sammeln verwende ich das folgende Add-On
**External links are only visible to Support Staff****External links are only visible to Support Staff** Version 1.0.3.1
Mit diesen Einstellungen
Manage targeting rules
All URLs
Enabled Rule type Bound to Targeting type Targeting value
x Inclusion **External links are only visible to Support Staff****External links are only visible to Support Staff** URL pattern **External links are only visible to Support Staff****External links are only visible to Support Staff**
x Inclusion **External links are only visible to Support Staff****External links are only visible to Support Staff** URL pattern **External links are only visible to Support Staff****External links are only visible to Support Staff**

Nach Betätigen der Shift Taste kann ich in den Suchergebnissen einen bestimmten Bereich aufziehen und entsprechend Links sammeln.
Es können aber nciht alle möglichen Links auf einmal gesammelt werden sondern nur eine gewisse Anzahl!

japani
Reply With Quote
  #2  
Old 11.01.2017, 16:51
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 79,344
Default

__________________
JD-Dev & Server-Admin
Reply With Quote
  #3  
Old 11.01.2017, 18:46
japani
Guest
 
Posts: n/a
Default

Hallo Jiaz, hallo pspzockerscene,

da anscheint kein "Offset" bei Gallery, Scraps und Favourites mehr funktioniert, mit dem ich die Möglichkeit hatte nur 24 Links zu sammeln, habe ich noch eine Frage:
Bei folgenden URLs ist es möglich mehr als 130000 Links zu sammeln:
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**
In der Hoffnung, dass hier die Links in der Reihenfolge ihres Hinzufügens angezeigt werden, wäre meine Frage ob es möglich wäre, das wenn ich die URL in den Linksammler kopiere, ein Fenster escheint mit der Frage wieviele Links gesammelt werden sollen.
Standardmässig würde ich alle Links sammeln, aber zum Beispiel bei den Favourites würde ich nur die neuesten sammeln wollen.
Es wäre schön, wenn ich eine beliebige Anzahl eingeben könnte also zum Beispiel 750 für die ersten 750 Links.
Charmant wäre noch, wenn man auch 250-750 eingeben könnte für 500 Links ab dem 251ten Link. (Das wäre aber das absolute Goddy;-)
Eingaben wie "-250" oder "250-150" sollten eine Meldung "falsche Angaben" bewirken;-)
Meine Idee zu dieser Frage ist, dass ich es für unnötigs Sammeln von allen Links erachte, wenn ich eine Sammlung nur aktualisieren möchte!

Noch einmal DANKE für eure Bemühunge!

Gruß
japani

Last edited by japani; 11.01.2017 at 18:48.
Reply With Quote
  #4  
Old 11.01.2017, 19:27
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 79,344
Default

Einfach auf ne Antwort/Reaktion von Pspzocker warten
__________________
JD-Dev & Server-Admin
Reply With Quote
  #5  
Old 20.01.2017, 18:09
pspzockerscene's Avatar
pspzockerscene pspzockerscene is online now
Community Manager
 
Join Date: Mar 2009
Location: Deutschland
Posts: 71,144
Default

Hi mal wieder, japani

Zum ersten Post:
Fixed!

Zum offset:
Du siehst zwar kein offset mehr im Link, aber natürlich gibt es noch eins.
Mit "offset=875" z.B. kannst du dem Plugin aktuell noch immer sagen, bis wohin (also von 0 bis wohin) es grabben soll.
Ich könnte noch einen "startoffset" Parameter einbauen, dann könntest du darüber Bereiche bestimmen.
Dazu bitte Feedback ...

Ansonsten zur angesprochenen Suchfunktion:
Wir unterstützen keine Suchfunktions-Crawler - das würde JD zu einem "Site RIP" Tool machen und das wollen wir nicht - man kann mit den aktuellen Plugins schon viel zu viele Seitenzugriffe verursachen.
---
[Please read]=>How/when do I get updates?
Read it carefully BEFORE complaining that something would still be not working!
Update cycles depend on your installed JD version!!

---
[Bitte lesen]=>Wie/wann bekomme ich Updates?
Bitte vollständig lesen bevor ihr euch beschwert, dass etwas immernoch nicht funktionieren würde!
Die Updatezyklen variieren je nach installierter JD Version!!


GreeZ pspzockerscene
__________________
JD Supporter, Plugin Dev. & Community Manager

Erste Schritte & Tutorials || JDownloader 2 Setup Download
Spoiler:

A users' JD crashes and the first thing to ask is:
Quote:
Originally Posted by Jiaz View Post
Do you have Nero installed?
Reply With Quote
  #6  
Old 22.01.2017, 23:18
japani
Guest
 
Posts: n/a
Default

Hallo psp,

bitte entschuldige aber ich habe noch nicht alles bis ins Detail getestet!

Danke für den Tipp, das das Offset noch existiert.
Dies ermöglicht mir mit wenigen Handgriffen und einer Excel-Liste, einen Überblick über die Anzahl der zu erwartenden Links zu erhalten!!!
Vor der "Dynamik" wurde bei offset=240 die Links auf dieser Seite, also von 241 bis 264 gesammelt. Wenn das auch mit der "Dynamik" noch so funktioniert wäre ich mehr als zu frieden.
"Ich könnte noch einen "startoffset" Parameter einbauen, dann könntest du darüber Bereiche bestimmen."
Wenn des wie oben erwähnt funktioniert ist ein "Startoffset" nicht notwendig!

Nun wieder zu den Tests:
Bis jetzt ist mir nur ein Problem aufgefallen:
Wenn ich versuche die Favourites ALL zu sammeln mit
**External links are only visible to Support Staff****External links are only visible to Support Staff**
werden nur 2536 Links anstelle der erwarteten 135537 Links gesammelt.
Siehe:
**External links are only visible to Support Staff****External links are only visible to Support Staff**

Dabei werden die ersten 24 Links der Favourites gesammelt und dann wird auf Gallery umgeschaltet.
Die Gallery unfasst insgesamt 2536 Links:
**External links are only visible to Support Staff****External links are only visible to Support Staff**

Rufe ich unter Favourites ALL
**External links are only visible to Support Staff****External links are only visible to Support Staff**
auf werden auch wieder 2536 Links gesammelt in diesem Fall vermutlich die komplette Gallery und keine Favourites!
Rufe ich
**External links are only visible to Support Staff****External links are only visible to Support Staff**
auf werden 2512 Links gesammelt?????
Hier sollten nach der alten Methode die 24 auf dieser "Seite" gesammelt werden.
Rufe ich
**External links are only visible to Support Staff****External links are only visible to Support Staff**
auf, werden wie erwartet 24 Favourites gesammelt, es gibt aber eine Fehlermeldung unknownFileName!


Bei Favourites FEATURED werden nur 24 Links gesammelt
**External links are only visible to Support Staff****External links are only visible to Support Staff**
anstelle der 31370 möglichen
**External links are only visible to Support Staff****External links are only visible to Support Staff**

Die folgenden Punkte zu Favourites FEATURED sollten meiner Meinung nach wie vor der Umstellung auf Dynamik funktionieren
Rufe ich unter Favourites FEATURED nur
**External links are only visible to Support Staff****External links are only visible to Support Staff**
auf werden die letzten 10 Links gesammelt.
Rufe ich unter Favourites FEATURED
**External links are only visible to Support Staff****External links are only visible to Support Staff**
auf werden 23 Links gesammelt (wie angezeigt).
Rufe ich unter Favourites FEATURED
**External links are only visible to Support Staff****External links are only visible to Support Staff**
auf werden 23 Links gesammelt (wie angezeigt).

Noch etwas wegen der Suchfunktion:
Ich habe dies Suchfunktion nur erwähnt, weil ich hier das genannte Add-On verwende um die Links zu sammeln.
Ich habe schon früher wegen solcher Suchfunktionen gefragt und auch Deine berechtigten Hinweis erhalten!
Wenn ich ehrlich bin hätte ich mich gefreut wenn es jetzt mit der Dynamik einfach funktioniert hätte;-)
Aber wie gesagt verstehe ich Deinen Hinweis.
Mich würde aber doch interessieren, ob bei dem genannten Add-On eine änliche Technik zur Anwendung kommt, wie die, die Du zum Sammeln verwendest!

DANKE!

Wieder Mal viel Geschreibsel=(

Gruß
japani
Reply With Quote
  #7  
Old 23.01.2017, 16:03
pspzockerscene's Avatar
pspzockerscene pspzockerscene is online now
Community Manager
 
Join Date: Mar 2009
Location: Deutschland
Posts: 71,144
Default

Ich habe eine Weile versucht, herauszufinden, warum ich per Ajax nicht weiter komme als Offset 2520, aber konnte es nicht herausfinden - per Browser funktionierte es jedenfalls.
Ich habe das Plugin vorerst so geändert, dass es den Offset Parameter wieder per GET verwendet - das scheint zu funktionieren.

Zum offset Parameter, den du im Link angeben kannst:
Ich vermute du denkst, das Plugin würde dann nur ab diesem offset zum nächsten crawlen.
Das stimmt nicht.
Es crawlt ab diesem Offset bis zum Ende.
---
[Please read]=>How/when do I get updates?
Read it carefully BEFORE complaining that something would still be not working!
Update cycles depend on your installed JD version!!

---
[Bitte lesen]=>Wie/wann bekomme ich Updates?
Bitte vollständig lesen bevor ihr euch beschwert, dass etwas immernoch nicht funktionieren würde!
Die Updatezyklen variieren je nach installierter JD Version!!


GreeZ pspzockerscene
__________________
JD Supporter, Plugin Dev. & Community Manager

Erste Schritte & Tutorials || JDownloader 2 Setup Download
Spoiler:

A users' JD crashes and the first thing to ask is:
Quote:
Originally Posted by Jiaz View Post
Do you have Nero installed?
Reply With Quote
  #8  
Old 23.01.2017, 20:35
japani
Guest
 
Posts: n/a
Default

JDownloader 2 Stand:
Kern 35899
Launcher 3650
AppWork Utilities 2829
Browser 35826
Updater 515

Hallo psp,

wenn heute JDownloader entsprechend aktualisiert wurde, habe ich noch das gleiche Problem:
**External links are only visible to Support Staff****External links are only visible to Support Staff**
Hier werden "NUR" 2536 Links gesammelt.
Meiner Meinung nach ist die Ursache, dass bei Favourites nur
**External links are only visible to Support Staff****External links are only visible to Support Staff**
gesammelt wird und dann in Gallery gesprungen wird und ab
**External links are only visible to Support Staff****External links are only visible to Support Staff**
bis zum Ende Gesammelt wird.
Dafür würde die Anzahl von 24 Links aus Favourites und 2512 Links aus Gallery sprechen!
Folgende Beispiel Links aus Favourites wurden gesammelt:
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**
Ab diesem Link wurde nichts mehr gesammelt:
**External links are only visible to Support Staff****External links are only visible to Support Staff**

Folgende Beispiel Links aus Gallery wurden nicht gesammelt:
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**
Ab diesem Link wurde gesammelt:
**External links are only visible to Support Staff****External links are only visible to Support Staff**

**External links are only visible to Support Staff****External links are only visible to Support Staff**
sammelt wie erwartet 2536 Links aus Gallery!

Noch mal zum Offset:
Als das Offset noch im Link zusehen war, wurde pro Offset/Seite jeweils 24 Links angezeigt und auch entsprechend nur 24 Links gesammelt.
Gesammelt wurde wie folgt:
offset=0 Link 1 bis 24
offset=24 Link 25 bis 48
offset=48 Link 49 bis 72
usw.!
Vermutlich würde es sich jetzt auch ohne "SICHTBARES" Offset noch genauso verhalten!
ODER???
Wenn das der Fall wäre, wäre ich rund um zu frieden!!!!!!

DANKE für die erneute Geduld!

Gruß
japani
Reply With Quote
  #9  
Old 23.01.2017, 20:49
pspzockerscene's Avatar
pspzockerscene pspzockerscene is online now
Community Manager
 
Join Date: Mar 2009
Location: Deutschland
Posts: 71,144
Default

Zu den Problemen:
Dafür habe ich heute keine Zeit mehr - schaue mir das morgen an.
Hab das Ticket erneut geöffnet.

Zum Offset:
Du könntest rect haben - ich weiß es nicht.
... jedenfalls falls das so war war es nicht so gedacht.

Die Angabe des Offsets im Link sollte nur bewirken, dass ab da angefangen wird.
Das war vor allem praktisch wenn es aus irgendwelchen Gründen einen Abbruch im Crawlprozess gab und du ab Offset XY "weiter" Crawlen lassen wolltest.

Grüße, pspzockerscene
__________________
JD Supporter, Plugin Dev. & Community Manager

Erste Schritte & Tutorials || JDownloader 2 Setup Download
Spoiler:

A users' JD crashes and the first thing to ask is:
Quote:
Originally Posted by Jiaz View Post
Do you have Nero installed?
Reply With Quote
  #10  
Old 23.01.2017, 21:42
japani
Guest
 
Posts: n/a
Default

Hallo psp,

kein Problem, dass Du heute keine Zeit mehr hast!
Ich bin froh, dass Du dich dieses Problems angenommen hast=)

Diese Form des Offsets habe ich genutz, um die Favoriten eines Künstlers zu aktualisieren!
Ich habe mir in einer Excel-Tabelle eine Formel zusammen gestellt, die an Hand der Anzahl der neu zu erwartenden Favourites, plus einem Zuschlag, eine Liste wie folgt erstellt hat:
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**
Somit konnte ich zum Beispiel die aktuellsten 72 Links sammeln.

Wenn das jetzt weiter so funktionieren würde, müsste ich meine Excel-Funktion nicht ändern;-)

Aber mir wäre es am Wichtigsten, dass ich nach Möglichkeit in irgend einer Form eine beliebige Anzahl der aktuellen Links sammeln kann!

Ich habe noch einen alten Thread-Eintrag gefunden, mit einem Hinweis darauf, dass bei Verwendung eines Offset, nur die Links auf der dann dargestellten Seite, gesammelt wurden!
https://board.jdownloader.org/showpo...6&postcount=45

Gruß
japani

Last edited by japani; 24.01.2017 at 21:42.
Reply With Quote
  #11  
Old 24.01.2017, 21:44
japani
Guest
 
Posts: n/a
Default

JDownloader 2 Stand:
Kern 35917
Launcher 3650
AppWork Utilities 2829
Browser 35826
Updater 515

Hallo psp,

heute schon eine Kurzfassung:
Ich habe nicht auf den Bugtracker und seinen 60% geachtet=(
Also folgt keine offizielle Aussage;-)

Nach 4 Stunden und 8 Minuten wurden mit
**External links are only visible to Support Staff****External links are only visible to Support Staff**
schon 117623 Links gesammelt (die Zeit ist ein Grund weshalb ich mich freuen würde wenn bei Offset wie gehabt gesammelt würde)
Alles andere hoffe ich Morgen berichten zu können!

Insgesamt wurden 130403 Links gesammelt!
Laut
**External links are only visible to Support Staff****External links are only visible to Support Staff**
wären insgesamt 135440 Links zu sammeln!
Aber hier gab es schon immer Abweichungen da zumindest früher schon auf Offset Seiten nicht alle zu erwartenen 24 Links angezeigt wurden!
Ich habe nicht mehr überprüft ob bis zum Link
**External links are only visible to Support Staff****External links are only visible to Support Staff**
Gesammelt wurde=(

Gruß
japani

Last edited by japani; 25.01.2017 at 05:54.
Reply With Quote
  #12  
Old 25.01.2017, 13:54
pspzockerscene's Avatar
pspzockerscene pspzockerscene is online now
Community Manager
 
Join Date: Mar 2009
Location: Deutschland
Posts: 71,144
Default

@japani

1. Ich habe folgenden Link mal bis 3000 Links durchlaufen lassen und dann nicht weiter probiert, scheint also alles zu funktionieren:
Code:
**External links are only visible to Support Staff**
Ich hoffe du kannst verstehen, dass ich nicht alle Links bis zum Ende durchtesten kann.
Einfach melden, wenn du irgendein Problem findest, das man gut nachstellen kann.

2. Zum Offset:
Ich habe eine Plugin Einstellung dafür eingebaut mit der du das vorherige Verhalten wiederherstellen kannst.
Wie du anhand sieses Satzes lesen kannst hattest du recht - das Verhalten zuvor war exakt wie von dir beschrieben, jedoch nicht von mir beabsichtigt.

3. Zum Crawlen sehr vieler Links und fehlender Links:
Tut mir leid, dass ich nicht mit Tests so großer Massen an Links dienen kann - das überlasse ich dann dir
Wie du bereits sagst ist es mit Deviantart sehr verwirrend, da es unter anderem dazu kommen kann, dass ganze Offsets keinen einzigen Link beinhalten (wegen fehlenden Berechtigungen??!) bzw. eben nicht jedes 24- oder mehr Elemente enthält.

In jedem Fall wären Logs bei vermeintlich frühzeitigen Crawler-Abbrüchen hilfreich
---
[Please read]=>How/when do I get updates?
Read it carefully BEFORE complaining that something would still be not working!
Update cycles depend on your installed JD version!!

---
[Bitte lesen]=>Wie/wann bekomme ich Updates?
Bitte vollständig lesen bevor ihr euch beschwert, dass etwas immernoch nicht funktionieren würde!
Die Updatezyklen variieren je nach installierter JD Version!!


GreeZ pspzockerscene
__________________
JD Supporter, Plugin Dev. & Community Manager

Erste Schritte & Tutorials || JDownloader 2 Setup Download
Spoiler:

A users' JD crashes and the first thing to ask is:
Quote:
Originally Posted by Jiaz View Post
Do you have Nero installed?
Reply With Quote
  #13  
Old 25.01.2017, 23:26
japani
Guest
 
Posts: n/a
Default

JDownloader2 Stand:
Kern 35917
Launcher 3650
AppWork Utilities 2829
Browser 35826
Updater 515

Hallo psp,

ich muss feststellen, das ich mit WISCHEN & TATSCHEN nicht wirklich etwas anfangen kann=(
Ich bin ein Mann der Maus!
Ich fand es schon ärgerlich, dass DeviantArt sich genötigt sah, den First- und Last-Button zu entfernen!
Der Last-Button hat mir es ermöglicht, mit wenigen Klicks festzustellen, wie viele Links gesammelt werden können!
Ich habe DeviantArt schon seit einiger Zeit nicht mehr wirklich verstanden, von wegen Händelbarkeit usw.=(
Aber genug geklagt;-)

Heute leider keine Antworten sondern nur Fragen;-)

Ich kann Dich aber auch verstehen, dass Du nicht mit der gesamten möglichen Link-Anzahl testen möchtest!
Vor allem, wenn dann das Crawlen über VIER Stunden dauert!

Wenn ich Dich richtig verstanden habe, funktioniert das NEUE Offset-Verhalten jetzt so, dass wenn das Crawlen vermutlich vorzeitig abgebrochen wurde, ich ein Offset angebe, ab dem das Crawlen wieder aufsetzt um dann bis zum Ende zu sammeln?
Also für mein konkretes Beispiel würde das folgendes bedeuten:
Erwartet habe ich, dass bei folgender URL insgesamt 135443 Links gesammelt werden können.
**External links are only visible to Support Staff****External links are only visible to Support Staff**
Siehe letztes Offset:
**External links are only visible to Support Staff****External links are only visible to Support Staff**
Gesammelt wurden aber NUR;-) 130403 Links.
Also ist das Crawlen unter Umständen vorzeitig abgebrochen.
Um noch die fehlenden 5040 Links zu sammeln, würde ich folgendes Offset angeben:
**External links are only visible to Support Staff****External links are only visible to Support Staff**
Habe ich das so richtig verstanden?
Dieses Verhalten hat mit Sicherheit seine Berechtigung=)
(Übrigens wurden mit offset=135432 noch 4818 Links gesammelt (Alle als schon vorhanden gekennzeichnet, was nicht unbedingt etwas zu sagen hat;-)! Und zumindest der letzte Link aus dieser Liste war schon bei den 130403 dabei;-)

Wenn ich das weiter richtig sehe, habe ich jetzt mit dem NEUEN Offset-Verhalten keine Möglichkeit mehr nur eine bestimmte Anzahl der aktuellsten Links zu sammeln?
Ich gehe davon aus, das DeviantArt zumindest so intelligent ist, das die zu Letzt hinzugefügten Links an erster Stelle stehen also nach unten vom Hinzufügedatum her immer älter werden;-)

Wenn ich einmal ALLE Links gesammelt habe, finde ich es interessant, wenn ich sagen kann, von wo bis wo gesammelt würde also nur noch die Neuen.
Wie gesagt hatte ich für das ALTE Offset-Verfahren eine Funktion, die mir bei erwarteten 50 neuen Links folgende Liste erstellt hat:
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**
So wurden also mit einem gewissen Zuschlag 96 von den aktuellsten Links gesammelt.

Da ich mich mit dem neuen Verfahren anfreunden kann, würde ich mir aber wünschen, um nicht immer zwischen Neuem und Alten Verfahren wechseln zu müssen, dass ich sagen kann ab wo gesammelt wird!
Zum Beispiel mit:
**External links are only visible to Support Staff****External links are only visible to Support Staff**
Ab 96 bis zum Ende!
**External links are only visible to Support Staff****External links are only visible to Support Staff**
Von o bis 96!

Wie gesagt wäre das nur eine Idee / ein Wunsch meinerseits;-)

Weitere Antworten, sprich Ergebnisse meiner Tests, hoffe ich morgen liefern zu können=)

Gruß
japani

Last edited by japani; 25.01.2017 at 23:31.
Reply With Quote
  #14  
Old 26.01.2017, 13:10
pspzockerscene's Avatar
pspzockerscene pspzockerscene is online now
Community Manager
 
Join Date: Mar 2009
Location: Deutschland
Posts: 71,144
Default

1. Zum Abbruch nach ~ 130 000:
Das lag eventuell daran, dass die Liste OutOfMemory lief.
Ohne einen Log (!) kann ich das nicht sagen.
Jedenfalls kann ich Problemlos ab diesem Offset crawlen, sehe keinen Abbgruchgrund.
Was zu Abbrüchen führen kann:
-20 Seiten ohne Items hintereinander (kannst du gerne prüfen, schätze die Wahrscheinlichkeit, dass das passiert allerdings als sehr gering ein)
-Verbindungsabbrüche deinerseits
-Serverprobleme bei deviantart

2. Zum Offset Verhalten:
Ich zitiere mich eben selbst aus dem letzten Post:
Quote:
Originally Posted by pspzockerscene View Post
2. Zum Offset:
Ich habe eine Plugin Einstellung dafür eingebaut mit der du das vorherige Verhalten wiederherstellen kannst.
Wie du anhand sieses Satzes lesen kannst hattest du recht - das Verhalten zuvor war exakt wie von dir beschrieben, jedoch nicht von mir beabsichtigt.
Du hast da was falsch verstanden, es gab kein "hin und her"
Also nochmal:
Du fügst einen Link mit gegebenem Offset Parameter ein, dann gibt es 2 Möglichkeiten:

1. Mit Standardeinstellungen:
Gecrawlt wird AB diesem Offset BIS zum Ende.

2. Mit aktivierter Plugin Einstellung, die ich im letzten Update für dich eingebaut habe:
Gecrawlt wird AB diesem Offset BIS zum nächsten (also NUR die Elemente, die unter deinem angegebenen Offset zu finden sind).
Screenshot der Plugin Einstellung:

Um deine Frage zu beantworten - ja, dann kannst du deine Excel Links einfügen

Grüße, pspzockerscene
__________________
JD Supporter, Plugin Dev. & Community Manager

Erste Schritte & Tutorials || JDownloader 2 Setup Download
Spoiler:

A users' JD crashes and the first thing to ask is:
Quote:
Originally Posted by Jiaz View Post
Do you have Nero installed?
Reply With Quote
  #15  
Old 26.01.2017, 13:56
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 79,344
Default

Bei sovielen Links sollte man JDownloader entsprechend mehr Speicher geben. Am besten mal nen Screenshot vom About Dialog zeigen, dann kann man schnell abschätzen ob das eine mögliche Ursachenquelle was/ist
__________________
JD-Dev & Server-Admin
Reply With Quote
  #16  
Old 30.01.2017, 23:48
japani
Guest
 
Posts: n/a
Default

JDownloader2 Stand:
Kern 35943
Launcher 3650
AppWork Utilities 2829
Browser 35826
Updater 515

Hallo psp,

ich habe zweimal den JDownloader installiert:
Mit folgenden Plugin-Einstellungen:
JD2(A) JD2_HTML(B)
Schnelle Linkprüfung aktivieren? (A) (B)
Schnelle Linkprüfung für ALLE Links aktivieren? (A) (B)
HTML Code statt den eigentlichen Inhalt laden? (B)
Bei gegebenem 'offset=XX' im Link nur diesen Crawlen! (B)

Bei meinen Tests habe ich festgestellt, dass einzelne Journale NICHT gesammelt werden. Dazu unten mehr!

Folgende Tests habe ich durchgeführt:
**External links are only visible to Support Staff****External links are only visible to Support Staff**
Ergebnis wie erwartet: A/B je 2546 Links im Ordner "osvaldogreco - Gallery"

**External links are only visible to Support Staff****External links are only visible to Support Staff**
Ergebnis wie erwartet: A 26 Links / B 24 Links im Ordner "osvaldogreco - Gallery"

**External links are only visible to Support Staff****External links are only visible to Support Staff**
Ergebnis wie erwartet: A 2546 Links / B 24 Links im Ordner "osvaldogreco - Gallery"

**External links are only visible to Support Staff****External links are only visible to Support Staff**
Ergebnis wie erwartet: A/B je 154 Links im Ordner "osvaldogreco - Gallery - Family Ties"


**External links are only visible to Support Staff****External links are only visible to Support Staff**
Ergebnis wie erwartet: A/B je 5 Links im Ordner "osvaldogreco - Scraps"


**External links are only visible to Support Staff****External links are only visible to Support Staff**
Ergebnis wie erwartet: A/B je 199 Links im Ordner "osvaldogreco - Journal"

**External links are only visible to Support Staff****External links are only visible to Support Staff**
Ergebnis wie erwartet: A 20(?) Links / B 20 Links im Ordner "osvaldogreco - Journal"

**External links are only visible to Support Staff****External links are only visible to Support Staff**
Ergebnis wie erwartet: A 20(?) Links / B 20 Links im Ordner "osvaldogreco - Journal"


**External links are only visible to Support Staff****External links are only visible to Support Staff**
Ergebnis wie erwartet: A 36 Links / B 24 Links im Ordner "osvaldogreco - Favourites"

**External links are only visible to Support Staff****External links are only visible to Support Staff**
Ergebnis: A 44361 Links im Ordner "osvaldogreco - Favourites" davon 1 Offline-Dateien (jdlog://8487179150841/)
Ergebnis: B 44409 Links im Ordner "osvaldogreco - Favourites" davon 1 Offline-Dateien (jdlog://5587179150841/)

Soweit scheint alles in Ordnung=)

PROBLEME GIBT ES BEI EINZELNEN JOURNALEN:
Diese werden nicht gesammelt!
Beispiele:
**External links are only visible to Support Staff****External links are only visible to Support Staff**
enthält NUR das folgende Journal:
**External links are only visible to Support Staff****External links are only visible to Support Staff**
Das folgende Journal wurde beim Test
**External links are only visible to Support Staff****External links are only visible to Support Staff**
gesammelt aber einzeln nicht.
**External links are only visible to Support Staff****External links are only visible to Support Staff**
Könnte es noch einen Zusammenhang mit folgenden Thread geben?
https://board.jdownloader.org/showthread.php?t=59520

Folgende einzelne Links wurden gesammelt:
Aus Gallery:
**External links are only visible to Support Staff****External links are only visible to Support Staff**
Aus Scraps:
**External links are only visible to Support Staff****External links are only visible to Support Staff**
Aus Favorites:
**External links are only visible to Support Staff****External links are only visible to Support Staff**


Zu Punkt 1:
Siehe meine Tests zu Favourites, da sind die Nummern für die Logs angezeigt.

Zu Punkt 2:
Ich war schon der Meinung verstanden zu haben, dass es kein Hin und Her gibt.
Ich habe mir schon gedacht, das ich für die unterschiedlichen Crawl-Verfahren die Plugin-Einstellungen ändern muss=)

Wenn ich alles richtig verstanden habe, kommt für meine Sammelweise nur das alte Crawl-Verfahren in Frage!
Da ich hier Dank meiner Excel-Liste die Möglichkeit habe eine bestimmte Anzahl von NEUEREN Links zu sammeln.
Mit folgender Liste also 96:
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**
Eine solche Liste kommt auf Grund der Annahme zu Stande, das die aktuellsten Links ganz am Anfang stehen und ich dann nicht immer mehr als 135000 Links sammeln muss um die Favourites dieses Künstlers zu aktualisieren!


@Jiaz:
Ich habe noch einen Screen-Shot beigefügt;-)
Vielleicht hilft der??

DANKE FÜR DIE HILFE UND GEDULD!

Gruß
japani
Attached Thumbnails
Über_JDownloader_20170130_01.jpg  

Last edited by japani; 31.01.2017 at 21:31.
Reply With Quote
  #17  
Old 31.01.2017, 13:17
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 79,344
Default

Alle Links sind broken (da war der Filter wohl zu aggressiv).
Am besten die Links via PN an pspzocker schicken, da sie jetzt im Thread nicht verfügbar sind.

Bzgl dem Screenshot, ist der vom Anfang oder nach dem ganzen Crawlen?
__________________
JD-Dev & Server-Admin
Reply With Quote
  #18  
Old 31.01.2017, 18:02
japani
Guest
 
Posts: n/a
Default

Hallo Jiaz,

ich habe meinen letzten Eintrag noch einmal editiert, in der Hoffnung, das die Links jetz lesbar sind.
Hier hat wieder folgendes Problem zu geschlagen:
https://board.jdownloader.org/showthread.php?t=60182


Den Screenshot habe ich vor dem Crawlen gemacht!
Also nach Möglichkeit einen Screenshot nach dem Crawlen mit Abbruch liefern?

Gruß
japani

Last edited by japani; 31.01.2017 at 21:32.
Reply With Quote
  #19  
Old 31.01.2017, 18:17
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 79,344
Default

JA bitte einen Screenshot liefern sobald der Crawler faxen macht/abbricht. Dann kann ich den Speicherverbrauch zu dem Zeitpunkt sehen
__________________
JD-Dev & Server-Admin
Reply With Quote
  #20  
Old 31.01.2017, 21:36
japani
Guest
 
Posts: n/a
Default

JDownloader2 Stand:
Kern 35980
Launcher 3650
AppWork Utilities 2829
Browser 35826
Updater 515

Hallo Jiaz,

sind die Links jetzt zu lesen?
Oder soll ich sie noch an psp schicken?

Hier noch ein Versuch zum Crawlen:
**External links are only visible to Support Staff****External links are only visible to Support Staff**
Ergebnis: (A) 25972 Links im Ordner "osvaldogreco - Favourites" (jdlog://7558179150841/)
Ergebnis: (B) 44959 Links im Ordner "osvaldogreco - Favourites" davon 1 Offline-Dateien (jdlog://6558179150841/)

Bei (A) lief parallel ein Download!

Und noch ein paar Screenshots;-)

Gruß
japani
Attached Thumbnails
Über_JDownloader_(A)_vor_Crawl_20170131_01.jpg   Über_JDownloader_(A)_nach_Crawl_20170131_01.jpg   Über_JDownloader_(B)_vor_Crawl_20170131_01.jpg   Über_JDownloader_(B)_nach_Crawl_20170131_01.jpg  
Reply With Quote
Reply

Thread Tools
Display Modes

Posting Rules
You may not post new threads
You may not post replies
You may not post attachments
You may not edit your posts

BB code is On
Smilies are On
[IMG] code is On
HTML code is Off

Forum Jump

All times are GMT +2. The time now is 14:11.
Provided By AppWork GmbH | Privacy | Imprint
Parts of the Design are used from Kirsch designed by Andrew & Austin
Powered by vBulletin® Version 3.8.10 Beta 1
Copyright ©2000 - 2024, Jelsoft Enterprises Ltd.