Hallo da draußen!

Ich wollte mal fragen ob es nicht auch möglich wäre JD für Yahoo Groups zu modifizieren um dort beispielsweise Fotoalben herunterzuladen. Ich denke das wäre für eine Menge Leute ein nützliches Tool.

Ich bin schon lange auf der suche nach einer Möglichkeit Fotos von Yahoo!-Groups in einem Ruck herunter zu laden ohne jedes Foto einzeln anklicken zu müssen und auf meiner Suche stellte ich fest, dass es vielen Leuten so geht.

LG Schoaf

[Jiaz]

bräuchten bsp links und nen login zum testen

Hallo,

sorry das es so lange gedauert hat, aber ich dachte ich bin eh automatisch "eingeschrieben" und bekomme eine Benachrichtigung.

Also ein Login kann ich nicht bieten, da muss man sich bei Yahoo! anmelden. Aber eine Testgroup hab ich eingerichtet wo jeder beitreten kann. Leider gehen Fotos nur wenn man angemeldet ist.

**External links are only visible to Support Staff****External links are only visible to Support Staff**
[link]de.groups.yahoo.com/group/jdownloader/[/link]

MfG Schoaf

[pspzockerscene]

Und wie soll das irgendwer testen/den Decrypter machen wenn man die Bilder nur als angemeldeter User sehen kann ???

GreeZ pspzockerscene

Naja, man müsste sich bei Yahoo einen Account anlegen. Kostet ja nix...
... ich hab die Regeln ja nicht gemacht...

[pspzockerscene]

Wir machen uns aber nicht für alles extra Arbeit und erwarten bei sowas, dass der User uns entgegenkommt, immerhin willst du nen Decrypter dafür

GreeZ pspzockerscene

Hallo!

Also früher musste man ganz sicher eine gültige E-mail eingeben um einen Account zu bekommen und da man mit einem Yahoo! Account eine ganze Menge machen kann wollt ich da für niemanden Bbürgen, aber scheinbar ist das Schnee von Gestern.
Zugangsdatren entfernt by PSP, damit sie keiner klaut, ich hab sie ja schon^^

MfG Schoaf

Und was meint ihr? Kann man da was machen?

[pspzockerscene]

Ich schaus mir mal an

GreeZ pspzockerscene

Danke! Mich würd auch interessieren ob man da überhaupt mit JDownloader ansetzen kann, oder ob das eigentlich ganz daneben schlägt...

MfG Schoaf

[pspzockerscene]

Ich bin momentan etwas beschäftigt, aber vergessen wird der Thread net, is in den Lsezeichen^^

GreeZ pspzockerscene

[pspzockerscene]

Nach längerem PM Austausch weiß ich nun was gemeint ist und hab ein Bugtracker Ticket gemacht:


GreeZ pspzockerscene

[pspzockerscene]

Decrypter fertig, bitte nach dem nächsten Update auf Herz- und Nieren testen;)
Der Decrypter nimmt folgende Links:
Bilderlinks:
de.groups.yahoo.com/group/username/photos/album/0/list [auch Links, die direkt zu einzelnen Alben führen]

Dateilinks:
de.groups.yahoo.com/group/username/files/ [auch Links zu Unterordnern]

GreeZ pspzockerscene

Super! Vielen Dank!

Wir haben in unserer Group 2GB an Fotos (und die sind im einzelnen nicht riesig!) - für einen kleinen Test reicht das wohl ;-)

Kanns kaum erwarten - das Update!

LG Schoaf

[pspzockerscene]

Jo du kannst das ja mal ausgibig testen^^
JD loggt sich allerdings für jeden Ordner/Unterordner neu ein, ich hoffe da kommt keine Sperre seitens yahoo.
Meine bisherigen Tests verliefen super.
Das Einzige was ich nicht weiter ausgebaut hab ist die Benennung der Packages.
Solltest du da noch Verbesserungsvorschläge haben meld dich einfach hier.

GreeZ pspzockerscene

Hallo,

habs jetzt endlich geschafft Eclipse mit Subclipse einzurichten und jDownloader zu starten... Bei Vista braucht Eclipse Admin Rechte... tsts...

Okay also ich habs mal getestet. Folgendes ist dabei rausgekommen:

• Zuerst braucht er ewig (6min) bis er die Links eingesammelt hat. Weiß nicht ob das so gehört aber er macht da dauernd irgendwas mit Cookies und der Zeitzone... Für mich passts jedenfalls falls er dann alles hat.
  [EDIT]Wenn ich das mal hochrechne bräuchte er für alle Dateien ca. 44min zum sammeln![/EDIT]
• Dann hat er 322 Links (32.99 MiB) gesammelt insgesammt wären es aber 2.367 Fotos (>2GB), es wurde also ein kleiner Bruchteil gefunden.
• Runterladen funktioniert gut, ausser dass die Geschwindigkeitsanzeige wohl nicht mitkommt und immer 0B/S anzeigt - aber das ist wohl normal - arbeiten tut er jedenfalls richtig. Dauer: 7min (hier sieht man die etwas merkwürdige relation zwischen Linkssammeln und runterladen - ist aber verständlich bei so kleinen Dateien)
  Ein paar Bilder kamen doppelt in den Download und wurden dann nicht geladen ("Datei von anderem Host directhttp geladen").
• Resultat sind 300 Bilder (31MB) alle in einem Ordner

3 Probleme gilt es noch zu lösen:

• Es werden nicht alle Dateien gefunden. Meine Vermutung ist, dass jeweils nur die erste Seite berücksichtigt wird sowohl von Alben als auch von Fotos (max 20 pro Seite werden angezeigt) d.h. ich muss die Testgruppe auffüllen
• Die Bilder werden in "mittlerer" größe heruntergeladen. Sollten aber natürlich in "original" größe runtergeladen werden.
• Die Bilder müssen in Ordner (Albumname) geladen werden, sie könnten ja den selben Namen in verschiedenen Alben haben

Ich würde mir gerne den Code anschaun, finde ihn aber nicht. Du sagtest es ist ein Decrypter... [jd.plugins.decrypter.???]

Ausserdem bekomm ich immer die Meldung dass ein paar tausend Updates bereit sind. Wie kann ich die installieren wenn ich das über Eclipse starte?

LG Schoaf

[pspzockerscene]

@Schoaf
1.Ich brauch die Beispiellinks, die du verwendet hast um herauszufinden, wieso er net alle Bilder/Dateien findet.
2.Das mit den Cookies passt schon, der JD muss sich bei jedem Decrypt-Vorgang neu einloggen, da wir eigentlich keine Decrypter mit Login supporten (deswegen isses n bissl umständlich).
3.Ich dachte ich hätte das mit der Größe der Bilder korrekt gemacht, da muss ich nochmal schaun.
4.jd.plugins.decrypter.DeGroopsYahooCom

GreeZ pspzockerscene

Originally Posted by pspzockerscene

1.Ich brauch die Beispiellinks, die du verwendet hast um herauszufinden, wieso er net alle Bilder/Dateien findet.

Kann ich Dir nicht geben, aber ich lade gerade etliche Dateien in die Testgruppe und versuchs dort, da werden wir leichter dahinter kommen weil ich sie durchnummeriere.

Originally Posted by pspzockerscene

2.Das mit den Cookies passt schon, der JD muss sich bei jedem Decrypt-Vorgang neu einloggen, da wir eigentlich keine Decrypter mit Login supporten (deswegen isses n bissl umständlich).

Würde es nicht gehen wenn man sich vorher im Browser einloggt und JD dann anwirft? Hmmm... bzw. ist es irgendwie möglich nicht erst die Links zu sammeln sondern gleich ohne extra bestätigung runter zu laden? Das würde den ganzen Vorgang wenigstens nur einmal anwerfen statt soppelt.

Originally Posted by pspzockerscene

4.jd.plugins.decrypter.DeGroopsYahooCom

Danke, ich schau mal rein.

LG Schoaf

[pspzockerscene]

@Schoaf
Ne, im Browser einloggen bringt nix, JD hat seine eigenen Cookies.
Ich könnte höchstens die Cookies im JD speichern aber erstmal soll der Decrypter gescheit laufen.

GreeZ pspzockerscene
EDIT

Achja was meinst du mit "ohne Bestätigung herunterladen"?
JD nimmt yahoo Links doch direkt und Decryptet sie.
Willst du den Linkgrabber überspringen oder wie?
Das geht aktuell net, dazu gibts nur n Bugtracker Ticket:

EDIT2

Der Decrypter ist übrigens nur so schnell wie die Yahoo Seite, daran kann ich nix ändern.

Ja, ich meinte den Linkgrabber überspringen.... schade.. aber egal.

Ich hoffe Du stehst auf Frauen, sonst könnt ich auch Männerbilder raufladen ;-)

LG Schoaf

[pspzockerscene]

Na so ein paar Männerbilder ham doch was....äh ne spaß Frauen sind schon okay:w00t:

GreeZ pspzockerscene
EDIT

Hab übrigens eben eine gallery geladen und die Bildergrößen waren dieselben wie auf yahoo angegeben...

kannst auch Tiere haben

...oder wie wärs mit Computern?:rolleyes:

[pspzockerscene]

Passt schon, schieb hoch den Kram.

GreeZ pspzockerscene
EDIT

Huch das wird ja immer mehr^^

wie mach ich ein update damit ich den letzten Stand vom Decrypter hab? In Eclise..

[pspzockerscene]

Rechtsklick auf alle JD Projekte->Team->Update to HEAD

GreeZ pspzockerscene

geht nicht.
Hab auch den Updater versucht (org.jdownloader.update.Main.java), und der läuft auch. Aber im Endeffekt sagt er mir dann wieder dass über tausend Updates offen sind. hmm... auch der Decrypter scheint nicht up-to-date zu sein... wie geht das *grml*

[pspzockerscene]

@Schoaf
Der Decrypter IST up to date.
Updates führt man bei der SVN eig. nicht im JD aus also ignorier die Meldung einfach;)

GreeZ pspzockerscene

Es funktioniert z.B. nicht mit dem von Yahoo angegebenen Link für Fotos:
**External links are only visible to Support Staff****External links are only visible to Support Staff**
sondern nur mit dem expliziten:
**External links are only visible to Support Staff****External links are only visible to Support Staff**

wäre schön wenn man auch die kürzere Version eingeben könnte.

LG

18 21.03.11 13:47:03 - WARNING [jd.plugins.decrypter.DeGroopsYahooCom(decryptIt)] -> Failed to find the photolink(s) for link: **External links are only visible to Support Staff****External links are only visible to Support Staff**
18 21.03.11 13:47:03 - SEVERE [jd.plugins.PluginForDecrypt(decryptLink)] -> Decrypter out of date: jd.plugins.decrypter.DeGroopsYahooCom@831e35
18 21.03.11 13:47:03 - SEVERE [jd.plugins.PluginForDecrypt(decryptLink)] -> Decrypter out of date: 13843

Bist Du sicher, dass ich das ignorieren soll?

[pspzockerscene]

Der geht bei mir:
de.groups.yahoo.com/group/loaditbaby/photos/album/0/list

Und dieser bringt im Browser nen 404 error, wieso sollte der Decrypter den also nehmen?
de.groups.yahoo.com/group/loaditbaby/photos/

GreeZ pspzockerscene

...nicht wenn Du angemeldet bist. Dann wirst Du zu den Fotos weitergeleitet. Ist aber egal, das macht das ganze unnötig kompliziert...

[pspzockerscene]

Bin angemeldet.
Achso hab eben herausgefunden wieso er nicht alle Photos bekommt;)

GreeZ pspzockerscene
EDIT

Fix ist oben, mach "Update to HEAD" oder warte aufs nächste Stable Update.

Hallo,

jetzt scheint er alle Links zu bekommen. (2367 / 2367 Dateien) Gedauert hat das ganze 40min.

Geladen hat er sie auch brav (in ca. 20min 50%). Dann hab ich abgebrochen.

Die Bilder sind noch immer nicht in Originalgröße und sie werden alle in einen Ordner geladen, bzw. einige nicht weil sie den gleichen Dateinamen haben.

Noch ein Problem kommt zusätzlich:

Originally Posted by Yahoo.de

Sorry, Unable to process request at this time -- error 999.
This problem may be due to unusual network activity coming from your Internet Service Provider. We recommend that you report this problem to them.

Vielleicht hab ich es übertrieben indem ich geschaut hab welche Auswirkung es auf die Geschwindigkeit hat wenn ich 10 Downloads gleichzeitig zulasse. Hast Du damit schon Probleme bekommen oder liegt das wirklich nur an den gleichzeitigen Downloads?

LG Schoaf

[pspzockerscene]

@Schoaf
So viele Sachen hab ich da noch net geladen, kann gut sein, dass sie einen irgendwann (kurzzeitig) sperren.
Achso ich kann noch nicht nachvollziehen was du mit Originalgröße meinst.
Bitte mach mal ne Gallerie mit extrem großen Bildern, damit man den Unterschied richtig sehn kann.
Wenn man auf ein Bild klickt steht da auch ne Dateigröße und diese stand bisher auch immer im JD.
Achso ja, ich werde den Decrypter mal so ändern, dass man ihn abbrechen kann.

GreeZ pspzockerscene

Originalgröße = "view?picmode=original"



Und das mit der Ordnerstruktur, bekommst Du das hin?

LG Schoaf

[pspzockerscene]

So, das mit der Originalgröße hab ich nun.
Daraus entstehen jetzt allerdings neue Probleme:
Die Links zu den Originalbildern kann man nicht mehr anschauen ohne eingeloggt zu sein d.h. ich muss noch ein Hosterplugin for Yahoo machen.
Das Hosterplugin wird zumindest das Decrypten "schneller machen", dafür muss ich allerdings erst schauen wie ich die Cookies speichern kann um den Loginvorgang schneller zu machen und noch andere Sachen.
Das nächste update wird also etwas dauern;)

GreeZ pspzockerscene

Soll heißen jetzt doch nur einmal einloggen und das Cookie speichern...? Das wäre natürlich gut. Hab mich schon gefragt warum der das mit den Cookies beim runterladen nicht macht. Ich dachte das wäre auch nur mit Login möglich. Das ist ja furchtbar, dann kann ja theoretisch jeder die Fotos einer Group sehen (nur halt nicht in Originalgröße)... tsts

Ich bin gespannt wann deine IP gesperrt wird - ich kann mir nicht vorstellen, dass das noch lange dauern kann ;-)

LG Schoaf

[pspzockerscene]

Ich werde das wohl erst morgen machen^^

GreeZ pspzockerscene

[pspzockerscene]

Folgendes gibts mit dem nächsten Update des Decrypters (gibts in n paar Stunden erstmal in der Entwicklerversion):
-Originalbilder werden geladen
-Ein Yahoo Hosterplugin
-Cookies werden im Yahoo Hoster- und Decrypterplugin gespeichert
->Dadurch gehen Decryptvorgänge viel schneller!
-Logindaten des Decrypters werden automatisch der Premium-Account Übersicht hinzugefügt

Achja bitte nicht wundern, dass die Bilder nach dem Decrypten erstmal mit Zufallszahlen als Dateinamen und ohne Angabe der Dateigröße im Linkgrabber erscheinen.
Ich hab es so gemacht, dass die Bilder im Decrypter direkt auf online gesetzt werden, da alles was decryptet wird eigentlich online sein MUSS.

GreeZ pspzockerscene
EDIT

Danke an Jiaz für die Hilfe...

Ich habs noch immer nicht testen können weil ich immer Fehler bekomme wenn ich versuche die neue Version zu laden.

Eclipse:
Wenn ich bei "JDownloader [trunk]" Update to Head mache kommt folgende Fehlermeldung:

update D:/Eclipse-Workspace/JDownloader -r HEAD --force
    Das System kann die angegebene Datei nicht finden.  
svn: Can't open file 'D:\Eclipse-Workspace\JDownloader\ressourcen\nsis\.svn\text-base\OCSetupHlp.dll.svn-base': Das System kann die angegebene Datei nicht finden. 

Und wenn ich versuche es laufen zu lassen:

12|org.appwork 06.04.11 10:49:43 - FINER [org.appwork.storage.JsonKeyValueStorage(<init>)] -> Read Config: C:\Users\Petrie\.jd_home\cfg\WEBUPDATE.json
Exception in thread "AWT-EventQueue-1" java.lang.NoClassDefFoundError: org/jdownloader/update/UpdateFoundDialog

Ich dachte anfangs ich warte einfach auf die nächste Version, aber das Problem bleibt. Kannst Du mir helfen?

LG Schoaf