[blacksun]

Hallo zusammen,

ich habe mich hier im Forum an den Entwickler und Betreiber von CBH, lelim, gewandt, da ich im JD2 das Problem habe, dass der JD das Captcha zwar an die Methode übergibt, der JD dann aber nicht lange genug wartet bzw. etwas anderes passiert.

Jedenfalls blendet der JD ein Eingabefenster für die manuelle Eingabe eines Captchas ein, obwohl er das nicht soll bzw. das ja gar nicht vorkommen darf.

Die Logs des CBH-Plugin habe ich im entsprechenden Thread gepostet und lelim meint, dass der Grund dafür sei dass der JD/das Plugin nicht lange genug auf die Antwort warten würde.

Oder es passiert etwas anderes.

Lelim meinte ich sollte den Wert des Parameters "GraphicalUserInterfaceSettings.captchadialogtimeout" auf mind. 35 erhöhen, damit der JD länger auf die Antwort der JAC-Methode warten würde.

Hier die Diskussion zu dem Thema bzw. die Antworten von lelim:
http://board.jdownloader.org/showthr...=28886&page=35
http://board.jdownloader.org/showpos...&postcount=684
http://board.jdownloader.org/showpos...&postcount=687
http://board.jdownloader.org/showpos...&postcount=690

Allerdings bin ich etwas skreptisch mit dieser Antwort.
Zum einen würde ich sagen, dass der Parameter "GraphicalUserInterfaceSettings.captchadialogtimeout" lediglich die Wartezeit angibt, wie lange das Eingabefenster angezeigt wird, nicht jedoch wie lange auf die Antwort einer JAC-Methode gewartet wird.

Denn: würde das tatsächlich stimmen, würde ich ja dank der CBH-JAC-Methode nie das Eingabefenster für die manuelle Eingabe des Captchas sehen.
Denn mal angenommen die Aussage von lelim stimmt und ich steuere über den Parameter auch die Wartezeit auf die Antwort einer Methode, würde ich den Wert auf 300 setzen, dann würde der JD / das Plugin 5 Minuten auf die Antwort warten, sprich bis dahin wäre auf jeden Fall eine Antwort und damit die output.txt vorhanden. Sprich es würde nie einen Timeout geben.
Anders herum kann es meiner Meinung nach auch nicht vorkommen, dass eine falsche Antwort der Methode die Ursache ist. Denn wenn ich das richtig sehe startet der JD/Plugin dann einfach nochmal von vorne und fordert ein neues Captcha an.

Mir fällt daher kein Grund ein, warum das CBH-Plugin die Ursache sein könnte. Die Log-Einträge des Plugin zeigen dass das Plugin neu gestartet wurde noch bevor eine Antwort geliefert wurde (Eintrag result is : OK-new-)
Dieser Neustart kann nur durch den JD erfolgt sein. Die Frage ist nun ganz einfach, warum der JD das macht und nicht wartet.

Daher meine Fragen:
- Wann blendet der JD trotz Methode das Eingabefenster für ein Captcha genau ein? Was sind hier die Bedingungen?
- Wie lange wartet der JD auf eine Antwort einer Methode? (mind. 40 Sekunden sollten es schon sein)
- Wie oft fragt der JD das Methodenverzeichnis auf das Vorhandensein der Output.txt ab bzw. wie stellt der JD fest, ob eine Antwort bereitliegt oder ob er noch warten muss?
- Ist die Wartezeit auf eine Methodenantwort irgendwo zentral festgelegt oder pro Plugin individuell?
- Kann ich steuern, wie lange auf eine Methodenantwort gewartet wird?
- Wenn ein Captcha vom Hoster als falsch abgelehnt wird, wie oft probiert der JD es dann erneut? Steckt dieser Wert in jedem Plugin einzeln drinn? Kann ich das selbst steuern?


Für die Fehleranalyse:
Bei Beiden Beispielen handelt es sich um einen Download von ul.net oder von share-online. Sprich einfach in den JD-Logs nach dem Zeitstempel bei den Logdateien der beiden Hoster schauen.

plugin-Log:

3492 : 29.08.2012 19:32:34 : captcha sent to server. Captcha code is kDXbv2tYnOT_2908201212
3492 : 29.08.2012 19:32:34 : f1 begins...
3492 : 29.08.2012 19:32:34 : f1 finished. 
3492 : 29.08.2012 19:32:34 : f2 begins...
3492 : 29.08.2012 19:32:35 : f2 finished...
3492 : 29.08.2012 19:32:35 : f3 begins...
3492 : 29.08.2012 19:32:35 : f3 finished... CC Empty
3492 : 29.08.2012 19:32:35 : Asking captcha result...
3492 : 29.08.2012 19:32:35 : asking result.
3492 : 29.08.2012 19:32:35 : result is : OK-on user-
3492 : 29.08.2012 19:32:35 : 1st phase passed, response is OK:on user-
3492 : 29.08.2012 19:32:35 : asking result.
3492 : 29.08.2012 19:32:35 : result is : OK-on user-
3492 : 29.08.2012 19:32:53 : asking result.
3492 : 29.08.2012 19:32:53 : result is : OK-on user-

müsste das hier das passende JD-Log sein:
jdlog://1346385342657


Und für dieses Plugin-Log

5632 : 30.08.2012 12:21:21 : captcha sent to server. Captcha code is 63LjoMiuFjD_3008201205
5632 : 30.08.2012 12:21:21 : f1 begins...
5632 : 30.08.2012 12:21:21 : f1 finished. 
5632 : 30.08.2012 12:21:21 : f2 begins...
5632 : 30.08.2012 12:21:21 : f2 finished...
5632 : 30.08.2012 12:21:21 : f3 begins...
5632 : 30.08.2012 12:21:27 : f3 finished... CC Not Empty
5632 : 30.08.2012 12:21:27 : Asking captcha result...
5632 : 30.08.2012 12:21:27 : asking result.
5632 : 30.08.2012 12:21:29 : result is : OK-new-

Müsste das hier das passende JD-Log sein:
**External links are only visible to Support Staff****External links are only visible to Support Staff**
(Passwort zum DL hab ich per PM an jiaz geschickt)

[Jiaz]

-JD wartet aktuell max 30 sekunden das der Prozess beendet
-JD wartet bis der prozess beendet ist und parst dann das output file!
-gibt eine externe methode kein ergebnis zurück dann kommt dialog
-wird captcha falsch erkannt kommt es ganz auf das plugin drauf an ob er es gleich nochmal versucht oder den kompletten download neu versucht. eine art *reload captcha* gibts derzeit noch nicht

ich kann die 30 secs aktuell mal höher schrauben auf 50, okay?

[blacksun]

Originally Posted by Jiaz

ich kann die 30 secs aktuell mal höher schrauben auf 50, okay?

das wäre als Übergangslösung prima, denn die 30 Sekunden sind wirklich knapp
die 50 Sekunden sollten schon sein, eher vielleicht noch 60-70 Sekunden. Das bringt dann nämlich bei Problemen auch etwas Ruhe hinein.

Wenn ich dich richtig verstanden haben, dann ist dieser Wert ja der Time-Out-Wert. Sprich wenn die Methode schneller ein Ergebnis liefert, dann steht der Wert nicht später zur Verfügung, sprich keine Verschlechterung.

Originally Posted by Jiaz

JD wartet bis der prozess beendet ist und parst dann das output file!

wie merkt der JD das genau? Pollt er alle 5 Sekunden nach der Output.txt??

Originally Posted by Jiaz

-gibt eine externe methode kein ergebnis zurück dann kommt dialog
-wird captcha falsch erkannt kommt es ganz auf das plugin drauf an ob er es gleich nochmal versucht oder den kompletten download neu versucht. eine art *reload captcha* gibts derzeit noch nicht

Ein Captcha-Reload (also das gleiche Bild nochmal durch die Methode schicken) ist vermutlich im Moment auch nicht sinnvoll. Lieber soll ein neues Captcha anfordern werden und dann nochmal probieren.

Leider hat lelim noch noch geantwortet und den Unterschied der beiden Log-Files erklärt, also zwischen "OK-on user-" und "OK-new-" bzw. was das mit dem "CC empty" bedeutet".


Fragen:
- Ganz wichtig: Fragt der JD nur dann manuell nach, wenn KEINE Antwort geliefert über die output.txt geliefert wird, oder auch wenn der Time-Out-Wert erreicht wird (was ja auch eine Art keine Antwort ist)??

- Was macht der JD, wenn in dieses manuelle Feld, wenn Methode kein Ergebnis liefert, nichts eingegeben wird? Startet er das File dann ganz von vorne? Zählt das im Pluginfehler-Counter auch als Plugin-Fehler (hier kann man ja auch einen Wert einstellen)

- diesen Schwellwert einer Anzeige, wie wir den aus dem JD1 kennen, den gibt es hoffentlich bei einer externen Methode nicht, oder? JD kann ja die Qualität nicht beurteilen, da gibt es ja nur Ergebnis vorhanden ja oder nein, richtig?

- zu "kommt ganz auf das plugin drauf an" bei CBH: Geht das überhaupt, dass ein Plugin mitbekommt, ob die Antwort, die es selbst geliefert hat, falsch war???
Wenn ich das richtig weiß, dann gibt es keine "Feedback"-Funktion vom JD an eine Methode.
Die ist ja bei cbh explizit glaube ich gar nicht gewünscht, da man sonst manipulieren könnte. Man könnte die Methode Captchas lösen lassen und immer ein "Antwort ist falsch" zurückliefern, so dass keine Credits abgezogen werden.

Sehr viele haben im Moment das Problem mit diesen Einträgen im Plugin-Log (und auch den manuellen Eingabefenstern) und nun ist es wichtig zu wissen, ob das ein Problem vom JD ist oder vom Plugin selbst.
JD-Fehler wäre wartet nicht lange genug auf Antwort, Methode liefert kein Eregebnis und beendet sich ohne Antwortfile innerhalb des Time-Out-Zeitfensters wäre ein Problem auf Plugin-Seite.

[Jiaz]

genau timeout, hab 70 eingestellt
na jd weiss doch wann der prozess welchen er gestartet hat *zurückkehrt* also beendet ist

[blacksun]

Originally Posted by Jiaz

genau timeout, hab 70 eingestellt
na jd weiss doch wann der prozess welchen er gestartet hat *zurückkehrt* also beendet ist

ok, für die weitere Fehlersuche hab ich noch ein paar Fragen ergänzt.
Kannst Du da noch was kurz was dazu sagen, so dass ich dann entsprechend af lelim zugehen kann und ihm - wenn es ein CBH-Problem ist - dies so gleich mitgeben kann.

Ach ja, ist der neue 70er-Wert schon Online im Updatesystem?

[Jiaz]

-er fragt nur ab wenn kein output file vorhanden oder der inhalt leer ist
-die schwellenwerte gibts weiterhin, aber aktuell nicht einstellbar und gilt nicht für externe methoden
-nein ein plugin kann aktuell gar nicht rausfinden ob korrekt/falsch war, kommt aber noch

update kommt noch

[blacksun]

Originally Posted by Jiaz

-er fragt nur ab wenn kein output file vorhanden oder der inhalt leer ist
-die schwellenwerte gibts weiterhin, aber aktuell nicht einstellbar und gilt nicht für externe methoden
-nein ein plugin kann aktuell gar nicht rausfinden ob korrekt/falsch war, kommt aber noch

Also wenn kein outputfile vorhanden ist weil Time-Out-Wert von aktuell 30 überschritten, dann wird nicht nach manueller Captcha-Eingabe gefragt?
Hintergrund:
Dann kann ich lelim sagen wann bei welchelm Captcha also was genau passiert ist.
Wenn ich manuell gefragt werde, dann hat sich sich die Methode im Zeitfenster beendet und kein Ergebnis geliefert.
Und wenn Ich nicht gefragt wurde und ein neuer Vorgang gestartet wurde, dann lag's am JD weil er nicht lange genug gewartet hat, richtig?

nur noch aus Interesse:
Woher weiß denn der JD ob interne oder externe Methode? Die sehen im Methodenorder doch gleich aus oder?

Für zukünftige Erweiterungen ist es sicherlich interessant wenn es eine Schnittstelle gibt, die der Methode mitteilt ob das Captcha richtig oder falsch war.

edit:
Dieser default-Wert von aktuell 30 Sekunden, ist der so auch fest im JD1 hinterlegt, oder ist er dort anders bzw. vom User änderbar?

[blacksun]

Hallo Jiaz,

also lelim hat inzwischen geantwortet und wendet sich auch gleich an Dich:
http://board.jdownloader.org/showpos...&postcount=694

Es könne bis zu 120 Sekunden dauern, bis eine Antwort kommt.
Er hat auch den Unterschied zwischen "OK-New" und "OK-On User" erklärt.

Das "new" würde bedeuten wartet auf Zustellung an einen Solver, und das ok-on user würde heißen dass es einem Solver zugestellt wurde.

Wenn das alles so stimme, macht mich doch etwas stutzig, ob der JD tatsächlich auch immer 30 Sekunden bis zum Time-out gewartet hat.

Im Log finde ich nämlich auch oft sowas hier:

1888 : 31.08.2012 08:53:59 : console started... v1.1.7
1888 : 31.08.2012 08:53:59 : JD Process ID file deleted!
1888 : 31.08.2012 08:53:59 : checkRights finished!
1888 : 31.08.2012 08:53:59 : getConfig started!
1888 : 31.08.2012 08:53:59 : username is : xxx , password is : xxx
1888 : 31.08.2012 08:53:59 : getConfig finished!
1888 : 31.08.2012 08:53:59 : starting createProviderList
1888 : 31.08.2012 08:53:59 : finished createProviderList
1888 : 31.08.2012 08:53:59 : waiting for input.jpg
1888 : 31.08.2012 08:53:59 : f1 hit...1
1888 : 31.08.2012 08:53:59 : connecting to server. 999
1888 : 31.08.2012 08:53:59 : api created
1888 : 31.08.2012 08:53:59 : captcha sent to server. Captcha code is uDUMgeAj0Yt_3108201201
1888 : 31.08.2012 08:53:59 : f1 begins...
1888 : 31.08.2012 08:53:59 : f1 finished. 
1888 : 31.08.2012 08:53:59 : f2 begins...
1888 : 31.08.2012 08:53:59 : f2 finished...
1888 : 31.08.2012 08:53:59 : f3 begins...
1888 : 31.08.2012 08:53:59 : f3 finished... CC Empty
1888 : 31.08.2012 08:53:59 : Asking captcha result...
1888 : 31.08.2012 08:53:59 : asking result.
1888 : 31.08.2012 08:54:00 : result is : OK-new-
4372 : 31.08.2012 08:54:17 : ....

Wenn ich mir die Zeitstempel so anschaue, dann sind das keine 30 Sekunden.
Um 08:53:59 Uhr lief die Methode los, und um 08:54:17 Uhr hat der JD schon die Methode das nächste Mal aufgerufen, also nicht mal 20 Sekunden.

Bist Du Dir ganz sicher, dass
- der JD immer mitbekommt, wenn eine JAC-Methode, die vom JD aufgerufen wird, sich beendet? (du hattest ja gesagt dass der JD dies wohl mitbekommt wenn *zurückkehrt* wird)
- der JD auch immer den vollen Time-Out-Wert (bisher 30 Sekunden, jetzt 70 Sekunden, von lelim vorgeschlagen 120 Sekunden) wartet?

[Jiaz]

keine antwort der methode = es wird gefragt! es wird immer dann gefragt wenn keine antowrt kommt (egal ob wegen timeout oder methode nix liefert)
in der jac beschreibungsfile ists angegeben ob intern oder extern
jd1 hat auch festen timeout, nicht änderbar

JD wartet bis der prozess beendet! und ja..ich weiss natürlich NICHT wie dem sein tool funktioniert ich stells mal auf 130 sekunden
jd wartet minimum von (prozess ende, 130 sekunden)

[blacksun]

Originally Posted by Jiaz

ich stells mal auf 130 sekunden
jd wartet minimum von (prozess ende, 130 sekunden)

Das Update für 130 Sekunden Update ist noch nicht veröffentlicht, oder?
Übers Wochenende sahen die Log-Einträge noch nach 70 Sekunden aus.

Auf jeden Fall kann ich Dir berichten, dass die 70 Sekunden schon enorm geholfen haben, Credits zu sparen.
Mit den 130 sollte es dann hoffentlich erledigt sein.

Auf jeden Fall schadet es nicht.

[Jiaz]

timeout ist 150 sekunden seit letztem freitg.

[blacksun]

Originally Posted by Jiaz

timeout ist 150 sekunden seit letztem freitg.

und dieses Update für den JD2 mit diesem Wert ist tatsächlich schon draußen?

wie gesagt habe ich schon eine deutliche Besserung beobachtet, aber ich finde doch auch Einträge im Log des CBH-Plugin das keine so lange Zeit zwischen den einzelnen Zeitstempeln aufweist.

wie finde ich am besten heraus, ob ein Time-Out die Ursache war oder ob sich die Methode beendet hat?

[Jiaz]

ich erweitere mal das logging, damit die infos auch im jd auftauchen

[blacksun]

Originally Posted by Jiaz

timeout ist 150 sekunden seit letztem freitg.

kann bitte mal jemand nach diesem Wert schauen.
Der JD2 wartet aktuell nicht mal 60 Sekunden auf die Antwort einer externen Methode und blendet ein manuelles Eingabefenster ein

[pspzockerscene]

Hab im Ticket mal nen Kommentar hinterlassen.

GreeZ psp

[blacksun]

Hier ein Log:
**External links are only visible to Support Staff****External links are only visible to Support Staff**

Ich hab das aktuelle Update eingespielt, dann die Downloads gestartet. Es liefen drei Downloads los, die dann alle drei reCaptcha hatten (ul.net, so.biz, clz.to), und kurz darauf wurde ich wieder mehrfach nach einer manuellen Eingabe gefragt, obwohl das ja gar nicht sein kann.

ziemlich lästig das ganze.



EDIT:
und gleich wieder, den JD2 einfach neu gestartet, dann die downloads gestartet, es liefen drei downloads los (ul.net, so.biz, clz.to), und keine 30 sekunden später muss ich für alle drei die Captchas manuell eingeben:

Log:
28.02.13 21.31.22to28.02.13 21.33.12 jdlog://1362083605756/

[thecoder2012]

Originally Posted by Jiaz

ich erweitere mal das logging, damit die infos auch im jd auftauchen

Warum wird der Wert nicht einfach einstellbar gemacht im JD per Einstellungen?

Auch wäre es toll wenn man anhand der Pixelgrösse eine Zeit festlegen könnte. Bei SJ als Beispiel wäre es oft besser es erneut nach 30 Sek. zu versuchen als z.B. 150 Sek. zu warten. Die User überspringen nämlich gern unlesbare Captchas wie es manchmal bei SJ vorkommt.

Ergänzung:
Laut SVN (09.03.2013) ist der Wert in der Datei /src/jd/captcha/JAntiCaptcha.java auf 150 - Zeile: exec.setWaitTimeout(150);

[blacksun]

Originally Posted by thecoder2012

Warum wird der Wert nicht einfach einstellbar gemacht im JD per Einstellungen?
...
Ergänzung:
Laut SVN (09.03.2013) ist der Wert in der Datei /src/jd/captcha/JAntiCaptcha.java auf 150 - Zeile: exec.setWaitTimeout(150);

ich meine ich habe die Ursache für die vielen Captcha-Fenster für die manuelle Captcha-Eingabe der letzten Tage gefunden.
Es scheint kein Fehler zu sein, sondern still und heimlich ist genau das passiert was Du vorgeschlagen hast, es sind neue Optionen in den Einstellungen dazugekommen.

[b]Da gibt es den Wert "Milliseconds after which a Captcha Dialog will appear even if Auto AntiCaptcha is still running" (also den Wert der bei nun auf 90 Sekunden steht siehe Screen), und der steht im Standard auf 15 Sekunden, was für einen CES definitiv zu wenig ist.

Such einfach mal nach "Captcha" in den Profi-Einstellungen und Du wirst erstaunt sein.
So wie es aussieht unterstützt der JD inzwischen sogar selbst CBH, sprich CBH kann selbst als Client auf den Service zugreifen, was den Vorteil hat, dass auch Nicht-Windows-Nutzer vom JD den CBH nutzen können.

Schau selbst:


Fragen, die sich noch für mich ergeben aus den vielen neuen Einstellungen

1. Abhängigkeiten:
haben die Optionen "CaptchaSettings.countdown" und "CaptchaSettings.janticaptchatimeout" einen Bezug zueinander, sprich kann der countdown-Wert auch niedriger sein als der Wert für janticaptchatimeout?

2. Es gibt bei mir die Optionen "CaptchaSettings.countdown" und "GraphicalUserInterfaceSettings.captchadialogtimeout". Ist das nicht beides das gleiche?

3. CBH-Integration
Ersetzt die Integration lediglich die Methode, sprich der JD kann die eigenen Captchas an CBH einreichen, oder kann man sogar mit dem JD als Solver tätig werden und Captchas für andere lösen?

Vielleicht kann jemand die Fragen kurz beantworten.



Auf jeden Fall bringen diese neuen Optionen den JD2 ein Stück weiter.

Die Sache mit der Integration eines CES - in diesem Schritt von CBH - finde ich absolut genial. Das wäre auch die Idee für 9kw.
Hintergrund: 9kw kann wohl inzwischen als einziger CES sogar mit Maus-Captchas umgehen. Zumindest gibt es einen Client für 9kw in deren Change-Log das erwähnt wird. Sprich man kann wohl über 9kw Maus-Captchas von anderen lösen lassen.
Einen anderen Vorteil hätte eine Integration auch noch. Der JD könnte an den CES-Dienst zurückmelden, ob das Captcha richtig oder falsch war.
Beides, also Maus-Captchas und Rückmeldung, ist ja per se bei externen Methoden nicht vorgesehen.

[thecoder2012]

1. Abhängigkeiten:
haben die Optionen "CaptchaSettings.countdown" und "CaptchaSettings.janticaptchatimeout" einen Bezug zueinander, sprich kann der countdown-Wert auch niedriger sein als der Wert für janticaptchatimeout?

Ich kann so viel dazu sagen, das es noch min. 2 Stellen im Quellcode gibt wo es hardcoded ist bzgl. Timeout.

Ersetzt die Integration lediglich die Methode, sprich der JD kann die eigenen Captchas an CBH einreichen

Ergänzt trifft es besser da alle Methoden weiterhin existieren.

kann man sogar mit dem JD als Solver tätig werden und Captchas für andere lösen?

Naja vielleicht als natives JD Plugin könnte man sowas realisieren aber direkt in JD ist dies bisher nicht enthalten.

Die Sache mit der Integration eines CES - in diesem Schritt von CBH - finde ich absolut genial. Das wäre auch die Idee für 9kw.

Man ist da schon einen Schritt weiter. Ob der Schritt von CBH kam weiss ich nicht, weil die letzte Änderung von coalado und jiaz kam. Im SVN (ab Revision 20194) ist auch ein solches Plugin für 9kw vorhanden. Im nächsten Build wirds dann wohl enthalten sein, davon gehe ich mal aus.

Zumindest gibt es einen Client für 9kw in deren Change-Log das erwähnt wird.

Ja aktuell können solche Captchas über JCatGUI und die Webseite gelöst werden. Pyload unterstützt das einreichen inzwischen auch schon.

Sprich man kann wohl über 9kw Maus-Captchas von anderen lösen lassen.

In Zukunft wohl schon aber so weit ich das verstehe, wird das noch etwas dauern bis auch Maus Captchas so funktionieren. Allgemein wurde lediglich die alte Schnittstelle in eine modernere Schnittstelle transportiert und teile davon sind noch nicht so wie es sein sollte.

Beides, also Maus-Captchas und Rückmeldung, ist ja per se bei externen Methoden nicht vorgesehen.

Captcha Feedback ist auch bisher in der neuen V2 Methode noch nicht vorgesehen. Mit Maus Captchas kann man wohl eher in nächster Zeit mal rechnen.

[raztoki]

ticket closed/declined rejected due to the new implementation of catpcha, external methods are obsolete.