|
|
|
#1
27.01.2023, 17:27
|
||||
|
||||
Frage zum archives-Ordner: .\JDownloader2\cfg\archives
Wenn ich das richtig interpretiere, dann speichert JD hier - zu jedem Archiv, das er in einem Crawler-Vorgang findet(?) - jeweils eine Datei mit möglichen Passwörtern ab.
Sehe ich das so richtig? Ansonsten wäre ich für eine Richtigstellung dankbar. Ferner interessiert mich (wenn meine Annahme stimmt), nach welchen Kriterien JD hier möglich Passwörter herauskopiert bzw. abspeichert. Wenn z.B. auf einer Webseite ein passwort-geschütztes Archiv gefunden wird, dann sollte das zugehörige Passwort ja nach bestimmten Kriterien gesucht werden: Also z.B. ein String, der sich in der "Nähe" des Archivs auf der Webseite befindet
Mir ist aufgefallen, dass diese "Passwort-Suchfunktion" auch dann arbeitet, wenn ich html-Code in den LinkGrabber kopiere. Nur findet sie alles Mögliche, außer Passwörtern.  Wie gesagt, wäre ich für Erläuterungen, was da genau und wie passiert, dankbar. 
|
|
#2
27.01.2023, 17:43
|
|||||||
|
|||||||
|
[QUOTE=StefanM;516280]
Quote:
https://support.jdownloader.org/Know...olders-cleanup ...enthält dieser Ordner, Zitat: Quote:
https://board.jdownloader.org/showthread.php?t=72439 Quote:
Quote:
Wie genau dieser Parser arbeitet werde ich hier nicht extra in Worte fassen, aber Luft nach oben gibt's bei solchen Parsern immer. Gerne können wir dir den Quellcode des Parsers verlinken ansonsten gilt jedoch: Quote:
Bitte Testlinks/Test-HTML und Logs bereitstellen. --> Wir beschäftigen uns ungerne mit theoretischen Situationen/Fehlern und bevorzugen echte Testdaten oder solche, mit denen sich Fehler nachstellen lassen. Eventuell noch interessant an dieser Stelle: Wenn du statt dem normalen Deep-Parser eigene LinkCrawler Regeln verwendest, kannst du mithilfe von einem regulären Ausdruck (nachfolgend "RegEx") ein eigenes "passwordPattern" festlegen, siehe LinkCrawler Regeln Artikel.
__________________
JD Supporter, Plugin Dev. & Community Manager
JDownloader 2 Setup Download
Spoiler:
A users' JD crashes and the first thing to ask is: Quote:
Quote:
|
|
#3
28.01.2023, 15:53
|
||||
|
||||
|
[QUOTE=pspzockerscene;516282]
Quote:
 Mich interessiert, nach welchen Kriterien ein String als mögliches Passwort erkannt und dann gespeichert wird. Denn ich habe es bis heute für (fast) unmöglich gehalten, so etwas zu automatisieren. Daher würde ich ja gern wissen, wie euer Ansatz dazu ist. (Quellcode würde ich aber wohl nicht verstehen können.) Und (zumindest) bewusst - ohne dass ich hier etwas schlecht reden möchte - hat die Funktion in 10 oder mehr Jahren bei mir noch nie ein Passwort gefunden. Wobei ich nicht weiß, ab wann es diese Funktion gab. Abschließende, einfache Frage: Kann ich die Funktion abschalten, so dass es gar keinen Ordner "Archives" gibt?
|
|
#4
30.01.2023, 12:58
|
|||||||
|
|||||||
|
Quote:
Quote:
Quote:
github.com/mirror/jdownloader/blob/master/src/org/jdownloader/controlling/PasswordUtils.java Wichtig dazu noch: passwordPattern findet sich hier: Code:
github.com/mirror/jdownloader/blob/14ff28f030aeb87491ab85cb881aa2faf9d4c7a6/src/org/jdownloader/translate/JdownloaderTranslation.java#L396 Nochmal: Bei Fehlern bitte Logs und Test-Daten bereitstellen ansonsten können wir uns Threads wie diese sparen. Quote:
Quote:
Du kannst ihn auch händisch- oder automatisiert regelmäßig löschen.
__________________
JD Supporter, Plugin Dev. & Community Manager
JDownloader 2 Setup Download
Spoiler:
A users' JD crashes and the first thing to ask is: Quote:
Quote:
|
|
#5
01.02.2023, 12:47
|
||||
|
||||
|
Quote:
Code:
пароль|пасс|pa?s?w|passwort|password|passw?|pw Groß-/Kleinschreibung wird vermutlich nicht berücksichtigt, damit alle Schreibweisen gefunden werden? Was mich nach wie vor interessiert:
Zu möglichen Fehlern oder Testergebnissen:
Weitere Tests würde ich gern, auch rein interessenhalber, einmal durchführen wollen. Aber da du mir die URS nicht erklären magst, weiß ich ja nicht, was diese Funktion leisten kann und was nicht... Beispiele hatte ich ja schon in der Punkteliste geschrieben. Aber... Diese Passwort-Suchfunktion hat auch für mich keine hohe Priorität. Jedoch interessiert es mich, wie man so etwas für eine Art Automation spezifizieren kann, nicht nur für Passwörter. Konkret für eine Anwendung, in der ich in txt oder html Begriffe in bestimmtem Kontext suchen kann. Kann ich eure RegEx's dazu irgendwo nachlesen? Denn ich habe eine Anwendung, die mithilfe von RegEx's solche Aufgaben erledigen kann. (Hat ein guter Freund für mich geschrieben.)
|
|
#6
01.02.2023, 13:06
|
|||||||||||||
|
|||||||||||||
|
Quote:
Wie bereits beschrieben und im verlinkten Code ersichtlich wird mit regulären Ausdrücken und diesen Begriffen gesucht. Was vor- und nach diesen Begriffen stehen darf/muss, ist dem Code zu entnehmen (weiteres dazu siehe Ende dieses Posts). Quote:
Quote:
Ich habe dir gesagt, dass das mit regulären Ausdrücken funktioniert und du hast dir nichtmal die Mühe gemacht, den RegEx einfach mal in regex101.com zu kopieren und dort gegenzuprüfen... Konkret: Code:
passw? Quote:
Quote:
Quote:
Quote:
Test-HTML bitte... Quote:
Quote:
Dir würde außerdem auch kein anderer Entwickler Zeile für Zeile den Code erklären. Entweder du verstehst ihn oder du bist eben der normale User, der einfach sagt "Funktion XY geht mit Daten XY nicht", sodass man das fixen/verbessern kann. Ich werde dieses Thema nicht weiter beantworten, sofern du keine konkreten Testdaten zur Verfügung stellst. Es ist ja schön, dass du so viel Zeit zum Testen findest nur mir bringt es am Ende null, wenn ich keine Testdaten habe und somit auch keine Verbesserungen vornehmen kann. Das Ende vom Lied ist dann, dass wir hier über Stunden verteilt 2-3 Seiten geschrieben haben werden und keine Zeile Code geändert wurde -> Merkst du selbst, dass dies zu nichts führt oder? * liest sich evtl. böse, ist aber keineswegs so gemeint. Quote:
Quote:
- passwordPattern und: - PasswordUtils z.B. Zeile 31 und jede weitere Zeile in der "passwordPattern" verwendet wird. Daran siehst du dann, was "vor und nach dem passwordPattern" stehen darf/muss. Falls du die Ausdrücke durch ablesen nicht verstehst, kannst du diese z.B. zusammenbauen, in regex101.com einfügen und gegen beliebige Testdaten/HTML matchen. Beispiel: Code:
Pattern.compile("(?:>\\s*|\"\\s*|'\\s*|\\s+)(" + passwordPattern + ")\\s+([[^\\:\"'\\s]][^\"'\\s]*)[\\s]?", Pattern.CASE_INSENSITIVE);
Code:
(?:>\\s*|\"\\s*|'\\s*|\\s+)(пароль|пасс|pa?s?w|passwort|password|passw?|pw )\\s+([[^\\:\"'\\s]][^\"'\\s]*)[\\s]?
__________________
JD Supporter, Plugin Dev. & Community Manager
JDownloader 2 Setup Download
Spoiler:
A users' JD crashes and the first thing to ask is: Quote:
Quote:
Last edited by pspzockerscene; 01.02.2023 at 13:07. Reason: "Zusammengebauten" regulären Ausdruck ergänzt.
|
|
#7
01.02.2023, 14:55
|
||||
|
||||
|
Quote:
Und danke auch für die übrigen Erläuterungen!
|
|
#8
01.02.2023, 15:05
|
||||
|
||||
|
@pspzockerscene
Beispiel von dieser Seite: **External links are only visible to Support Staff****External links are only visible to Support Staff** Als Ergebnis wird folgendes angezeigt: [ "manager???</div><div>I", "manager", "manager???", "Manager" ] Je nach Komplexität werden auch deutlich mehr Steuerzeichen angezeigt. Anbei der HTML-Code für zwei Beispiele. Beispiel 2 liefert dies: [ "manager???</div><div>I", "Manager" ] Hier sieht man, dass das "korrekte Passwort": "I" nicht gefunden wird: Am Ende einer Zeile steht "password". Danach eine Leerzeile In der folgenden Zeile das Wort "I" Last edited by StefanM; 01.02.2023 at 15:20.
|
|
#9
02.02.2023, 00:13
|
|||||
|
|||||
|
Quote:
- Dein Beispiel führt zu keinen .zip Links --> Die falschen Passwörter werden also niemals auf entpackbare Links in JD gesetzt/gespeichert. Sie würden in deinem Beispiel keinerlei Datenmüll erzeugen. Mir fehlt immer noch ein reales Beispiel mit Links zu entpackbaren Dateien und einem echten Problem, das du gefunden hast. Quote:
Außerdem können Passwörter natürlich beliebige Zeichen enthalten daher ist das Inkludieren von "Steuerzeichen" kein Problem wenn du mich fragst. Quote:
Code:
have noticed that all the passwords I saved for last 4 years in Google password</div><div><br></div><div>I am a System administrator and after few checks, I found that the data in cloud storage is gone.*</div><div>Logged into my account in different devices and found no data Versteh mich nicht falsch an dieser Stelle gibt es sicherlich Optimierungspotential, aber bisher verstehe ich nicht, was du hier konkret erwartest und ob Änderungen anhand deiner Beispiele dir mit deinen "echten Links" mit denen du arbeitest helfen würden. Was würde denn deiner Meinung nach helfen? 1. Passwortsuche deaktivierbar machen, um keine ungültigen Passwörter mehr zu erhalten? und/oder: 2. Die Möglichkeit einbauen, eigene reguläre Ausdrücke hinzuzufügen, die mit in die Passwortsuche einspielen?
__________________
JD Supporter, Plugin Dev. & Community Manager
JDownloader 2 Setup Download
Spoiler:
A users' JD crashes and the first thing to ask is: Quote:
Quote:
|
|
#10
02.02.2023, 12:41
|
||||
|
||||
|
Quote:
Code:
Test 100MB.bin password Pusemuckel Logged into my... 'Pusemuckel' müsste als Passwort gefunden und ausgegeben werden. Dieses Passwort wird aber nicht gefunden. Quote:
Quote:
Punkt 2. wäre sicher sehr interessant, auch wenn ich selbst das nicht nutzen könnte. Aber ich habe einen guten Freund, der mir dafür RegEx's erstellen würde...
|
|
#11
02.02.2023, 14:27
|
||||||||
|
||||||||
|
Quote:
Da sind gefühlt tausend html Tags zwischendrin. Dein "Zitat" zeigt lediglich den Text ohne die html Tags. JD "sieht" die html Tags aber auch. Ich wiederhole mich: Quote:
Code:
password</div><div><br></div><div>Pusemuckel*</div><div>Logged into my account in different devices and found no data in all devices.</div><div>Note: Quote:
Jetzt kopiere mal den Text so wie du ihn im Forum gepostet hast (nur Zeilemumbrüche zwischendrin, keine html Tags) dann geht es. Ebenso würde es funktionieren, wenn du die Zielwebseite im Browser aufrufst -> STR + A -> STRG + C (alles kopieren, nicht vorher den Quellcode aufrufen) -> Auf "Links hinzufügen" klicken -> Passwörter sollten nun wie von dir erwartet gefunden werden Quote:
Quote:
Ist ab dem nächsten Update verfügbar über folgende Profieinstellung: Code:
LinkgrabberSettings.addlinkspreparserautoextractionpasswordsearchenabled Code:
LinkgrabberSettings.addlinkspreparserenabled Quote:
Vielleicht finden sich auch diesem Weg reguläre Ausdrücke, die sich lohnen, fest in JD einzubauen.
__________________
JD Supporter, Plugin Dev. & Community Manager
JDownloader 2 Setup Download
Spoiler:
A users' JD crashes and the first thing to ask is: Quote:
Quote:
|
|
#12
04.02.2023, 11:43
|
||||
|
||||
|
Quote:
Deshalb sollte das Parsen für die Passwort-Suche eben nicht im Source (HTML) sondern in Plain-Text erfolgen - so wie ihn ja auch der User im Browser sieht und so auch das Passwort manuell findet. Quote:
Quote:
Quote:
Und als zweite Antwort folgt eine kleine Aufstellung als Test-Material...
|
|
#13
04.02.2023, 12:10
|
||||
|
||||
|
Test-Text
P A S S W O R T T E S T
Erstes Passwort eins Zweites Passwort zwei Drittes Passwort drei Viertes Passwort: vier Fünftes Passwort : fünf Sechstes Passwort sechs Siebtes Passwort sieben Achtes Passwort acht Neuntes Passwort: Max Mustermann Ergebnis: (besser als ich dachte) Hier wurde nur 'Max Mustermann' nicht gefunden. D.h. Passwörter mir Leerzeichen werden nicht gefunden. Wenn ich aber die Zeile mit "Neuntes Passwort..." weglasse, dann wird übrigens auch 'acht' nicht gefunden. Aber der Doppelpunkt wird wohl ausmaskiert [ "acht", "Max", "eins", "sieben", "vier</span><br", "vier", "zwei", "zwei</span><br", "eins</span><br", "fünf", "drei", "sechs", "fünf</span><br" ] Wenn ich JD dasselbe als Plain-Text parsen lasse, sieht es besser aus. Und dann würden auch komplexere Folgen von HTML-Steuerzeichen nicht dazu führen, dass manche Passwörter ausgelassen werden. Wie schon gesagt: Das Parsen nach Passwörtern sollte nur in Plain-Text erfolgen. D.h. den HTML-Source zuvor in Plaintext umwandeln - natürlich ausschließlich für die Passwort-Suche. [ "acht", "Max", "eins", "vier", "zwei", "sieben", "fünf", "drei", "sechs" ]
|
|
#14
04.02.2023, 13:32
|
|||
|
|||
|
Quote:
|
|
#15
13.02.2023, 16:53
|
||||
|
||||
|
Quote:
So, wie du es beschreibst, stehen im Clipboard "nebeneinander" Quelltext und Plain Text als separate Inhalte? Und wenn du dich da gut auskennen solltest, noch eine ergänzende Frage, teilweise off topic, aber doch in diesem Zusammenhang: Wenn ich z.B. einer Textdatei (Plain Text) Inhalte hinzufüge - z.B. im CMD durch Umleitung von Ausgaben Code:
anyprogram.exe >> output.txt echo Beispiel-String >> output.txt Mit notepad++ wird aber immer noch alles korrekt angezeigt. Weißt du da Abhilfe, d.h. einen Weg zu verhindern, dass die Windows-Algorithmen ANSI "erraten" obwohl es immer noch UTF-8 ist? Und zurück zum ersten Punkt... Klar ist, dass wenn ich z.B. aus einem Browser nach Word oder Excel kopiere, dort Formatierungen, Links, etc, eingefügt werden - außer ich wähle nur Text. Bei JD wird beim Einkopieren in den LinkGrabber offensichtlich immer der Quellcode ausgewertet bzw. geparsed. Sonst könnten ja auch nicht alles Links gefunden werden.
|
|
#16
13.02.2023, 16:39
|
|||||
|
|||||
|
Quote:
Quote:
Quote:
@StefanM Das einzige was neben deiner Bitte, eingefügten Text (optional) für die Passwortsuche vom html Code zu befreien hier als konkreten Verbesserungsvorschlag sehe ist, dass "Max Mustermann" ebenfalls als Passwort erkannt werden _könnte_. Das ist aber auch wieder schwierig: Passwörter können zwar Leeerzeichen enthalten, tun dies aber in der Praxis eher selten. Man stelle sich folgendes Beispiel vor: Code:
Passwort: dasIstMeinPasswort Achtung Groß-/Kleinschreibung beachten!! Code:
dasIstMeinPasswort Code:
dasIstMeinPasswort Achtung Groß-/Kleinschreibung beachten!! Code:
dasIstMeinPasswort Achtung Groß-/Kleinschreibung beachten!!
__________________
JD Supporter, Plugin Dev. & Community Manager
JDownloader 2 Setup Download
Spoiler:
A users' JD crashes and the first thing to ask is: Quote:
Quote:
|
|
#17
13.02.2023, 17:01
|
||||
|
||||
|
Quote:
|
|
#18
13.02.2023, 18:09
|
||||
|
||||
|
Quote:
Wenn man html korrekt in Text umwandelt (also so, als wenn man z.B. mit STRG+A eine Webseite kopiert und dann in z.B. notepad einfügt), dann bleiben Passwörter wie z.B. "zwei</span><br" erhalten. Dein Gedankengang war wohl der, einfach alle html-Steuerzeichen zu entfernen. Aber so darf und kann man natürlich html nicht in Plain-Text umwandeln...
|
|
#19
13.02.2023, 17:35
|
||||
|
||||
|
Jiaz wird das am Ende entscheiden/kommentieren.
Hier meine Meinung zu dem Thema:
Und nochmal (ich glaube zum dritten Mal): Aus deinen Beispielen geht nach wie vor nicht hervor, welche konkreten Fälle du im _echten_Leben_ hast bei denen Passwörter nicht erkannt werden. Ich kann mittlerweile nur erahnen, dass es Fälle sind, in denen du HTML als Input hast, mehr nicht. Am Ende setzen wir alle deine Vorschläge um und die Passwörter in deinen konkreten Fällen, die du hier scheinbar nicht posten möchtest, werden noch immer nicht gefunden. Da JDownloader open source ist, darfst du dir gerne eine Version bauen, die jeglichen input von den HTML Tags befreit und die Passwörter dort herausholt und dann dein Feedback dazu hier posten.
__________________
JD Supporter, Plugin Dev. & Community Manager
JDownloader 2 Setup Download
Spoiler:
A users' JD crashes and the first thing to ask is: Quote:
Quote:
|
|
#20
13.02.2023, 18:30
|
||||
|
||||
|
Quote:
... auch von mir nochmal (auch zum dritten Mal  ): Ich benötige die Funktion nicht. Ich wollte sie deshalb auch nur deaktivieren können, mehr nicht.Wie seinerzeit auch direkt erläutert, war mir aufgefallen, dass beim Einkopieren von html-Passagen in den LinkGrabber diverse Textbruchstücke als vermeintliche Passwörter angezeigt wurden und den Ordner 'archives' gefüllt haben. Nur - und das schreibe ich jetzt auch mindestens zum zweiten Mal - in dem Zusammenhang interessierten mich die Algorithmen und RegEx's für eine ganz andere Anwendung, in der ich auch bestimmte Begriffe/Strings automatisiert aus Dokumenten extrahieren/zuordnen wollte. Und in der Diskussion und den von dir erhaltenen Infos fielen mir dann Punkte auf, die man imho optimieren/korrigieren könnte, wenn man denn eine automatische Passworterkennung verbessern und fehlerfreier gestalten möchte. Als ersten, einfachen Schritt hatte ich das Parsen von Plain-Text statt von html angeregt. Denn nur Text, und nicht html, sieht ja auch der Anwender, der manuell ein Passwort auf einer Webseite liest. Dehalb habe ich mich erdreistet  zu sagen, dass zur Passwort-Extraktion das Parsen von html suboptimal sei...Aber auch ich glaube, dass diese Passwort-Funktion kaum jemand verwendet, obgleich während ihrer Entwicklung ja Bedarf bestanden haben muss.
|
 |
| Thread Tools | |
| Display Modes | |
|
|
Hybrid Mode
