JDownloader Community - Appwork GmbH
 

Reply
 
Thread Tools Display Modes
  #1  
Old 12.07.2022, 13:54
netdudunet netdudunet is offline
Tornado
 
Join Date: Aug 2009
Location: N/A
Posts: 247
Default Linkcrawler bei data-load.in

hallo zusammen,

ich möchte gerne meinen linkcrawler aktualisieren, aber bei data-load.in bekomme ich einfach keine links in den JD gecrawlt. kann mir bitte jemand helfen?
mein pattern sieht aktuell so aus:

beispiellink: **External links are only visible to Support Staff****External links are only visible to Support Staff**

{
"cookies" : [["xf_session","SESSION_wert"],
["xf_user","USER_wert"],
["xf_csrf","CSRF_wert"]
],
"enabled" : true,
"name" : "dataloadin",
"pattern" : "http?s://www\\.data-load\\.in/threads/[a-zA-Z0-9\\-.]+/",
"rule" : "DEEPDECRYPT"
}

habs auch mit "http?s://www\\.data-load\\.in/threads/[a-zA-Z0-9\\-]+/\\.\\d+/" versucht, ohne erfolg.

aber scheinbar genügt das nicht, um JD den benötigten zugang zur seite zu verschaffen. habt ihr eine idee dazu?

vielen dank und viele grüße
steven
Reply With Quote
  #2  
Old 12.07.2022, 14:04
pspzockerscene's Avatar
pspzockerscene pspzockerscene is offline
Community Manager
 
Join Date: Mar 2009
Location: Deutschland
Posts: 64,067
Default

Hi,
ohne Zugang zur Seite kann ich das nicht vernünftig testen.
Bitte schicke mir deine data-load Zugangsdaten per PN oder an: psp@jdownloader.org.

Grüße, psp
__________________
JD Supporter, Plugin Dev. & Community Manager
JDownloader 2 Setup Download
Spoiler:

A users' JD crashes and the first thing to ask is:
Quote:
Originally Posted by Jiaz View Post
Do you have Nero installed?
That's true James
Quote:
Originally Posted by James
Die Leute verstehen einfach nicht dass nur weil man mit einer Waffe auch auf Menschen schießen kann dass ein Schützenver​ein kein Ort für Amoklaufide​en ist
Reply With Quote
  #3  
Old 12.07.2022, 14:41
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 78,598
Default

@netdudunet: Du kannst mittels einfügen von
Quote:
"logging": true
das Logging für diese Regel aktivieren. Sicher das die Links normal im HTML enthalten sind ohne Kürzer/Versteck-Domain/Javascript?
Schick die Zugangsdaten an pspzockerscene und er wird das prüfen können
__________________
JD-Dev & Server-Admin
Reply With Quote
  #4  
Old 12.07.2022, 14:59
netdudunet netdudunet is offline
Tornado
 
Join Date: Aug 2009
Location: N/A
Posts: 247
Default

Quote:
Originally Posted by Jiaz View Post
@netdudunet: Du kannst mittels einfügen von

das Logging für diese Regel aktivieren. Sicher das die Links normal im HTML enthalten sind ohne Kürzer/Versteck-Domain/Javascript?
Schick die Zugangsdaten an pspzockerscene und er wird das prüfen können
danke, ich probier´s nachher mal aus.
die links liegen meist direkt als text/html vor, manchmal hinter einem linkcrypter. beides funktioniert auf anderen seiten wunderbar. selbst auf byte.to oder
gar **External links are only visible to Support Staff****External links are only visible to Support Staff** lassen sich die links direkt rausziehen (hier sogar ohne die links vorher aktivieren zu müssen). allerdings funktionieren die auch ohne login

viele grüße
steven
Reply With Quote
  #5  
Old 12.07.2022, 15:13
pspzockerscene's Avatar
pspzockerscene pspzockerscene is offline
Community Manager
 
Join Date: Mar 2009
Location: Deutschland
Posts: 64,067
Default

Deine beiden im letzten Post erwähnten Beispiele/Seiten funktionieren automatisch, da es Plugins dafür gibt.
Es gibt kein Plugin für data-load.in daher musst du über LinkCrawler Regeln oder entsprechende Browser-Addons gehen.

Evtl. ist folgendes für dich auch hilfreich:
Chrome Addon "Link Gopher" - listet mit zwei Klicks alle Links einer Webseite auf und man kann auch Filter einstellen.

*komfortabler ist jedoch eine funktionierende LinkCrawler Regel wenn du mich fragst.

Grüße, psp
__________________
JD Supporter, Plugin Dev. & Community Manager
JDownloader 2 Setup Download
Spoiler:

A users' JD crashes and the first thing to ask is:
Quote:
Originally Posted by Jiaz View Post
Do you have Nero installed?
That's true James
Quote:
Originally Posted by James
Die Leute verstehen einfach nicht dass nur weil man mit einer Waffe auch auf Menschen schießen kann dass ein Schützenver​ein kein Ort für Amoklaufide​en ist
Reply With Quote
  #6  
Old 12.07.2022, 15:22
netdudunet netdudunet is offline
Tornado
 
Join Date: Aug 2009
Location: N/A
Posts: 247
Default

ich habe dir die zugangsdaten vorhin per mail geschickt, vielleicht findest du ja zeit dir das anzuschauen, ich möchte gerne eine regel im linkcrawler erstellen.

danke
Reply With Quote
  #7  
Old 12.07.2022, 15:25
netdudunet netdudunet is offline
Tornado
 
Join Date: Aug 2009
Location: N/A
Posts: 247
Default

hmm, für **External links are only visible to Support Staff****External links are only visible to Support Staff** konnte ich kein plugin finden. die seite hat auch erst funktioniert, nachdem ich eine linkcrawler-regel erstellt habe.
Reply With Quote
  #8  
Old 12.07.2022, 15:29
pspzockerscene's Avatar
pspzockerscene pspzockerscene is offline
Community Manager
 
Join Date: Mar 2009
Location: Deutschland
Posts: 64,067
Default

Doch dafür gibt es ein Plugin und dein Link wird hier ohne Regel gehandelt.
Siehe auch:
https://board.jdownloader.org/showthread.php?t=90551

Du hast vermutlich z.B. in den Plugineinstellungen geschaut und die Liste dort für eine vollständige Liste gehalten -> Ist nicht der Fall und ist hier erklärt:
https://support.jdownloader.org/Know...bsites-plugins
__________________
JD Supporter, Plugin Dev. & Community Manager
JDownloader 2 Setup Download
Spoiler:

A users' JD crashes and the first thing to ask is:
Quote:
Originally Posted by Jiaz View Post
Do you have Nero installed?
That's true James
Quote:
Originally Posted by James
Die Leute verstehen einfach nicht dass nur weil man mit einer Waffe auch auf Menschen schießen kann dass ein Schützenver​ein kein Ort für Amoklaufide​en ist
Reply With Quote
  #9  
Old 12.07.2022, 15:37
pspzockerscene's Avatar
pspzockerscene pspzockerscene is offline
Community Manager
 
Join Date: Mar 2009
Location: Deutschland
Posts: 64,067
Default

Hier ist eine Regel, die funktioniert:
Code:
[
  {
    "enabled": true,
    "cookies": [
      [
        "xf_session",
        "ZENSIERT"
      ]
    ],
    "updateCookies": true,
    "logging": false,
    "maxDecryptDepth": 1,
    "name": "example rule for data-load.in",
    "pattern": "https?://www\\.data-load\\.in/threads/[a-z0-9\\-]+\\.[0-9]+/",
    "rule": "DEEPDECRYPT",
    "packageNamePattern": "<title>(.*?)</title>",
    "deepPattern": "<a href=\"(https?://[^\"]+)\" target=\"_blank\" class=\"link link--external\""
  }
]
Zum einfacheren Kopieren als plaintext:
pastebin.com/raw/pDsKMdJv

data-load benutzt dieselbe Forensoftware wie "khinsider" daher ist die Regel was den Cookie Teil betrifft ähnlich dieser.
(Bei khinsider wurden aus verschiedenen Gründen mehrere Regeln benötigt.)

Sobald die Regel bei dir funktioniert, kannst du dein Passwort ändern - ich brauche deinen Account nicht mehr.

Grüße, psp
__________________
JD Supporter, Plugin Dev. & Community Manager
JDownloader 2 Setup Download
Spoiler:

A users' JD crashes and the first thing to ask is:
Quote:
Originally Posted by Jiaz View Post
Do you have Nero installed?
That's true James
Quote:
Originally Posted by James
Die Leute verstehen einfach nicht dass nur weil man mit einer Waffe auch auf Menschen schießen kann dass ein Schützenver​ein kein Ort für Amoklaufide​en ist
Reply With Quote
Reply

Thread Tools
Display Modes

Posting Rules
You may not post new threads
You may not post replies
You may not post attachments
You may not edit your posts

BB code is On
Smilies are On
[IMG] code is On
HTML code is Off

Forum Jump

All times are GMT +2. The time now is 13:07.
Provided By AppWork GmbH | Privacy | Imprint
Parts of the Design are used from Kirsch designed by Andrew & Austin
Powered by vBulletin® Version 3.8.10 Beta 1
Copyright ©2000 - 2022, Jelsoft Enterprises Ltd.