JDownloader Community - Appwork GmbH
 

Notices

Reply
 
Thread Tools Display Modes
  #61  
Old 30.11.2020, 13:13
mgpai mgpai is offline
Script Master
 
Join Date: Sep 2013
Posts: 1,059
Default

@Jiaz: Since the "packagzier link' can already be accessed using "Packagizer Hook", would it be possible for the "A new link has been added" trigger to return "crawled link", instead of "packagizer link"? The workaround currently used in the script to get the crawled link in realtime, could also be causing high memory/cpu usage.
Reply With Quote
  #62  
Old 30.11.2020, 13:46
Dockel Dockel is offline
Storm
 
Join Date: Feb 2020
Posts: 215
Default

Quote:
@Dockel: Könntest mir wieder ne neuere Threaddrump Datei schicken? Weiterhin mit dem selben Input? Mit oder ohne Eventscripts?
Ja, natürlich, gleiche Vorgehensweise wie zuvor:
30.11.20 12.00.15 <--> 30.11.20 12.40.36 jdlog://7668425302851/

Quote:
@Jiaz: Since the "packagzier link' can already be accessed using "Packagizer Hook", would it be possible for the "A new link has been added" trigger to return "crawled link", instead of "packagizer link"? The workaround currently used in the script to get the crawled link in realtime, could also be causing high memory/cpu usage.
I had turned off all of the scripts for some (not for all) of the tests, so the links were added without using any script.
__________________
Aktuelles Windows
Reply With Quote
  #63  
Old 30.11.2020, 18:08
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 69,349
Default

Erneut mit dem nächsten Update testen, diesmal frisst ein anderes Pattern die CPU. Ich hab diese ebenfalls mal überarbeitet.
__________________
JD-Dev & Server-Admin
Reply With Quote
  #64  
Old 30.11.2020, 19:41
Dockel Dockel is offline
Storm
 
Join Date: Feb 2020
Posts: 215
Default

Ja, mache ich.

Erstaunlich aber, dass offenbar noch niemand anderes davon berichtet hat, vor allem, da ich dieses Verhalten ja bestimmt schon seit Jahren oder noch länger habe.
__________________
Aktuelles Windows
Reply With Quote
  #65  
Old 30.11.2020, 19:47
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 69,349
Default

Pattern können im *normalen* Fall wunderbar funktionieren und dann kommt auf einmal ein Dockel daher siehe auch
blog.cloudflare.com/details-of-the-cloudflare-outage-on-july-2-2019/
__________________
JD-Dev & Server-Admin
Reply With Quote
  #66  
Old 30.11.2020, 20:13
Dockel Dockel is offline
Storm
 
Join Date: Feb 2020
Posts: 215
Default

...und ruiniert den schönen JD von vorne bis hinten mit übermäßiger Auslastung...den Fehler bei Cloudflare kann ich ja noch verstehen, solche Fehler können eben einfach passieren. Aber auch andere müssten doch das gleich Problem wie ich gehabt haben...genau wie das time out-Problem im anderen Thread bei zippy, uloz...hätte gedacht, irgend jemand wird's schon berichten....bzw. eines Tages wird es eben verschwinden...oder es soll so oder kann nicht anders gehandhabt werden.
__________________
Aktuelles Windows
Reply With Quote
  #67  
Old 30.11.2020, 20:17
pspzockerscene's Avatar
pspzockerscene pspzockerscene is online now
Community Manager
 
Join Date: Mar 2009
Location: Deutschland
Posts: 55,904
Default

Quote:
Originally Posted by Dockel View Post
....hätte gedacht, irgend jemand wird's schon berichten....bzw. eines Tages wird es eben verschwinden...
Genau das!

Ich lese immer mal wieder Reports im Forum in denen steht "Seit X Monaten habe ich Problem XY" - scheinbar halten viele User solche Probleme sehr lange aus, denken, das sei so normal oder "wird schon irgendwer anders melden"

Grüße, psp
__________________
JD Supporter, Plugin Dev. & Community Manager

Erste Schritte & Tutorials || JDownloader 2 Setup Download
Spoiler:

A users' JD crashes and the first thing to ask is:
Quote:
Originally Posted by Jiaz View Post
Do you have Nero installed?
That's true James
Quote:
Originally Posted by James
Die Leute verstehen einfach nicht dass nur weil man mit einer Waffe auch auf Menschen schießen kann dass ein Schützenver​ein kein Ort für Amoklaufide​en ist
Reply With Quote
  #68  
Old 30.11.2020, 20:27
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 69,349
Default

@Dockel: Update geht gleich live
__________________
JD-Dev & Server-Admin
Reply With Quote
  #69  
Old 30.11.2020, 20:33
Dockel Dockel is offline
Storm
 
Join Date: Feb 2020
Posts: 215
Default

Quote:
Ich lese immer mal wieder Reports im Forum in denen steht "Seit X Monaten habe ich Problem XY" - scheinbar halten viele User solche Probleme sehr lange aus, denken, das sei so normal oder "wird schon irgendwer anders melden"
Ja, bei der vermuteten Menge (die ich überhaupt nicht einschätzen kann) an Nutzern ja auch nicht verwunderlich, so zu denken. Vor allem bei so vermeintlich offensichtlichen Verhalten.

Quote:
@Dockel: Update geht gleich live
Das ging ja ganz schön schnell. Ja, probiere ich dann gleich erneut.
__________________
Aktuelles Windows
Reply With Quote
  #70  
Old 30.11.2020, 20:38
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 69,349
Default

@Dockel: ist live
__________________
JD-Dev & Server-Admin
Reply With Quote
  #71  
Old 30.11.2020, 21:11
Dockel Dockel is offline
Storm
 
Join Date: Feb 2020
Posts: 215
Default

Funktioniert immer noch nicht, ist wohl wie vorher:

30.11.20 20.04.29 <--> 30.11.20 20.10.27 jdlog://8978425302851/
__________________
Aktuelles Windows
Reply With Quote
  #72  
Old 01.12.2020, 11:56
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 69,349
Default

@Dockel: Log zeigt das meine Fixes alle funktionieren und diesmal das Eventscript der schuldige ist. Da sind etliche Threads damit beschäftigt eine Datei einzulesen. Der Linkcrawler ist schon durch und wartet nur noch darauf das die restlichen Links abgearbeitet sind, welche alle auf die fertige Bearbeitung durch das Script warten. Ich würde hier empfehlen das Skript zu optimieren das nicht für jeden Link erneut die Datei geladen/geschrieben wird sondern einmal die Datei einlesen und dann schnell aus dem Speicher arbeiten. Hier am besten mgpai um Rat/Hilfe fragen. Er kann dann für nötige Befehle mich kontaktieren.
Du kannst dir die ThreadDump Datei anschauen, da sind alle laufenden Threads zu sehen
__________________
JD-Dev & Server-Admin
Reply With Quote
  #73  
Old 01.12.2020, 12:15
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 69,349
Default

Welches Skript ist da denn bei "New Link has been added"?
__________________
JD-Dev & Server-Admin
Reply With Quote
  #74  
Old 01.12.2020, 12:30
Dockel Dockel is offline
Storm
 
Join Date: Feb 2020
Posts: 215
Default

Das müsste dieses hier sein:

Quote:
Link-Duplikate nicht laden 3 - If download link is present in history file, mark it as duplicate (add "#duplicatelink" to comment)
Code:
// 2020.07.09 : Linkgrabber Tab
// If download link is present in history file, mark it as duplicate (add "#duplicatelink" to comment)
// Trigger required: A new link has been added

if (link.host != "linkcrawlerretry") {
    var url = link.host == "youtube.com" ? link.getProperty("URL_CONTAINER") : link.URL,
        historyFile = getPath(JD_HOME + "/cfg/history.txt"),
        history = historyFile.exists() ? readFile(historyFile) : "";

    if (history.indexOf(url) > -1) {
        var text = "#duplicatelink"
        var comment = link.comment ? text + " " + comment : text;

        link.comment = comment;
        link.setEnabled(false);
        // Doppelte Links - schon runtergeladen
    }
}
Wohl meinte mgpai tatsächlich eben dieses Skript:

Quote:
@Jiaz: Since the "packagzier link' can already be accessed using "Packagizer Hook", would it be possible for the "A new link has been added" trigger to return "crawled link", instead of "packagizer link"? The workaround currently used in the script to get the crawled link in realtime, could also be causing high memory/cpu usage.
https://board.jdownloader.org/showpo...8&postcount=61
__________________
Aktuelles Windows

Last edited by Dockel; 01.12.2020 at 12:35.
Reply With Quote
  #75  
Old 01.12.2020, 12:35
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 69,349
Default

Welches Script schreib in die Datei?
__________________
JD-Dev & Server-Admin
Reply With Quote
  #76  
Old 01.12.2020, 12:37
Dockel Dockel is offline
Storm
 
Join Date: Feb 2020
Posts: 215
Default

In history.txt?

Das könnte das oben genannte sein, könnte ich mir vorstellen. Aber aber das weiß mgpai mit Bestimmtheit.
__________________
Aktuelles Windows

Last edited by Dockel; 01.12.2020 at 12:39.
Reply With Quote
  #77  
Old 01.12.2020, 12:37
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 69,349
Default

Genau, dann schau ich mal ob ich mit meinem bisschen Skript Wissen da was optimieren kann
__________________
JD-Dev & Server-Admin
Reply With Quote
  #78  
Old 01.12.2020, 12:45
Dockel Dockel is offline
Storm
 
Join Date: Feb 2020
Posts: 215
Default

Ah super, vielen Dank!

Das Skript ist eines von insgesamt 6 oder 5, die zusammengehören, -arbeiten. Es könnte also auch sein, dass in einem der anderen dieser Skripte noch Code enthalten ist, der das beeinflußt.
__________________
Aktuelles Windows
Reply With Quote
  #79  
Old 01.12.2020, 12:50
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
 
Join Date: Mar 2009
Location: Germany
Posts: 69,349
Default

@Dockel: Könntest du mal schauen in welchem Skript in die history.txt geschrieben wird? Und es dann zeigen?
__________________
JD-Dev & Server-Admin
Reply With Quote
  #80  
Old 01.12.2020, 14:05
Dockel Dockel is offline
Storm
 
Join Date: Feb 2020
Posts: 215
Default

Ja, aber woran kann ich das erkennen?
__________________
Aktuelles Windows
Reply With Quote
Reply

Thread Tools
Display Modes

Posting Rules
You may not post new threads
You may not post replies
You may not post attachments
You may not edit your posts

BB code is On
Smilies are On
[IMG] code is On
HTML code is Off

Forum Jump

All times are GMT +2. The time now is 18:19.
Provided By AppWork GmbH | Privacy | Imprint
Parts of the Design are used from Kirsch designed by Andrew & Austin
Powered by vBulletin® Version 3.8.10 Beta 1
Copyright ©2000 - 2021, Jelsoft Enterprises Ltd.