[mgpai]

@Jiaz: Since the "packagzier link' can already be accessed using "Packagizer Hook", would it be possible for the "A new link has been added" trigger to return "crawled link", instead of "packagizer link"? The workaround currently used in the script to get the crawled link in realtime, could also be causing high memory/cpu usage.

[Dockel]

@Dockel: Könntest mir wieder ne neuere Threaddrump Datei schicken? Weiterhin mit dem selben Input? Mit oder ohne Eventscripts?

Ja, natürlich, gleiche Vorgehensweise wie zuvor:
30.11.20 12.00.15 <--> 30.11.20 12.40.36 jdlog://7668425302851/

@Jiaz: Since the "packagzier link' can already be accessed using "Packagizer Hook", would it be possible for the "A new link has been added" trigger to return "crawled link", instead of "packagizer link"? The workaround currently used in the script to get the crawled link in realtime, could also be causing high memory/cpu usage.

I had turned off all of the scripts for some (not for all) of the tests, so the links were added without using any script.

[Jiaz]

Erneut mit dem nächsten Update testen, diesmal frisst ein anderes Pattern die CPU. Ich hab diese ebenfalls mal überarbeitet.

[Dockel]

Ja, mache ich.

Erstaunlich aber, dass offenbar noch niemand anderes davon berichtet hat, vor allem, da ich dieses Verhalten ja bestimmt schon seit Jahren oder noch länger habe.

[Jiaz]

Pattern können im *normalen* Fall wunderbar funktionieren und dann kommt auf einmal ein Dockel daher siehe auch
blog.cloudflare.com/details-of-the-cloudflare-outage-on-july-2-2019/

[Dockel]

...und ruiniert den schönen JD von vorne bis hinten mit übermäßiger Auslastung...den Fehler bei Cloudflare kann ich ja noch verstehen, solche Fehler können eben einfach passieren. Aber auch andere müssten doch das gleich Problem wie ich gehabt haben...genau wie das time out-Problem im anderen Thread bei zippy, uloz...hätte gedacht, irgend jemand wird's schon berichten....bzw. eines Tages wird es eben verschwinden...oder es soll so oder kann nicht anders gehandhabt werden.

[pspzockerscene]

Originally Posted by Dockel

....hätte gedacht, irgend jemand wird's schon berichten....bzw. eines Tages wird es eben verschwinden...

Genau das!

Ich lese immer mal wieder Reports im Forum in denen steht "Seit X Monaten habe ich Problem XY" - scheinbar halten viele User solche Probleme sehr lange aus, denken, das sei so normal oder "wird schon irgendwer anders melden"

Grüße, psp

[Jiaz]

@Dockel: Update geht gleich live

[Dockel]

Ich lese immer mal wieder Reports im Forum in denen steht "Seit X Monaten habe ich Problem XY" - scheinbar halten viele User solche Probleme sehr lange aus, denken, das sei so normal oder "wird schon irgendwer anders melden"

Ja, bei der vermuteten Menge (die ich überhaupt nicht einschätzen kann) an Nutzern ja auch nicht verwunderlich, so zu denken. Vor allem bei so vermeintlich offensichtlichen Verhalten.

@Dockel: Update geht gleich live

Das ging ja ganz schön schnell. Ja, probiere ich dann gleich erneut.

[Jiaz]

@Dockel: ist live

[Dockel]

Funktioniert immer noch nicht, ist wohl wie vorher:

30.11.20 20.04.29 <--> 30.11.20 20.10.27 jdlog://8978425302851/

[Jiaz]

@Dockel: Log zeigt das meine Fixes alle funktionieren und diesmal das Eventscript der schuldige ist. Da sind etliche Threads damit beschäftigt eine Datei einzulesen. Der Linkcrawler ist schon durch und wartet nur noch darauf das die restlichen Links abgearbeitet sind, welche alle auf die fertige Bearbeitung durch das Script warten. Ich würde hier empfehlen das Skript zu optimieren das nicht für jeden Link erneut die Datei geladen/geschrieben wird sondern einmal die Datei einlesen und dann schnell aus dem Speicher arbeiten. Hier am besten mgpai um Rat/Hilfe fragen. Er kann dann für nötige Befehle mich kontaktieren.
Du kannst dir die ThreadDump Datei anschauen, da sind alle laufenden Threads zu sehen

[Jiaz]

Welches Skript ist da denn bei "New Link has been added"?

[Dockel]

Das müsste dieses hier sein:

Link-Duplikate nicht laden 3 - If download link is present in history file, mark it as duplicate (add "#duplicatelink" to comment)

// 2020.07.09 : Linkgrabber Tab
// If download link is present in history file, mark it as duplicate (add "#duplicatelink" to comment)
// Trigger required: A new link has been added

if (link.host != "linkcrawlerretry") {
    var url = link.host == "youtube.com" ? link.getProperty("URL_CONTAINER") : link.URL,
        historyFile = getPath(JD_HOME + "/cfg/history.txt"),
        history = historyFile.exists() ? readFile(historyFile) : "";

    if (history.indexOf(url) > -1) {
        var text = "#duplicatelink"
        var comment = link.comment ? text + " " + comment : text;

        link.comment = comment;
        link.setEnabled(false);
        // Doppelte Links - schon runtergeladen
    }
}

Wohl meinte mgpai tatsächlich eben dieses Skript:

@Jiaz: Since the "packagzier link' can already be accessed using "Packagizer Hook", would it be possible for the "A new link has been added" trigger to return "crawled link", instead of "packagizer link"? The workaround currently used in the script to get the crawled link in realtime, could also be causing high memory/cpu usage.

https://board.jdownloader.org/showpo...8&postcount=61

[Jiaz]

Welches Script schreib in die Datei?

[Dockel]

In history.txt?

Das könnte das oben genannte sein, könnte ich mir vorstellen. Aber aber das weiß mgpai mit Bestimmtheit.

[Jiaz]

Genau, dann schau ich mal ob ich mit meinem bisschen Skript Wissen da was optimieren kann

[Dockel]

Ah super, vielen Dank!

Das Skript ist eines von insgesamt 6 oder 5, die zusammengehören, -arbeiten. Es könnte also auch sein, dass in einem der anderen dieser Skripte noch Code enthalten ist, der das beeinflußt.

[Jiaz]

@Dockel: Könntest du mal schauen in welchem Skript in die history.txt geschrieben wird? Und es dann zeigen?

[Dockel]

Ja, aber woran kann ich das erkennen?