JDownloader Community - Appwork GmbH
 

Reply
 
Thread Tools Display Modes
  #1  
Old 06.10.2022, 00:35
German123 German123 is offline
Vacuum Cleaner
  
Join Date: Nov 2019
Posts: 17
Default TikTok.com Dateibezeichnung (Datum)
Mal wieder.

Seit Oktober hat der Filegrabber plötzlich wieder Probleme, das Datum anzuhängen. Bei allen Videos vor Oktober keine Probleme.

Die Tipps aus diesem Thread
https://board.jdownloader.org/showthread.php?t=91122
Hatte ich schon drin.

edit: Von der Website zumindest, wenn ich den API-Modus aktiviere, macht er gar nichts mehr, weil "Plugin veraltet"

vorsichtshalber edit nochmal am Beispiel:
**External links are only visible to Support Staff****External links are only visible to Support Staff** Oktober
**External links are only visible to Support Staff****External links are only visible to Support Staff** September
Last edited by German123; 06.10.2022 at 01:56.
Reply With Quote
  #2  
Old 06.10.2022, 09:45
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
  
Join Date: Mar 2009
Location: Germany
Posts: 79,044
Default
@German123: Danke für die Meldung! Habe einen Fehler im Workaround gefunden. Das Datum kommt zuverlässig via API (mit dem nächsten Core Update) oder über einen HTTP Header, welcher falsch verarbeitet wurde und daher klappt das Datum nicht. Es liegt nicht am Monat welcher in Systemsprache geparst wird, aber in Englisch vorhanden ist. Sep(Englisch) und Sep(Deutsch) passt, aber Oct(Englisch) und Okt(Deutsch) eben nicht. Mit dem nächsten Core Update ebenfalls fixed
__________________
JD-Dev & Server-Admin
Reply With Quote
  #3  
Old 06.10.2022, 16:11
German123 German123 is offline
Vacuum Cleaner
  
Join Date: Nov 2019
Posts: 17
Default
Na schön. Freut mich, dass das Problem so schnell ermittelt werden konnte.

Danke dir.
Reply With Quote
  #4  
Old 03.11.2022, 10:53
German123 German123 is offline
Vacuum Cleaner
  
Join Date: Nov 2019
Posts: 17
Default
Weiß man denn schon, wann man mit dem Update rechnen kann?
Reply With Quote
  #5  
Old 25.11.2022, 12:23
cine cine is offline
Giga Loader
  
Join Date: Dec 2010
Posts: 92
Default
Habe auch gerade wieder ein Problem mit TikTok.

Der Linksammler findet zwar die Links und fügt sie hinzu allerdings als offline Files und erst nach über 2 Minuten scrappen. Wenn ich den Download starte, dauert es auch ca. 30 sek. bis der Download startet und die Datei hat am Anfang nicht das Datum stehen wie sonst.

Sieht dann so aus _@Accountname_Zahlenfolge
Gestern war es noch Datum_@Accountname_Zahlenfolge.

Auch den Onlinestatus überprüfen ändert daran nichts.
**External links are only visible to Support Staff****External links are only visible to Support Staff** hier mal ein Beispiellink
Download und Crawl ist per Website Modus
Fast Linkcheck ist aus und Max Downloads auf 6 gestellt. Mit Fast Linkcheck scrappt er zwar direkt den Link und das als Online aber das Datum fehlt trotzdem vor dem Video und der Start des Downloads braucht wieder ca. 30 Sekunden.

Könnt ihr daran etwas ändern?
Reply With Quote
  #6  
Old 25.11.2022, 13:24
pspzockerscene's Avatar
pspzockerscene pspzockerscene is offline
Community Manager
  
Join Date: Mar 2009
Location: Deutschland
Posts: 66,691
Default
Sers cine,

Ich dachte erst du hättest wieder nen Bug gefunden, aber ich würde es diesmal nicht als Bug bezeichnen:
- Fast Linkcheck sorgt dafür, dass der Direktlink nicht geprüft wird und somit keine Filesize angezeigt wird bzw. auch der Fallback, das Datum dann aus dem "Last-Modified" Headerr zu holen greift somit nicht
- Zusätzlich dazu fehlt bei deinem Video im Webseitenmodus im json die Zeitangabe bzw. ist als "0" gelistet EDIT das ist laut Jiaz schon länger so

Das Fehlen des Datums ist in diesem Fall also kein Bug sondern die Konsequenz aus deinen Einsttellungen und der Zufall, dass genau dieses Video(?) im json auch kein Datum stehen hat.

Mögliche Lösungen:
- Häckchen bei "Enable fast linkcheck" entfernen
oder:
- Download mode auf "API" ändern

Grüße, psp
__________________
JD Supporter, Plugin Dev. & Community Manager
JDownloader 2 Setup Download
Spoiler:

A users' JD crashes and the first thing to ask is:
Quote:
Originally Posted by Jiaz View Post
Do you have Nero installed?
That's true James
Quote:
Originally Posted by James
Die Leute verstehen einfach nicht dass nur weil man mit einer Waffe auch auf Menschen schießen kann dass ein Schützenver​ein kein Ort für Amoklaufide​en ist
Last edited by pspzockerscene; 25.11.2022 at 13:48. Reason: Anrede hinzugefügt
Reply With Quote
  #7  
Old 25.11.2022, 13:48
cine cine is offline
Giga Loader
  
Join Date: Dec 2010
Posts: 92
Default
Das ist aber bei allen Videos so, die ich heute herunterladen wollte. Ohne Fast Linkcheck sagt der Linksammler nach 2 Minuten das die Datei offline ist bzw. hat sie ein Fragezeichen als Status. Der Start vom Download der jeweiligen Datei dauert wie gesagt dann auch ca. 30 sek. was gestern nicht so war. Downloads anderer Plattformen starten nahezu direkt (Youtube braucht auch immer einen kleinen Moment aber nicht so lange wie TikTok) Ich werde jetzt mal auf Api wechseln und schauen wie es sich dann verhält.

EDIT: Im API Modus scrappt er das Video direkt als Online und mit Datum im Titel. Der Download startet direkt. Gleiches Video ohne API, Scrappt er als offline und ohne Datum. Der Downloadstart dauert wieder ca. 30 Sekunden.

**External links are only visible to Support Staff****External links are only visible to Support Staff** hier mal besagtes Testvideo.

Wäre so ja zufrieden, da ich in der Regel nur öffentliche Videos herunterlade (glaube ich zumindest) leider fehlt das Wasserzeichen beim API Modus (so sehe ich den Kanalnamen und muss nicht warten bis der Dateiname im Windows Media Player angezeigt wird. Ich weiß ein Luxusproblem :D)
Last edited by cine; 25.11.2022 at 13:58.
Reply With Quote
  #8  
Old 25.11.2022, 13:50
pspzockerscene's Avatar
pspzockerscene pspzockerscene is offline
Community Manager
  
Join Date: Mar 2009
Location: Deutschland
Posts: 66,691
Default
Ich kann das Problem nicht nachstellen.
Evtl. mag tiktok es nicht (mehr), wenn man viele Video-Direktlinks in kurzer Zeit nachfragt.
Per API ist das Datum immer gegeben.

Es kann jedoch vorkommen, dass du über Videos stolperst, die nicht per API gehen (= JD zeigt sie als offline an).
Sollte das der Fall sein, werden wir ggf. nen Workaround für besagten Fall einbauen.
Tiktok sperrt mehr und mehr Downloadtools aus...
__________________
JD Supporter, Plugin Dev. & Community Manager
JDownloader 2 Setup Download
Spoiler:

A users' JD crashes and the first thing to ask is:
Quote:
Originally Posted by Jiaz View Post
Do you have Nero installed?
That's true James
Quote:
Originally Posted by James
Die Leute verstehen einfach nicht dass nur weil man mit einer Waffe auch auf Menschen schießen kann dass ein Schützenver​ein kein Ort für Amoklaufide​en ist
Reply With Quote
  #9  
Old 25.11.2022, 14:09
cine cine is offline
Giga Loader
  
Join Date: Dec 2010
Posts: 92
Default
Quote:
Originally Posted by pspzockerscene View Post
Ich kann das Problem nicht nachstellen.
Evtl. mag tiktok es nicht (mehr), wenn man viele Video-Direktlinks in kurzer Zeit nachfragt.
Per API ist das Datum immer gegeben.
.
Das lustige ist, es passierte direkt beim ersten Video, sollte eine Bestrafung ja eigentlich noch gar nicht greifen.

Naja muss ich wohl mit API leben, Hauptsache es wird gescrappt und direkt gedownloaded ohne 30 Sekunden Wartezeit.
Reply With Quote
  #10  
Old 25.11.2022, 14:14
pspzockerscene's Avatar
pspzockerscene pspzockerscene is offline
Community Manager
  
Join Date: Mar 2009
Location: Deutschland
Posts: 66,691
Default
Quote:
Originally Posted by cine View Post
Das lustige ist, es passierte direkt beim ersten Video, sollte eine Bestrafung ja eigentlich noch gar nicht greifen.
Du kannst es ja mal per Browser probieren und innerhalb von einigen Sekunden versuchen, viele Tiktok Videos zu starten.
Evtl. ist das eine extra Bot Erkennung, aber ich konnte das Problem nicht nachstellen.

Wie gesagt wenn das nur per API Mode nicht geht haben wir noch immer Möglichkeiten, weitere Workarounds einzubauen.
__________________
JD Supporter, Plugin Dev. & Community Manager
JDownloader 2 Setup Download
Spoiler:

A users' JD crashes and the first thing to ask is:
Quote:
Originally Posted by Jiaz View Post
Do you have Nero installed?
That's true James
Quote:
Originally Posted by James
Die Leute verstehen einfach nicht dass nur weil man mit einer Waffe auch auf Menschen schießen kann dass ein Schützenver​ein kein Ort für Amoklaufide​en ist
Reply With Quote
  #11  
Old 25.11.2022, 14:29
cine cine is offline
Giga Loader
  
Join Date: Dec 2010
Posts: 92
Default
API Mode ist ja der der geht, der Webseiten Mode zeigt ohne Fast Linkcheck die Videos als offline an und braucht für das Scrappen ca. 2 Minuten, der Download startet erst nach ca. 30 Sekunden. Mit Fast Linkcheck scrappt er direkt und als online gekennzeichnet aber der Download startet wieder erst nach ca. 30 Sekunden. Im Api Modus wird direkt gescrappt und das als Online und der Download startet direkt.
Reply With Quote
  #12  
Old 25.11.2022, 15:43
pspzockerscene's Avatar
pspzockerscene pspzockerscene is offline
Community Manager
  
Join Date: Mar 2009
Location: Deutschland
Posts: 66,691
Default
Ich habe extra Handling dafür eingebaut, sodass die Titel auch im Webseitenmodus mit aktiviertem schnellen Linkcheck beim Downloadstart korrigiert werden, falls das Datum vorher fehlte und dann doch noch gefunden wird.
Vor allem da tiktok Videos keine Titel haben, wird es wohl für die meisten User hilfreich sein, wenn das Datum gefunden wird und im Filename steht.

Bedenke bitte, dass das Datum bei älteren Videos im Webseitenmodus mit schnellem Linkcheck ggf. falsch ist, da tiktok irgendwann 2019 alle Video re-encoded oder serverseitig verschoben hat und somit das Datum im "Last-Modified" Header solcher Items überall gleich ist (soweit ich mich erinnere).

Wartest du auf einen angekündigten Bugfix oder ein neues Feature?
Updates werden nicht immer sofort bereitgestellt!
Bitte lies unser Update FAQ! | Please read our Update FAQ!
---
Are you waiting for recently announced changes to get released?
Updates to not necessarily get released immediately!
Bitte lies unser Update FAQ! | Please read our Update FAQ!

-psp-
EDIT

Also es wäre gut, wenn du uns ein paar tiktok Testlinks aus Jahren vor 2019 geben könntest.
__________________
JD Supporter, Plugin Dev. & Community Manager
JDownloader 2 Setup Download
Spoiler:

A users' JD crashes and the first thing to ask is:
Quote:
Originally Posted by Jiaz View Post
Do you have Nero installed?
That's true James
Quote:
Originally Posted by James
Die Leute verstehen einfach nicht dass nur weil man mit einer Waffe auch auf Menschen schießen kann dass ein Schützenver​ein kein Ort für Amoklaufide​en ist
Last edited by pspzockerscene; 25.11.2022 at 17:36.
Reply With Quote
  #13  
Old 25.11.2022, 22:23
cine cine is offline
Giga Loader
  
Join Date: Dec 2010
Posts: 92
Default
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**
**External links are only visible to Support Staff****External links are only visible to Support Staff**
Sind alle von 2018
Reply With Quote
  #14  
Old 26.11.2022, 16:08
Jiaz's Avatar
Jiaz Jiaz is offline
JD Manager
  
Join Date: Mar 2009
Location: Germany
Posts: 79,044
Default
@cine: Danke! schauen wir uns an
__________________
JD-Dev & Server-Admin
Reply With Quote
  #15  
Old 05.12.2022, 18:22
pspzockerscene's Avatar
pspzockerscene pspzockerscene is offline
Community Manager
  
Join Date: Mar 2009
Location: Deutschland
Posts: 66,691
Default
Hmm alle deine 2018er Testlinks führen zu Files, die an verschiedenen Daten 2020 geändert wurden und folglich ist das Datum in JD dann falsch:
Quote:
Last-Modified: Thu, 12 Mar 2020 00:ZENSIERT:ZENSIERT GMT
Da dieses Mal ein weiterer Request benötigt wird, um an das Datum zu kommen, werde ich dafür eine Einstellungsmöglichkeit einbauen.
Dafür muss in diesem Fall das Video direkt per Webseite aufgerufen werden was wegen dem tiktok "Anti Bot Captcha" auch öfter nicht geht...
__________________
JD Supporter, Plugin Dev. & Community Manager
JDownloader 2 Setup Download
Spoiler:

A users' JD crashes and the first thing to ask is:
Quote:
Originally Posted by Jiaz View Post
Do you have Nero installed?
That's true James
Quote:
Originally Posted by James
Die Leute verstehen einfach nicht dass nur weil man mit einer Waffe auch auf Menschen schießen kann dass ein Schützenver​ein kein Ort für Amoklaufide​en ist
Reply With Quote
  #16  
Old 05.12.2022, 18:35
pspzockerscene's Avatar
pspzockerscene pspzockerscene is offline
Community Manager
  
Join Date: Mar 2009
Location: Deutschland
Posts: 66,691
Default
Nachtrag:
Ich hab mich jetzt doch für einen Mittelweg entschieden, da eine extra Einstellung eben noch immer bedeuten würde, dass JD in vielen Situatiuonen im Webseitenmodus falsche Daten verwenden könnte.
Dies führt nun zu folgender Situation:
Ist der schnelle Linkcheck deaktiviert, kann unter Umständen ein falsches Datum im Linkcheck angezeigt werden, das dann beim Downloadstart ggf. korrigiert wird.

Das ist z.B. bei den obigen Testlinks der Fall.

Wartest du auf einen angekündigten Bugfix oder ein neues Feature?
Updates werden nicht immer sofort bereitgestellt!
Bitte lies unser Update FAQ! | Please read our Update FAQ!
---
Are you waiting for recently announced changes to get released?
Updates to not necessarily get released immediately!
Bitte lies unser Update FAQ! | Please read our Update FAQ!

-psp-
__________________
JD Supporter, Plugin Dev. & Community Manager
JDownloader 2 Setup Download
Spoiler:

A users' JD crashes and the first thing to ask is:
Quote:
Originally Posted by Jiaz View Post
Do you have Nero installed?
That's true James
Quote:
Originally Posted by James
Die Leute verstehen einfach nicht dass nur weil man mit einer Waffe auch auf Menschen schießen kann dass ein Schützenver​ein kein Ort für Amoklaufide​en ist
Reply With Quote
Reply

« Previous Thread | Next Thread »
Thread Tools
Display Modes
Hybrid Mode Hybrid Mode

Posting Rules
You may not post new threads
You may not post replies
You may not post attachments
You may not edit your posts
BB code is On
Smilies are On
[IMG] code is On
HTML code is Off
Forum Jump

All times are GMT +2. The time now is 07:39.
JDownloader Community Board - Archive - Top
Provided By AppWork GmbH | Privacy | Imprint
Parts of the Design are used from Kirsch designed by Andrew & Austin
Powered by vBulletin® Version 3.8.10 Beta 1
Copyright ©2000 - 2023, Jelsoft Enterprises Ltd.