Du könntest evtl mal neue Java11/13 Versionen testen. Evtl sind da Optimierungen für TLS und ARM CPUs enthalten was dann zur Entlastung der CPU geht. Feedback hierzu wäre nice
Ansonsten müsste man prüfen ob man beim Verbindungsaufbau weniger CPU-lastige Cipher *erzwingen* kann.