Im Prinzip geht das, Du musst sowohl EGroupware als auch Rocket.Chat das nicht offiziell gültig Zertifikat bzw. die ausstellende CA zur Kenntnis bringen.
Wie das geht habe ich in den docker-compose.override.yml Dateien dokumentiert.
Im Zeitalter von LetsEncrypt ist das, meiner Meinung, allerdings eine ziemlich unnötige Fleißarbeit!
Ralf