Rocketchat ist nicht mehr erreichbar

[Andreas_Stein]

Hallo zusammen,
ich habe eGroupware 19.1 CE mit build vom 30.01.2020 am laufen - funktioniert alles bestens - bis auf rocketchat. Ich hatte hier von Beginn an das Problem, das jeder Benutzer im Avatarsymbol (oben rechts) ein kleines gelbes Ausrufezeichen angezeigt bekommen hat, bei dem, wenn mann mit der Maus drauf fährt der Text “Verbindungsfehler zum Rocket.Chat-Server!” angezeigt wurde. (Würde ich auch gerne mal wegbekommen) Dennoch hat der Rocketchat Server funktioniert, sowohl beim Aufruf aus eGRoupware heraus, als auch mit den APPs von iOS und Android, wobei die Authentifizierung beim Aufruf aus eGroupware heraus natürlich nicht ging. Als ich Rocket.Chat nun wieder mal benutzen wollte, bekomme ich sowohl direkt als auch aus eGRoupware heraus nur einen Proxy-Fehler vom Apache angezeigt:

was so aussieht, als ob der Rocketchat-Server garnicht mehr läuft. Geändert habe ich an den Einstellungen nichts, allerdings die üblichen Updates installiert. Wo kann ich nachsehen, waran es hängt? Freue mich über jeden Tip

Helau und viele Grüße
Andreas

[StefanU]

Hallo Andreas,

da war was…:

nginx depends on collabora and rocketchat to, otherwise they stop working after watchtower updated them (without nginx restart)

Ich weiß aber nicht, ob das etwas damit zu tun hat…

Was ist nach einem reboot des gesamten Systems?
Läuft der Container (docker ps -a)?

Stefan

[Andreas_Stein]

Hallo Stefan,
danke für die schnelle Antwort. “docker ps -a” hat mir schonmal geholfen. Den Server insgesamt hat ich gestern schon mehrmals neu gestartet. Wenn ich docker ps -a jetzt mehrmals aufrufe, erscheint unter STATUS bei allen anderen Containern UP 2 days, aber beim Rocketchatserver maximal “UP 3 min”, und bei mongo wird kontinuierlich “Restarting (100) xx seconds ago” angezeigt, so als ob die beiden Container permanent neu starten?

viele Grüße
Andreas

[StefanU]

aber beim Rocketchatserver maximal “UP 3 min”, und bei mongo wird kontinuierlich “Restarting (100) xx seconds ago” angezeigt, so als ob die beiden Container permanent neu starten?

Scheint so. Muss ich mal Ralf fragen…

Stefan

[RalfBecker]

Bei dem Commit ging es um etwas anders, wenn Watchtower den rocketchat Container updated, war dieser danach nicht mehr erreichbar, bei einer Installation direkt per docker-compose File, nicht Paket.

Wenn die MongoDB nicht (mehr) hoch kommt, würde ich mal dort in die Logs schauen:

cd /etc/egroupware-rocketchat
docker-compose logs -f

Ralf

[StefanU]

Liegt auf dem host in
/var/lib/docker/volumes/egroupware-rocketchat_mongo/_data
eine
mongodb.lock
?
Meckert die MongoDB in dem log über diese Datei?

Dann könntest du die Datei mal löschen und den Container wieder starten. Bitte nicht ohne Sicherung…

Stefan

[Andreas_Stein]

Guten Morgen Stefan,

In dem Verzeichnis liegt:

ls -l /var/lib/docker/volumes/egroupwarerocketchat_mongo/_data/
insgesamt 491556
-rw------- 1 vboxadd vboxsf 16777216 Dez 26 16:39 admin.0
-rw------- 1 vboxadd vboxsf 16777216 Dez 26 16:39 admin.ns
-rw------- 1 vboxadd vboxsf 16777216 Jan 17 05:23 config.0
-rw------- 1 vboxadd vboxsf 16777216 Jan 17 05:13 config.ns
drwx------ 2 vboxadd vboxsf 4096 Jan 17 05:23 diagnostic.data
drwx------ 2 vboxadd vboxsf 4096 Jan 17 05:23 journal
-rw------- 1 vboxadd vboxsf 16777216 Dez 20 05:01 local.0
-rw------- 1 vboxadd vboxsf 268435456 Jan 17 05:23 local.1
-rw------- 1 vboxadd vboxsf 16777216 Jan 17 05:23 local.ns
-rw------- 1 vboxadd vboxsf 2 Dez 20 05:01 mongod.lock
-rw------- 1 vboxadd vboxsf 16777216 Jan 17 05:23 rocketchat.0
-rw------- 1 vboxadd vboxsf 33554432 Jan 17 05:22 rocketchat.1
-rw------- 1 vboxadd vboxsf 67108864 Jan 17 05:12 rocketchat.2
-rw------- 1 vboxadd vboxsf 16777216 Jan 17 05:22 rocketchat.ns
-rw------- 1 vboxadd vboxsf 69 Sep 27 17:38 storage.bson

docker-compose logs -f liefert nach gefühlten 5 min durchlaufenden Text am Ende folgendes:

rocketchat | MongoNetworkError: failed to connect to server [mongo:27017] on first connect [Error: getaddrinfo ENOTFOUND mongo
rocketchat | at GetAddrInfoReqWrap.onlookup [as oncomplete] (dns.js:60:26) {
rocketchat | name: ‘MongoNetworkError’,
rocketchat | errorLabels: [Array],
rocketchat | [Symbol(mongoErrorContextSymbol)]: {}
rocketchat | }]
rocketchat | at Pool. (/app/bundle/programs/server/npm/node_modules/meteor/npm-mongo/node_modules/mongodb-core/lib/topologies/server.js:431:11)
rocketchat | at Pool.emit (events.js:210:5)
rocketchat | at /app/bundle/programs/server/npm/node_modules/meteor/npm-mongo/node_modules/mongodb-core/lib/connection/pool.js:557:14
rocketchat | at /app/bundle/programs/server/npm/node_modules/meteor/npm-mongo/node_modules/mongodb-core/lib/connection/connect.js:39:11
rocketchat | at callback (/app/bundle/programs/server/npm/node_modules/meteor/npm-mongo/node_modules/mongodb-core/lib/connection/connect.js:261:5)
rocketchat | at Socket. (/app/bundle/programs/server/npm/node_modules/meteor/npm-mongo/node_modules/mongodb-core/lib/connection/connect.js:286:7)
rocketchat | at Object.onceWrapper (events.js:300:26)
rocketchat | at Socket.emit (events.js:210:5)
rocketchat | at emitErrorNT (internal/streams/destroy.js:92:8)
rocketchat | at emitErrorAndCloseNT (internal/streams/destroy.js:60:3)
rocketchat | at processTicksAndRejections (internal/process/task_queues.js:80:21) {
rocketchat | name: ‘MongoNetworkError’,
rocketchat | errorLabels: [ ‘TransientTransactionError’ ],
rocketchat | [Symbol(mongoErrorContextSymbol)]: {}
rocketchat | }
rocketchat | Tried 25 times. Waiting 5 secs…
rocketchat | /app/bundle/programs/server/node_modules/fibers/future.js:313
rocketchat | throw(ex);
rocketchat | ^
rocketchat |
rocketchat | MongoNetworkError: failed to connect to server [mongo:27017] on first connect [Error: getaddrinfo ENOTFOUND mongo
rocketchat | at GetAddrInfoReqWrap.onlookup [as oncomplete] (dns.js:60:26) {
rocketchat | name: ‘MongoNetworkError’,
rocketchat | errorLabels: [Array],
rocketchat | [Symbol(mongoErrorContextSymbol)]: {}
rocketchat | }]
rocketchat | at Pool. (/app/bundle/programs/server/npm/node_modules/meteor/npm-mongo/node_modules/mongodb-core/lib/topologies/server.js:431:11)
rocketchat | at Pool.emit (events.js:210:5)
rocketchat | at /app/bundle/programs/server/npm/node_modules/meteor/npm-mongo/node_modules/mongodb-core/lib/connection/pool.js:557:14
rocketchat | at /app/bundle/programs/server/npm/node_modules/meteor/npm-mongo/node_modules/mongodb-core/lib/connection/connect.js:39:11
rocketchat | at callback (/app/bundle/programs/server/npm/node_modules/meteor/npm-mongo/node_modules/mongodb-core/lib/connection/connect.js:261:5)
rocketchat | at Socket. (/app/bundle/programs/server/npm/node_modules/meteor/npm-mongo/node_modules/mongodb-core/lib/connection/connect.js:286:7)
rocketchat | at Object.onceWrapper (events.js:300:26)
rocketchat | at Socket.emit (events.js:210:5)
rocketchat | at emitErrorNT (internal/streams/destroy.js:92:8)
rocketchat | at emitErrorAndCloseNT (internal/streams/destroy.js:60:3)
rocketchat | at processTicksAndRejections (internal/process/task_queues.js:80:21) {
rocketchat | name: ‘MongoNetworkError’,
rocketchat | errorLabels: [ ‘TransientTransactionError’ ],
rocketchat | [Symbol(mongoErrorContextSymbol)]: {}
rocketchat | }
rocketchat | Tried 26 times. Waiting 5 secs…
rocketchat-mongo exited with code 100
rocketchat exited with code 1

docker-compose logs -f | grep rocketchat-mongo liefert am Ende:

rocketchat-mongo | 2020-02-19T06:38:08.016+0000 I STORAGE [initandlisten] exception in initAndListen: Location12596: old lock file, terminating
rocketchat-mongo | 2020-02-19T06:38:08.016+0000 I NETWORK [initandlisten] shutdown: going to close listening sockets…
rocketchat-mongo | 2020-02-19T06:38:08.016+0000 I NETWORK [initandlisten] removing socket file: /tmp/mongodb-27017.sock
rocketchat-mongo | 2020-02-19T06:38:08.016+0000 I CONTROL [initandlisten] now exiting
rocketchat-mongo | 2020-02-19T06:38:08.016+0000 I CONTROL [initandlisten] shutting down with code:100
rocketchat-mongo | 2020-02-19T06:39:10.959+0000 I CONTROL [main] Automatically disabling TLS 1.0, to force-enable TLS 1.0 specify --sslDisabledProtocols 'none’
rocketchat-mongo | 2020-02-19T06:39:10.979+0000 I CONTROL [initandlisten] MongoDB starting : pid=1 port=27017 dbpath=/data/db 64-bit host=4df9c2762073
rocketchat-mongo | 2020-02-19T06:39:10.980+0000 I CONTROL [initandlisten] db version v4.0.16
rocketchat-mongo | 2020-02-19T06:39:10.980+0000 I CONTROL [initandlisten] git version: 2a5433168a53044cb6b4fa8083e4cfd7ba142221
rocketchat-mongo | 2020-02-19T06:39:10.980+0000 I CONTROL [initandlisten] OpenSSL version: OpenSSL 1.0.2g 1 Mar 2016
rocketchat-mongo | 2020-02-19T06:39:10.980+0000 I CONTROL [initandlisten] allocator: tcmalloc
rocketchat-mongo | 2020-02-19T06:39:10.980+0000 I CONTROL [initandlisten] modules: none
rocketchat-mongo | 2020-02-19T06:39:10.980+0000 I CONTROL [initandlisten] build environment:
rocketchat-mongo | 2020-02-19T06:39:10.980+0000 I CONTROL [initandlisten] distmod: ubuntu1604
rocketchat-mongo | 2020-02-19T06:39:10.980+0000 I CONTROL [initandlisten] distarch: x86_64
rocketchat-mongo | 2020-02-19T06:39:10.980+0000 I CONTROL [initandlisten] target_arch: x86_64
rocketchat-mongo | 2020-02-19T06:39:10.981+0000 I CONTROL [initandlisten] options: { net: { bindIpAll: true }, replication: { oplogSizeMB: 128, replSet: “rs0” }, storage: { engine: “mmapv1”, mmapv1: { smallFiles: true } } }
rocketchat-mongo | 2020-02-19T06:39:10.984+0000 W STORAGE [initandlisten] Detected unclean shutdown - /data/db/mongod.lock is not empty.
rocketchat-mongo | 2020-02-19T06:39:10.984+0000 I STORAGE [initandlisten]
rocketchat-mongo | 2020-02-19T06:39:10.984+0000 I STORAGE [initandlisten] ** WARNING: Support for MMAPV1 storage engine has been deprecated and will be
rocketchat-mongo | 2020-02-19T06:39:10.984+0000 I STORAGE [initandlisten] ** removed in version 4.2. Please plan to migrate to the wiredTiger
rocketchat-mongo | 2020-02-19T06:39:10.984+0000 I STORAGE [initandlisten] ** storage engine.
rocketchat-mongo | 2020-02-19T06:39:10.984+0000 I STORAGE [initandlisten] ** See http://dochub.mongodb.org/core/deprecated-mmapv1
rocketchat-mongo | 2020-02-19T06:39:10.984+0000 I STORAGE [initandlisten]
rocketchat-mongo | 2020-02-19T06:39:11.034+0000 I STORAGE [initandlisten] **************
rocketchat-mongo | old lock file: /data/db/mongod.lock. probably means unclean shutdown,
rocketchat-mongo | but there are no journal files to recover.
rocketchat-mongo | this is likely human error or filesystem corruption.
rocketchat-mongo | please make sure that your journal directory is mounted.
rocketchat-mongo | found 4 dbs.
rocketchat-mongo | see: http://dochub.mongodb.org/core/repair for more information
rocketchat-mongo | *************
rocketchat-mongo | 2020-02-19T06:39:11.036+0000 I STORAGE [initandlisten] exception in initAndListen: Location12596: old lock file, terminating
rocketchat-mongo | 2020-02-19T06:39:11.036+0000 I NETWORK [initandlisten] shutdown: going to close listening sockets…
rocketchat-mongo | 2020-02-19T06:39:11.036+0000 I NETWORK [initandlisten] removing socket file: /tmp/mongodb-27017.sock
rocketchat-mongo | 2020-02-19T06:39:11.036+0000 I CONTROL [initandlisten] now exiting
rocketchat-mongo | 2020-02-19T06:39:11.036+0000 I CONTROL [initandlisten] shutting down with code:100
rocketchat-mongo exited with code 100

Hier wird ein “old lock file old lock file: /data/db/mongod.lock” angemeckert - meintest du das?
viele Grüße
Andreas

[RalfBecker]

Also Rocket.Chat Logs machen gar keinen Sinn, solange MongoDB nicht läuft. Ich würde den “rocketchat” Container erst mal stoppen (docker stop rocketchat), bis MongoDB wieder ordentlich läuft.

Nach den MongoDB Logs scheint die MongoDB ja mal nicht ordentlich runter gefahren zu sein.

Das Log gab doch eine URL wie für eine Reparatur vorzugehen ist (redirected auf folgendes):
https://docs.mongodb.com/manual/tutorial/recover-data-following-unexpected-shutdown/

Damit Du ein mongod Kommando absetzen kannst, musst Du erst den Container stoppen und am besten mit nur einer Shell neu starten:

cd /etc/egroupware-rocketchat
docker-compose stop
docker-compose rm -f
docker-compose run --rm --entrypoint bash mongo

Dann bekommst Du eine Shell und kannst nach den Anleitungen zur Reparatur vorgehen. Wenn Du die Shell beendest wird der Container wieder gestoppt und du kann mit docker-compose up -d wieder regulär alles starten.

Ralf

[Andreas_Stein]

Hallo zusammen,

dank euerer Hilfestellung läuft mongo (und Rocketchat) wieder. Die Reparaturanleitung in dem Link funktionierte erst, nachdem ich die lock-Datei und alle Dateien aus dem journal-Verzeichnis gelöscht habe (nicht empfohlen!), aber es sind noch alle Daten vorhanden. Auch die mobilen Devices gehen wieder. In eGroupware kann ich ebenfalls den Rocketchat-TAB öffnen, bekomme aber im Admin->Anwendungen->RocketChat->Konfiguration der Anwendung folgendes angezeigt:

Einseits angeblich verbunden, aber oben rechts immernoch das gelbe Ausrufezeichen mit dem Text “Verbindungsfehler zum Rocket.Chat-Server!”, und das Login via eGroupware funktioniert auch nicht. Wie bekomme ich das noch geregelt?
viele Grüße
Andreas Stein

[RalfBecker]

Wenn der Login via EGroupware nicht funktioniert, wird oben immer ein Ausrufezeichen stehen!

Was ich auf den ersten Blick sehe ist der Service-Name enthält Großbuchstaben, das ist nie der Fall, er muss immer komplett klein geschrieben werden, auch wenn man Großbuchstaben auf der Rocket.Chat Seite verwendet (steht auch in der Anleitung und das nächste Maintenance Release wird die Fehlkonfiguration auch nicht mehr zulassen).

Ich habe seit der Rocket.Chat Version 3.0.0 auf meinem Entwicklungssystem allerdings auch den Fehler, das der OAuth Login nicht mehr funktioniert. Dh. nach dem Bestätigen des Zugriffs auf EGroupware Seite wird zu RC zurück redirected, aber RC zeigt wieder den Login Screen. Das untersuche ich im Moment. Muss aber nicht heißen das das auch Dein Problem ist, da Du einen definitiven Konfigurationsfehler hast.

Ralf

[Andreas_Stein]

Hallo Ralf,
das mit der Groß/Kleinschreibung hat in der Tat was verändert. Das gelbe Ausrufezeichen ist weg:slight_smile:
Stattdessen steht dort jetzt immer: Abgemeldet - selbst wenn ich Rocket.Chat offen habe und angemeldet bin:

Ich habe jetzt nur in “Konfiguration der Anwendung” den Servicename “Egroupware” in “egroupware” geändert. Der korrespondierende Name in Rocket.Chat unter OAuth ist - wie alle anderen Services - nach wie vor mit großem Anfangsbuchstaben geschrieben, was ich auch nicht ändern kann.

viele Grüße
Andreas

[RalfBecker]

Hast Du Dich danach (Anmeldung in Rocket.Chat per OAuth / “EGroupware users click here”) nochmal neu in EGroupware angemeldet?

Ralf

[Andreas_Stein]

Hallo Ralf,
ich habe mich eben mal in dem Rocket.Chat-Tab abgemeldet, den Tab geschlossen und Rocket.Chat erneut aufgerufen. Wenn ich jetzt “eGroupware users click here” anklicke, sieht es zunächst so aus, als ob er sich anmeldet. Danach erscheint kurz wieder die Anmeldeseite, und dann bin ich in Rocket.Chat wieder drin. Ich vermute aber, das er mich über irgendein Token/Cookie mit meiner eMail-Adresse anmeldet. In eGW oben rechts steht immernoch “Abgemeldet”.
Ich bin aktuell für ein paar Tage unterwegs, aber ich versuche das nochmal von einem fremden Rechner, sobald ich einen finde.
viele Grüße
Andreas

[demaio]

Hallo Ralf,

wir haben wahrscheinlich das gleiche Problem: RocketChat (3.0.4) läuft, die OAuth Anbindung ist auch konfiguriert, aber nach der Frage:

kommt wieder die Login-Seite von RC und nach kurzer Zeit wieder die OAuth-Frage wie im Bild.

Gibt es dazu Neuigkeiten? Oder einen Workaround?

Viele Grüße
Mario

[RalfBecker]

Hallo Mario,

die Probleme sind inzwischen behoben, wir habe aber noch kein neues Maintenance Release.

Das steht bei uns auf dem Plan für die Woche (eigentlich Anfang der Woche), ist aber im Moment keine ruhige Zeit

Ralf

[demaio]

Hallo,

nach dem neuesten Update (und Neustarts der Docker-Container) habe ich hier noch keine Änderung im Verhalten gemerkt, es ist immer noch so wie oben beschrieben.

Als Workaround haben wir Rocket-Chat direkt ans LDAP angebunden und die User müssen sich nochmal mit ihren Credentials einloggen.

Viele Grüße
Mario

[RalfBecker]

Es gibt noch ein bekanntes Problem, wenn die EMail Adresse mehrfach vorkommt, z.B. bei dem zuerst manuell angelegten Admin User in Rocket.Chat und bei einem OAuth Konto, dann beendet RC immer direkt die Sitzung und redirekted wieder auf die Login Seite.

Es gibt leider keine Fehlermeldung

Ralf

[grefabu]

Hmm, ich habe gerade ein anderes Problem, wenn eine Mailadresse bei verschiedenen Konten vorkommt,
der Benutzer “klaut” dem anderen Konto die Identität:

Ich habe in unserer Installation einen Testbenutzer, dem hatte ich aber meine eigene Mailadresse hinterlegt.
Nachdem ich mich mit diesem in Rocket.Chat einlogge, erhält er meine RC Umgebung bzw. Identität,…

Ein nachträgliches Ändern der Mailadresse bringt aber keine Änderung. Wie kann ich die Zuordnung wieder aufheben? In der Benutzerübersicht von RC taucht das Testkonto überigens nicht aus, ist ja klar, es nutzt meines,…

Bei uns klappt aber auch die Einbettung in EGroupware nicht, ich werde das aber mal morgen Birgitt zeigen, wir haben noch mehr praktische Fragen.