Docker großer Speicherbedarf?

[Holger_F]

Hallo,

ich habe seit 2 Tagen die 19.1 am Laufen, doch heute morgen ist mir der Server ausgefallen.

Grund: Die Festplatte war voll und das Dockerimage hatte eigentlich den ganzen Speicherplatz für sich genutzt

root@egroupware:/var/lib# du -h --max-depth=1
552K ./ucf
32K ./php5
4,0K ./initscripts
12K ./vmware
24K ./emacsen-common
12M ./aspell
268M ./mysql
4,0K ./git
12K ./sgml-base
4,0K ./private
8,2M ./aptitude
76K ./php
4,0K ./misc
24K ./libxml-sax-perl
16K ./tex-common
4,0K ./insserv
118M ./apt
16K ./xml-core
4,0K ./os-prober
12K ./phpmyadmin
4,0K ./update-rc.d
28K ./pam
8,0K ./dhcp
28K ./exim4
36K ./texmf
4,0K ./python
56K ./ghostscript
12K ./runit
12K ./grub
36K ./dictionaries-common
4,0K ./man-db
324K ./systemd
8,0K ./vim
8,0K ./urandom
1,6G ./egroupware
8,0K ./ntp
17M ./mlocate
35M ./dpkg
11G ./docker
32K ./postfix
16K ./initramfs-tools
8,0K ./dbus
36K ./apache2
3,7M ./ispell
12K ./nfs
8,0K ./logrotate
4,0K ./container
4,0K ./sntp
16K ./polkit-1
13G .

Im Docker selbst sind ja nur kryptische Dateien vorhanden. Wie komme ich nun auf die Spur wie man den Speicherfresser lokalisieren kann. Das ist eine Installation nach Anleitung.

Ich denke es wird ein Logfile sein.

Meine Installation

Debian Buster
Egroupwware Version 19.1.001

[StefanU]

Hallo Holger,
wie groß hast du denn die Platte dimensioniert? Sind das die 13G?
Welche Container hast du installiert (bzw laufen): Ausgabe von docker ps

Ich hatte die Tage mehrerer nackte Installationen auf Debian 10 Buster mit 10G gemacht. Passte.
Meine private Installation (laufender Betrieb) hat hat mehr Plattenplatz. Ich schau das heute Abend mal nach.

Gruß
Stefan

[Holger_F]

Hallo Stefan,

die VM hat 16GB,

root@egroupware:~# docker ps
WARNING: Error loading config file: /root/.docker/config.json: read /root/.docker/config.json: is a directory
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
a9ad700fe999 nginx:stable-alpine “nginx -g 'daemon of⦔ 2 days ago Up 4 hours 127.0.0.1:8080->80/tcp egroupware-nginx
66d31b164037 egroupware/egroupware:latest “/entrypoint.sh php-⦔ 2 days ago Up 4 hours 9000/tcp egroupware
b3330506a51b containrrr/watchtower “/watchtower --sched⦔ 2 days ago Up 4 hours egroupware-watchtower
2b6d620ed1c2 rocketchat/rocket.chat:latest “bash -c 'for i in `⦔ 2 days ago Up 2 days 127.0.0.1:3000->3000/tcp rocketchat
f2b133d4e22a mongo:4.0 “docker-entrypoint.s⦔ 2 days ago Restarting (100) 57 seconds ago rocketchat-mongo
6275ef05319a quay.io/egroupware/collabora-key:stable “/bin/sh -c 'bash st⦔ 2 days ago Up 2 days 127.0.0.1:9980->9980/tcp collabora-key

Die Mongo scheint Probleme zu haben. Evtl schreibt die das Log zu. Wie kann man die 3 Dienste Deaktivieren? Wir haben bei uns schon eine Rocketchat instanz am laufen und nutzen bereits für office schon openoffice.

[StefanU]

Hallo Holger,

das deinstallieren kläre ich noch…

Die Mongo scheint Probleme zu haben. Evtl schreibt die das Log zu.

Kannst du der Sache nachgehen? Wäre schon wichtig. Ich halte 16G eigentlich für mehr als ausreichend. Du hast ja anscheinend auch nicht gar so viele EGw-Dateien (VFS/Backup) auf dem System.

Gruß
Stefan

[Holger_F]

Ich habe diesen Log von der MongoDB falls es hilft:

rocketchat-mongo | old lock file: /data/db/mongod.lock. probably means unclean shutdown,
rocketchat-mongo | but there are no journal files to recover.
rocketchat-mongo | this is likely human error or filesystem corruption.
rocketchat-mongo | please make sure that your journal directory is mounted.
rocketchat-mongo | found 4 dbs.
rocketchat-mongo | see: http://dochub.mongodb.org/core/repair for more information
rocketchat-mongo | *************
rocketchat-mongo | 2019-10-01T12:36:28.475+0000 I STORAGE [initandlisten] exception in initAndListen: Location12596: old lock file, terminating
rocketchat-mongo | 2019-10-01T12:36:28.475+0000 I NETWORK [initandlisten] shutdown: going to close listening sockets…
rocketchat-mongo | 2019-10-01T12:36:28.475+0000 I NETWORK [initandlisten] removing socket file: /tmp/mongodb-27017.sock
rocketchat-mongo | 2019-10-01T12:36:28.475+0000 I CONTROL [initandlisten] now exiting
rocketchat-mongo | 2019-10-01T12:36:28.475+0000 I CONTROL [initandlisten] shutting down with code:100
rocketchat-mongo | 2019-10-01T12:36:41.983+0000 I STORAGE [main] Max cache overflow file size custom option: 0
rocketchat-mongo | 2019-10-01T12:36:41.987+0000 I CONTROL [main] Automatically disabling TLS 1.0, to force-enable TLS 1.0 specify --sslDisabledProtocols 'none’
rocketchat-mongo | 2019-10-01T12:36:42.000+0000 I CONTROL [initandlisten] MongoDB starting : pid=1 port=27017 dbpath=/data/db 64-bit host=f2b133d4e22a
rocketchat-mongo | 2019-10-01T12:36:42.000+0000 I CONTROL [initandlisten] db version v4.0.12
rocketchat-mongo | 2019-10-01T12:36:42.000+0000 I CONTROL [initandlisten] git version: 5776e3cbf9e7afe86e6b29e22520ffb6766e95d4
rocketchat-mongo | 2019-10-01T12:36:42.000+0000 I CONTROL [initandlisten] OpenSSL version: OpenSSL 1.0.2g 1 Mar 2016
rocketchat-mongo | 2019-10-01T12:36:42.000+0000 I CONTROL [initandlisten] allocator: tcmalloc
rocketchat-mongo | 2019-10-01T12:36:42.000+0000 I CONTROL [initandlisten] modules: none
rocketchat-mongo | 2019-10-01T12:36:42.000+0000 I CONTROL [initandlisten] build environment:
rocketchat-mongo | 2019-10-01T12:36:42.000+0000 I CONTROL [initandlisten] distmod: ubuntu1604
rocketchat-mongo | 2019-10-01T12:36:42.000+0000 I CONTROL [initandlisten] distarch: x86_64
rocketchat-mongo | 2019-10-01T12:36:42.000+0000 I CONTROL [initandlisten] target_arch: x86_64
rocketchat-mongo | 2019-10-01T12:36:42.000+0000 I CONTROL [initandlisten] options: { net: { bindIpAll: true }, replication: { oplogSizeMB: 128, replSet: “rs0” }, storage: { engine: “mmapv1”, mmapv1: { smallFiles: true } } }
rocketchat-mongo | 2019-10-01T12:36:42.001+0000 W STORAGE [initandlisten] Detected unclean shutdown - /data/db/mongod.lock is not empty.
rocketchat-mongo | 2019-10-01T12:36:42.001+0000 I STORAGE [initandlisten]
rocketchat-mongo | 2019-10-01T12:36:42.001+0000 I STORAGE [initandlisten] ** WARNING: Support for MMAPV1 storage engine has been deprecated and will be
rocketchat-mongo | 2019-10-01T12:36:42.001+0000 I STORAGE [initandlisten] ** removed in version 4.2. Please plan to migrate to the wiredTiger
rocketchat-mongo | 2019-10-01T12:36:42.001+0000 I STORAGE [initandlisten] ** storage engine.
rocketchat-mongo | 2019-10-01T12:36:42.001+0000 I STORAGE [initandlisten] ** See http://dochub.mongodb.org/core/deprecated-mmapv1
rocketchat-mongo | 2019-10-01T12:36:42.001+0000 I STORAGE [initandlisten]
rocketchat-mongo | 2019-10-01T12:36:42.014+0000 I STORAGE [initandlisten] **************
rocketchat-mongo | old lock file: /data/db/mongod.lock. probably means unclean shutdown,
rocketchat-mongo | but there are no journal files to recover.
rocketchat-mongo | this is likely human error or filesystem corruption.
rocketchat-mongo | please make sure that your journal directory is mounted.
rocketchat-mongo | found 4 dbs.
rocketchat-mongo | see: http://dochub.mongodb.org/core/repair for more information
rocketchat-mongo | *************
rocketchat-mongo | 2019-10-01T12:36:42.014+0000 I STORAGE [initandlisten] exception in initAndListen: Location12596: old lock file, terminating
rocketchat-mongo | 2019-10-01T12:36:42.014+0000 I NETWORK [initandlisten] shutdown: going to close listening sockets…
rocketchat-mongo | 2019-10-01T12:36:42.014+0000 I NETWORK [initandlisten] removing socket file: /tmp/mongodb-27017.sock
rocketchat-mongo | 2019-10-01T12:36:42.014+0000 I CONTROL [initandlisten] now exiting
rocketchat-mongo | 2019-10-01T12:36:42.014+0000 I CONTROL [initandlisten] shutting down with code:100

[StefanU]

Der Docker-Container wird immer wieder neu gestartet, oder?
Beobachte mal mit docker ps
Stefan

[StefanU]

So, habe mal auf meine Kiste geschaut:

root@egw191deb:/var/lib# du -h --max-depth=1
604K	./usbutils
36K	./dictionaries-common
7,4M	./ispell
32K	./apache2
4,0K	./git
4,0K	./misc
316M	./mysql
24K	./emacsen-common
9,0G	./egroupware
8,0K	./dbus
48K	./letsencrypt
8,0K	./logrotate
20G	./docker
2,1M	./aspell
12K	./grub
28K	./pam
118M	./apt
23M	./dpkg
4,0K	./private
16K	./polkit-1
8,0K	./dhcp
44K	./ucf
4,0K	./os-prober
4,0K	./python
264K	./systemd
8,0K	./vim
12K	./initramfs-tools
4,0K	./man-db
30G	

Konfiguriert habe ich aktuell 30G. Ich habe in /egroupware mehr Daten, weil ich EGw als File-Server verwende.
Du hast aber auch eine grafische Oberfläche auf dem Server mit installiert, richtig?
Das docker-Verzeichnis wird hier mit 20G angezeigt. Ob das jetzt die Realität wieder spiegelt? Ich weiß nicht… Könnte aber.
Ansonsten sieht das in Summe so aus:

30GB-Platte, knapp 10G EGw-Daten + DB, CO und Rocket.Chat installiert und am laufen.
Somit sehe ich in der/meiner Konstellation 30G als einen gut passenden Wert an.

Also für den Moment, um die Kuh vom Eis zu bekommen, empfehle ich dir der Platte noch ein paar GB zu spendieren. Alles andere regeln wir dann.
Ich bin da meist auch zu geizig. Aber ich bin mittlerweile ein paar mal richtig auf die Frxxxx gefallen. Ich lerne.

Gruß
Stefan

[StefanU]

Wir haben bei uns schon eine Rocketchat instanz am laufen und nutzen bereits für office schon openoffice.

Interesse halber:
Läuft euer RC solo oder angebunden an einen Verzeichnisdienst?
Wir haben extra ein OpenID Connect / OAuth2 server für die Authentifizierung von RC gegen EGw integriert. Vielleicht ist das für euch interessant…

Hast du dir die Integration in EGw (UI, Benutzerverwaltung) mal angeschaut?

---

Ihr nutzt OpenOffice? Ich weiß nur von ordentlichen Downloadzahlen, kenne aber niemand mehr der OO im größeren Stil einsetzt. Außer meine Standnachbarn auf den einschlägigen Veranstaltungen. Du findest mich z B. auf der FrOSCon oder den CLT am LibreOffice-Stand
Nun ist aber natürlich ein LibreOffice Online/Collabora Online/CODE etwas anderes als ein Desktop-OpenOffice. Schau mal:

🇩🇪 🇬🇧 Folien/Vortrag - slides/lecture FrOSCon 2019

Ich bearbeite mittlerweile fast meine ganzen Dokumente mit der Online-Version. Und öffne mir die Dateien alternativ über WebDAV mit LO auf dem Desktop.

Gruß
Stefan

[Holger_F]

Hallo Stefan,

ich habe nun die Festplatte der VM auch auf 30GB erweitert. Das ist aber ein headless system und über Konsole konfiguriert. Deswegen hat die groupware VM bisher sehr schlank mit nur wenigen GB (3-4).

Wir haben für die Tickets und SCRUM / Kanban JIRA im Einsatz, weil das Ticketsystem/ Projektmanager aus der Egroupware da nicht mehr mithalten konnte. Nimms mir nicht böse. Da wir ein Embedded Software Unternehmen sind, haben wir dann auch direkt die Integration von Gitlab ins Ticketsystem integriert. Das sind für uns die Hauptanwendungen.

Als Samba und Freigabe Bridge haben wir dann Nextcloud im Einsatz, um Kunden und die Jira (Ticketanhänge) nicht redundant zu speichern sondern über HTTPS Links zugänglich zu machen. Dort ist dann auch korrigiere mich ONLYoffice (nicht openoffice) installiert, damit wir analog zu collabora Officedokumente direkt im Browser bearbeiten können. Collabora hat bei uns damals nur schlecht funktioniert.

Jitsi haben wir durch Rocketchat ersetzt. Wir haben alle Dienste über LDAP bzw AD angebunden. Irgendwann vielleicht mal einen SSO aufsetzen, aber derzeit fehlt dazu die Zeit.

Ich könnte mit dir noch tausende Sachen besprechen. Vielleicht braucht ihr auch mal spezielle HW. Dann kommen wir mit IoT ins Spiel

Mir fehlt noch eine Voip Integration und evtl Einbindung von Webhooks.

Ich finde es aber gut, das ihr die Integration von typischen Officeszenarien vorantreibt und nun auch den Weg über Docker geht. Aber Digitalisierung ist auch starke Individualisierung. Das merken wir auch aktuell mit den Anfragen.

[Holger_F]

Das hat sich nun auf 15GB eingependelt. Ist aber schon wesentlich mehr also die reine VM