EGW liefert 503 nach Update via Watchtower

[cfischer]

Heute (24.03.2020) Nacht hat die EGroupware (egroupware-docker-19.1.20191119-3.1 incl. aller patches) ihren Betrieb eingestellt. Wir haben watchtower aktiv, aber nach meinem Kenntnisstand gab es kein Update heute Nacht. Im Updatelog finde ich, leider ohne Datums-/Zeitangabe folgende Einträge:

EGroupware successful updated
Fix APC(u) configuration, set apc.shm_size=128M in /etc/php/7.3/cli/conf.d/20-apcu.ini
 
EGroupware successful updated
Fix APC(u) configuration, set apc.shm_size=128M in /etc/php/7.3/cli/conf.d/20-apcu.ini
 
EGroupware successful updated
/usr/bin/php7.3 -d memory_limit=-1 /usr/share/egroupware/setup/setup-cli.php --update 'all,headeradmin,rF&t[6pznXton7y'
No default timezone (php.ini date.timezone) set, we temporary set 'UTC'. You should fix that permanent!
EGroupware API version 19.1.002 found.
EGroupware configuration file (header.inc.php) version 1.29 exists and is up to date
Your database is not working! mysqli://egroupware:xxxxx@localhost/egroupware:

Installation failed --> exiting!

Retrying EGroupware installation in 3 seconds ...
/usr/bin/php7.3 -d memory_limit=-1 /usr/share/egroupware/setup/setup-cli.php --update 'all,headeradmin,M3q=Ru|;Pk4UeFdX'
No default timezone (php.ini date.timezone) set, we temporary set 'UTC'. You should fix that permanent!
EGroupware API version 19.1.002 found.
EGroupware configuration file (header.inc.php) version 1.29 exists and is up to date
Your database is not working! mysqli://egroupware:xxxxx@localhost/egroupware:

Installation failed --> exiting!

Retrying EGroupware installation in 3 seconds ...

[...]

Ich folgte dann folgendem Howto

https://github.com/EGroupware/egroupware/wiki/Update-recommendations-and-troubleshooting#egroupware-container-can-not-access-mariadbmysql

ohne Erfolg,

Im Log stelt sich das so dar:

Retrying EGroupware installation in 3 seconds ...
/usr/bin/php7.3 -d memory_limit=-1 /usr/share/egroupware/setup/setup-cli.php --update 'all,headeradmin,Ty)zPZ@Gu7VN;Yx}'
No default timezone (php.ini date.timezone) set, we temporary set 'UTC'. You should fix that permanent!
EGroupware API version 19.1.002 found.
EGroupware configuration file (header.inc.php) version 1.29 exists and is up to date
Your database is not working! mysqli://egroupware:xxxxx@localhost/egroupware:

Installation failed --> exiting!

Installing of EGroupware failed!
Fix APC(u) configuration, set apc.shm_size=128M in /etc/php/7.3/cli/conf.d/20-apcu.ini

EGroupware successful updated

Von der EGW kommt ein 503 Service Unavailable, keine weiteren Einträge im Log. Nach Neustart des Servers liefert die Egroupware 503 Service Unavailable, im Log stehen wieder nur Fehler, das “erfolgreiche” Update ist aus dem Log verschwunden.

Ein Update auf egroupware-docker-19.1.20200318-1.1 brachte keine Änderung. Kann jemand sagen was hier vor sich geht?

Grüße

[RalfBecker]

Welche Distribution ist das?

Führe mal folgende Kommandos aus:

cd /etc/egroupware-docker
docker-compose restart
docker-compose logs -f egroupware

Das sollte dann so etwas wie fpm is running, pid 1 anzeigen.

Wenn das nicht hilft, versuch mal alle Container neu zu laden:

cd /etc/egroupware-docker
docker-compose pull
docker-compose up -d
docker-compose logs -f egroupware

Ralf

[cfischer]

Es ist Oracle Linux Server release 7.7

[root@egw egroupware-docker]# docker-compose restart
Restarting egroupware-nginx      ... error
Restarting egroupware            ... error
Restarting egroupware-watchtower ... error

ERROR: for egroupware-watchtower  Cannot restart container 1dca284cf2b7b016a2b8906f12b4d9bb422d14dd1a696e76c0763b6d0f394cb4: OCI runtime create failed: container_linux.go:346: starting container process caused "process_linux.go:449: container init caused \"process_linux.go:415: setting cgroup config for procHooks process caused \\\"cannot set pids limit: container could not join or create cgroup\\\"\"": unknown

ERROR: for egroupware-nginx  Cannot restart container 87c1583ebe625cb82d51e621f28fd503fded1e894fd882c13482e4a8d9f0b441: OCI runtime create failed: container_linux.go:346: starting container process caused "process_linux.go:449: container init caused \"process_linux.go:415: setting cgroup config for procHooks process caused \\\"cannot set pids limit: container could not join or create cgroup\\\"\"": unknown

ERROR: for egroupware  Cannot restart container 62716968e9e181c6d1163434571baf3ceb88736caf40b07b4ba9f7205076ca86: OCI runtime create failed: container_linux.go:346: starting container process caused "process_linux.go:449: container init caused \"process_linux.go:415: setting cgroup config for procHooks process caused \\\"cannot set pids limit: container could not join or create cgroup\\\"\"": unknown

[cfischer]

[root@egw egroupware-docker]# docker-compose pull
Pulling egroupware ... done
Pulling nginx      ... done
Pulling watchtower ... done
[root@egw egroupware-docker]# docker-compose up -d
egroupware-watchtower is up-to-date
egroupware is up-to-date
egroupware-nginx is up-to-date

Weiterhin 503 und im Log

egroupware    | Installation failed --> exiting!
egroupware    | 
egroupware    | Retrying EGroupware installation in 3 seconds ...
egroupware    | /usr/bin/php7.3 -d memory_limit=-1 /usr/share/egroupware/setup/setup-cli.php --update 'all,headeradmin,VytcG9kWd=h0fY(<'
egroupware    | No default timezone (php.ini date.timezone) set, we temporary set 'UTC'. You should fix that permanent!
egroupware    | EGroupware API version 19.1.002 found.
egroupware    | EGroupware configuration file (header.inc.php) version 1.29 exists and is up to date
egroupware    | Your database is not working! mysqli://egroupware:xxxxx@localhost/egroupware:
egroupware    | 
egroupware    | Installation failed --> exiting!
egroupware    | 
egroupware    | Retrying EGroupware installation in 3 seconds ...

[RalfBecker]

Ok, ein Red Hat Enterprise Clone, da ist das Problem, das der Datenbank Socket als solcher in den Container gereicht werden muss.

Versuch mal folgendes:

cd /etc/egroupware-docker
docker-compose stop
docker-compose rm -f
docker-compose up -d
docker-compose logs -f egroupware

Falls das nicht hilft, schau mal ob die Datenbank auf dem Host noch läuft: systemctl status mysql

Ralf

[cfischer]

Weiterhin 503, im Log

retrying EGroupware installation in 3 seconds ...
Fix APC(u) configuration, set apc.shm_size=128M in /etc/php/7.3/cli/conf.d/20-apcu.ini

EGroupware successful updated

Datenbank läuft, und nach reboot vermutlich altes Bild

[cfischer]

Nach reboot weiterhin 503 und im Log

usr/bin/php7.3 -d memory_limit=-1 /usr/share/egroupware/setup/setup-cli.php --update 'all,headeradmin,MZbMsAhVh1sn8(Ce'
No default timezone (php.ini date.timezone) set, we temporary set 'UTC'. You should fix that permanent!
EGroupware API version 19.1.002 found.
EGroupware configuration file (header.inc.php) version 1.29 exists and is up to date
Your database is not working! mysqli://egroupware:xxxxx@localhost/egroupware:

Installation failed --> exiting!

Retrying EGroupware installation in 3 seconds ...

[cfischer]

Nachtrag: Der db-socket ist im container

[RalfBecker]

Dann versuch mal folgendes:

docker exec -it egroupware bash
apt update && apt install -y mariadb-client
grep db_ /var/lib/egroupware/header.inc.php
mysql -uegroupware -p egroupware
# Password des grep am besten per cut-n-paste eingeben
show tables
exit
exit

Ralf

[cfischer]

Welcome to the MariaDB monitor.  Commands end with ; or \g.
Your MariaDB connection id is 3
Server version: 5.5.64-MariaDB MariaDB Server

Copyright (c) 2000, 2018, Oracle, MariaDB Corporation Ab and others.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

MariaDB [egroupware]> show tables;
+--------------------------------+
| Tables_in_egroupware           |
+--------------------------------+
| egw_access_log                 |
| egw_accounts                   |
| egw_acl                        |
| egw_addressbook                |
| egw_addressbook2list           |
| egw_addressbook_extra          |
| egw_addressbook_lists          |
| egw_admin_queue                |
| egw_admin_remote               |
| egw_applications               |
| egw_async                      |
| egw_bookmarks                  |
| egw_bookmarks_extra            |
| egw_cal                        |
| egw_cal_dates                  |
| egw_cal_extra                  |
| egw_cal_repeats                |
| egw_cal_timezones              |
| egw_cal_user                   |
| egw_categories                 |
| egw_collab_member              |
| egw_collab_op                  |
| egw_collab_session             |
| egw_config                     |
| egw_customfields               |
| egw_ea_accounts                |
| egw_ea_credentials             |
| egw_ea_identities              |
| egw_ea_notifications           |
| egw_ea_valid                   |
| egw_history_log                |
| egw_importexport_definitions   |
| egw_infolog                    |
| egw_infolog_extra              |
| egw_infolog_users              |
| egw_lang                       |
| egw_languages                  |
| egw_links                      |
| egw_locks                      |
| egw_mailaccounts               |
| egw_news                       |
| egw_news_export                |
| egw_notificationpopup          |
| egw_openid_access_token_scopes |
| egw_openid_access_tokens       |
| egw_openid_auth_code_scopes    |
| egw_openid_auth_codes          |
| egw_openid_client_grants       |
| egw_openid_client_scopes       |
| egw_openid_clients             |
| egw_openid_refresh_tokens      |
| egw_openid_scopes              |
| egw_openid_user_clients        |
| egw_openid_user_grants         |
| egw_openid_user_scopes         |
| egw_pm_constraints             |
| egw_pm_elements                |
| egw_pm_eroles                  |
| egw_pm_extra                   |
| egw_pm_members                 |
| egw_pm_milestones              |
| egw_pm_pricelist               |
| egw_pm_prices                  |
| egw_pm_projects                |
| egw_pm_roles                   |
| egw_preferences                |
| egw_registration               |
| egw_resources                  |
| egw_resources_extra            |
| egw_sharing                    |
| egw_sqlfs                      |
| egw_sqlfs_props                |
| egw_timesheet                  |
| egw_timesheet_extra            |
| egw_tracker                    |
| egw_tracker_assignee           |
| egw_tracker_bounties           |
| egw_tracker_escalated          |
| egw_tracker_escalations        |
| egw_tracker_extra              |
| egw_tracker_replies            |
| egw_tracker_votes              |
| egw_zpush_settings             |
| egw_zpush_states               |
| egw_zpush_users                |
+--------------------------------+
85 rows in set (0.00 sec)

[RalfBecker]

Und die Meldung von docker logs -f egroupware ist immer noch “Your database is not working! mysqli://egroupware:xxxxx@localhost/egroupware”?

Ralf

[RalfBecker]

Wir können noch versuchen über PHP zur Datenbank zu connecten:

cd /etc/egroupware-docker
docker exec -it egroupware bash
php -a
root@ad779f7fae91:/# php -a
Interactive mode enabled

php > $m = new mysqli('localhost', 'egroupware', 'your-password', 'egroupware');
php > var_dump($m->connect_error);
php shell code:1:
NULL
php > var_dump($result = $m->query("show tables"));
php shell code:1:
class mysqli_result#2 (5) {
  public $current_field =>
  int(0)
  public $field_count =>
  int(1)
  public $lengths =>
  NULL
  public $num_rows =>
  int(206)
  public $type =>
  int(0)
}

Ralf

[cfischer]

Ja, gleiche Fehlermeldung

[cfischer]

Wir können noch versuchen über PHP zur Datenbank zu connecten:

Na ja, alle drei Sekunden wird der Container neu gestartet, das ist jetzt keine Freude.

[cfischer]

Moment, ich check nochmal mysql im container, nicht daß ich am ende schon rausgeflogen war, melde mich dann wieder.

[RalfBecker]

Ansonsten kann ich nur anbieten eine Stunde Supportbudget zu kaufen, und wir schauen per TeamViewer kurzfristig mal gemeinsam drauf:

EGroupware Support und Consulting - Contact us now

Ralf

[cfischer]

Die Datenbank ist im container verfügbar.

[root@egw egroupware-docker]# docker exec -it egroupware bash 
root@174a140e1018:/# mysql -uegroupware -pxxx egroupware
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A

Welcome to the MariaDB monitor.  Commands end with ; or \g.
Your MariaDB connection id is 12
Server version: 5.5.64-MariaDB MariaDB Server

Copyright (c) 2000, 2018, Oracle, MariaDB Corporation Ab and others.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

MariaDB [egroupware]> exit
Bye
root@174a140e1018:/# ls -al
total 8
drwxr-xr-x   1 root root   84 Mar 24 09:50 .
drwxr-xr-x   1 root root   84 Mar 24 09:50 ..
-rwxr-xr-x   1 root root    0 Mar 24 09:50 .dockerenv
drwxr-xr-x   1 root root 4096 Mar 21 13:41 bin
drwxr-xr-x   2 root root    6 Apr 24  2018 boot
drwxr-xr-x   5 root root  340 Mar 24 12:48 dev
-rwxrwxr-x   1 root root 2570 Mar 18 15:06 entrypoint.sh
drwxr-xr-x   1 root root  140 Mar 24 12:02 etc
drwxr-xr-x   2 root root    6 Apr 24  2018 home
drwxr-xr-x   1 root root   30 Mar 21 13:44 lib
drwxr-xr-x   2 root root   34 Mar 11 21:03 lib64
drwxr-xr-x   2 root root    6 Mar 11 21:03 media
drwxr-xr-x   2 root root    6 Mar 11 21:03 mnt
drwxr-xr-x   2 root root    6 Mar 11 21:03 opt
dr-xr-xr-x 209 root root    0 Mar 24 12:48 proc
drwx------   1 root root   28 Mar 24 12:49 root
drwxr-xr-x   1 root root   68 Mar 24 09:50 run
drwxr-xr-x   1 root root    6 Mar 21 13:44 sbin
drwxr-xr-x   2 root root    6 Mar 11 21:03 srv
dr-xr-xr-x  13 root root    0 Mar 24 12:43 sys
drwxrwxrwt   1 root root    6 Mar 24 12:46 tmp
drwxr-xr-x   1 root root   41 Mar 11 21:03 usr
drwxr-xr-x   1 root root   41 Mar 11 21:05 var
root@174a140e1018:/# [root@egw egroupware-docker]#

[RalfBecker]

Nach dem eine Stunde Support gekauft wurden, konnte ich auf das System schauen und zwei Probleme identifizieren:

1. nach der Deinstallation des Rocket.Chat Pakets am Vortag, lief der Apache nach dem Reboot nicht mehr, da im vhost noch ein Include von Rocket.Chat war. Noch dem Löschen dessen startete Apache wieder

2. Das zweite Problem konnten wir nicht lösen, sondern nur darum herum arbeiten:

Nach einem Neustart des Systems oder auch einen
systemctl stop docker; systemctl start docker
fehlen aus dem EGroupware Container Teile der Installation z.B. die PHP MySQL Erweiterung und die Konfiguration von PHP unter /etc/php/7.3.

Wenn man die Container löscht und neu erzeugt funktioniert alles wieder:

cd /etc/egroupware-docker
docker-compose stop
docker-compose rm -f
docker-compose up -d

Leider nur solange bis man das System oder Docker neu startet

Die Vermutung ist die Kombination des Overlay Filesystem von Docker mit dem XFS Dateisystem des Oracle Linux 7 und dem Ubuntu Container ein Problem hat (System ist vollständig aktualisiert und d_type Support des XFS Dateisystems ist eingeschaltet).

Dh. die EGroupware läuft dort wieder, aber bei einem Reboot müssen die obigen Kommandos ausgeführt werden, damit der EGroupware Container auf die Datenbank zugreifen kann.

Ralf