Push geht nicht

DarkTrinity 2021-02-28 12:44:20 UTC #1

Hallo Zusammen,

ich habe u.a. das Problem daß das Pushing nicht geht.

Unter Admin > Test Push erhalte ich folgende Ausgabe:

Push::onlyFallback()=true --> Using fallback via regular JSON requests

SwoolPush\Backend::failedAttempts()=4, SwoolePush\Backend::backoffTime=240

SwoolePush\Backend->online()=Stopped trying to connect to push server https://127.0.0.1:8090> > /egroupware/pushafter 4 failed attempts!
Push::onlyFallback()=true --> Using fallback via regular JSON requests

SwoolPush\Backend::failedAttempts()=4, SwoolePush\Backend::backoffTime=240
Push->online()=

Unter Admin > Anwendungen > Email > Konfiguration der Anwendung ist der ImapServer mit Port eingetragen. Das Versenden von normalen Emails über die Egroupware-UI (Emails) funktioniert.

Wie im GitHUB Link vorgegeben habe ich sichergestellt, daß der Token weder + noch / enthält. Da ich Dovecot 2.2X verwende, habe ich die /etc/dovecot/conf.d/99-egroupware-push.conf mit folgendem Inhalt erstellt und den Dovecot-Dienst restarted:

.# Store METADATA information in a file dovecot-metadata in user’s home
mail_attribute_dict = file:%h/dovecot-metadata
.# enable metadata
protocol imap {
imap_metadata = yes
}

. # add notify AND push_notification plugins for LMTP (or LDA if you use that)
protocol lmtp {
mail_plugins = $mail_plugins notify push_notification
}

. # URL to call for new arriving mails in the INBOX
plugin {
push_notification_driver = ox:url=https://Bearer:MEIN-TOKEN@www.MEINEDOMAIN.local/egroupware/push user_from_metadata
}

Push geht trotzdem nicht

EGW Version 20.1.20201217 auf Ubuntu 18.04

Hier noch dIe docker-compose.override.yml für egroupware-docker - von geänderte Snips in Fettdruck:

version: ‘3’

volumes:
.# fix volume directory eg. for Ubuntu 18.04
sources-push:
driver_opts:
type: none
o: bind
device: /var/lib/docker/volumes/egroupwaredocker_sources/_data/swoolepush

.# EGroupware data stored in /var/lib/egroupware on the host
.#data:
.# driver_opts:
.# type: none
.# o: bind
.# device: /var/lib/egroupware

services:
egroupware:
.# egroupware images to use:
.# - egroupware/egroupware: is the community edition of egroupware
.# - download.egroupware.org/egroupware/epl: is the EPL / subscription version of EGroupware GmbH
.# egroupware tags to use:
.# - latest: recommended is to use tag latest for automatic updates incl. new stable major releases
.# - 20.1: use a branch to keep on latest maintenance release for that branch, but not update automatic to next release
.# - 20.1.20200613: use a maintenance release, to disable automatic updates via watchtower and run them manually
image: egroupware/egroupware:20.1
volumes:
- /var/www/clients/client2/web2/private/egwfiles:/webqatest
.# if you want to use the host database:
.# 1. follow instructions below to disable db service
.# 2. set EGW_DB_HOST=localhost AND
.# 3. uncomment the next line and modify the host path, it depends on your distro:
.# - RHEL/CentOS /var/lib/mysql/mysql.sock:/var/run/mysqld/mysqld.sock
.# - openSUSE/SLE /var/run/mysql/mysql.sock:/var/run/mysqld/mysqld.sock
- /var/run/mysqld:/var/run/mysqld
.#- /var/run/mysqld:/var/run/mysqld
.# private CA so egroupware can validate your certificate to talk to Collabora or Rocket.Chat
.# multiple certificates (eg. a chain) have to be single files in a directory, with one named private-ca.crt!
"/var/www/clients/client2/web2/ssl/’*.MEINEDOMAIN.local.crt’:/usr/local/share/ca-certificates/private-ca.crt:ro"
environment:
.# setting a default language for a new installation
- LANG=de
.# MariaDB/MySQL host to use: for host database (socket bind-mounted into container) use “localhost”
- EGW_DB_HOST=localhost
.# for internal db service you should to specify a root password here AND in db service
.# a database “egroupware” with a random password is created for you on installation (password is stored in header.inc.php in data directory)
.#- EGW_DB_ROOT=root
.#- EGW_DB_ROOT_PW=secret
.# alternativly you can specify an already existing database with full right by the given user!
.#- EGW_DB_NAME=egroupware
.#- EGW_DB_USER=egroupware
.#- EGW_DB_PASS=
.# other php.ini values to set in the container and their current defaults
.#- EGW_SESSION_TIMEOUT=14000
.#- EGW_APC_SHM_SIZE=128M
.#- EGW_MEMORY_LIMIT=128M
.# set the ip-address of your docker host AND your official DNS name so EGroupware
.# can access Rocket.Chat or Collabora without the need to go over your firewall
extra_hosts:
- “www.MEINEDOMAIN.local:IP-DES-WIRTEN”

.# to use the database on the host, uncomment all the following settings to disable the internal db service
db:
image: busybox
entrypoint: /bin/true
restart: “no”

.# push server using phpswoole
.#push:

.# nginx server of egroupware using /etc/egroupware-docker/egroupware-nginx.conf
.# You want to install your certificate on the webserver/Nginx running on the host proxying to this one
.#nginx:
nginx:
ports:
- “127.0.0.1:8090:80”

.# automatic updates of all containers daily at 4am
.# see https://containrrr.github.io/watchtower for more information
.#watchtower:
.#environment:
.#- WATCHTOWER_CLEANUP=true .# delete old image after update to not fill up the disk
.# for email notifications add your email and mail-server here
.#- WATCHTOWER_NOTIFICATIONS=email
.#- WATCHTOWER_NOTIFICATIONS_LEVEL=info .# possible values: panic, fatal, error, warn, info or debug
.#- WATCHTOWER_NOTIFICATION_EMAIL_FROM=watchtower@my-domain.com
.#- WATCHTOWER_NOTIFICATION_EMAIL_TO=me@my-domain.com
.#- WATCHTOWER_NOTIFICATION_EMAIL_SERVER=mail.my-domain.com .# if you give your MX here, you need no user/password
.#- WATCHTOWER_NOTIFICATION_EMAIL_SERVER_PORT=25
.#- WATCHTOWER_NOTIFICATION_EMAIL_SERVER_USER=watchtower@my-domain.com
.#- WATCHTOWER_NOTIFICATION_EMAIL_SERVER_PASSWORD=secret
.#command: --schedule “0 0 4 * * *”

Es wäre ein Träumchen wenn das i-wann mal funktionieren könnte … Lieben Dank vorab für jeden Ratschlag dazu

StefanU 2021-02-28 14:39:51 UTC #2

Ist der Push-Server/Container gestartet?

Soll wohl sein. Wenn der Push-Server nicht funktioniert kann IMAP-Push auch nicht.

Stefan

DarkTrinity 2021-02-28 15:07:26 UTC #3

Danke für die schnelle Antwort.

Also ein docker ps ergab:

CONTAINER ID IMAGE COMMAND CREATED STATUS >PORTS NAMES
5816327dba36 nginx:stable-alpine “/docker-entrypoint.…” About an hour ago Up About a minute 127.0.0.1:8090->80/tcp egroupware-nginx
4927bf70d246 phpswoole/swoole:latest “/entrypoint.sh” About an hour ago Up About a minute egroupware-push
74412cd41af7 egroupware/egroupware:20.1 “/entrypoint.sh php-…” About an hour ago Up About a minute 9000/tcp egroupware
45a010b3d19f containrrr/watchtower:latest “/watchtower --sched…” About an hour ago Up About a minute 8080/tcp egroupware-watchtower
56b3e5b3d401 quay.io/egroupware/rocket.chat:stable “docker-entrypoint.s…” 2 hours ago Up About a minute 127.0.0.1:3000->3000/tcp rocketchat
9c93a21ac046 mongo:4.0 “docker-entrypoint.s…” 2 hours ago Up 1 second 27017/tcp rocketchat-mongo
d42c04f2075e quay.io/egroupware/collabora-key:stable “/bin/sh -c 'bash st…” 7 weeks ago Up About a minute 127.0.0.1:9980->9980/tcp collabora-key

Ja, der läuft wohl - aber er hat in gegensatz zu den anderen Einträgen keine Ports in der Übersicht … Hmmm…

Ein egrep -rni -e "phpswoole“ /etc/ ergibt:

/etc/egroupware-docker/create-override.sh:98: # push server using phpswoole
/etc/egroupware-docker/docker-compose.yml:77: # push server using phpswoole
/etc/egroupware-docker/docker-compose.yml:79: image: phpswoole/swoole:latest
/etc/egroupware-docker/docker-compose.override.yml:87: # push server using phpswoole
/etc/egroupware-docker/latest-docker-compose.yml:77: # push server using phpswoole
/etc/egroupware-docker/latest-docker-compose.yml:79: image: phpswoole/swoole:latest
/etc/egroupware-docker/latest-docker-compose.override.yml:79: # push server using phpswoole

Wenn ich mir diese Zeilen in den Dateien ansehe fällt mir in der /etc/egroupware-docker/docker-compose.yml auf:

.# push server using phpswoole
push:
image: phpswoole/swoole:latest
volumes:
- sources-push:/var/www
- sessions:/var/lib/php/sessions
- push-config:/var/lib/egroupware-push

Diesen Ordner gibts garnicht … Ein cd /var/lib/egroupware-push ergibt:

bash: cd: /var/lib/egroupware-push: No such file or directory

Aber könnte das vielleicht die Ursache sein ? Was tun - einfach erstellen ?

Anmerkung: Einen Ersatz dafür scheint es in der docker-compose.override.yml auch nicht zu geben - ein cat docker-compose.override.yml | grep push-config liefert nichts zurück …

Nochmal ein g anz liebes Danke

DarkTrinity 2021-02-28 16:14:19 UTC #4

Diesen Ordner einfach anzulöegen brachte natürlich nichts - wäre ja auch “langweilig”
Ein Neustart der Container sowie des Docker-Service änderte auch nichts daran

StefanU 2021-02-28 16:45:23 UTC #5

Ist schon richtig so:

Habe ich auch nicht. Ist meine ich auch nicht nötig aktuell.

Dann liegt dein Problem eher in der Kommunikation bzw. deiner Netzwerkkonfiguration:

Was hast du im Setup stehen?:

Stefan

DarkTrinity 2021-02-28 17:04:05 UTC #6

Da steht

127.0.0.1:8090

Ja, das war dumm von mir, da gehört die Domain rein … :(

Ich habe es geändert und das Wirtssystem rebooten müssen wg Fehlern in der UI, die dann nach dem Reboot behoben waren:

www.MEINEDOMAIN.local

Aber Push geht immer noch nicht -.-

Allerdings hat sich die Fehlermeldung unter Admin > Test Push verändert:

Push::onlyFallback()=true --> Using fallback via regular JSON requests

SwoolPush\Backend::failedAttempts()=4, SwoolePush\Backend::backoffTime=240

SwoolePush\Backend->online()=Stopped trying to connect to push server https://www.MEINEDOMAIN.local/egroupware/pushafter 4 failed attempts!
Push::onlyFallback()=true --> Using fallback via regular JSON requests

SwoolPush\Backend::failedAttempts()=4, SwoolePush\Backend::backoffTime=240

Push->online()=[“webqa”]

Das da nun die richtige URL (www.MEINEDOMAIN.local) steht und der hostname des wirten (webqa) ist neu

Ok …

Sehe ich mir die Apache Direktiven dazu an, stosse ich auf folgende URL, auf die Reverse Proxy ja reagieren sollte:

/egroupware/push

Rufe ich nun www.MEINEDOMAIN.local/egroupware/puish manuell im Browser auf, muss ich Zugangsdaten eingeben

Dort gebe ich dann die definitiv richtigen Benutzerdaten ein, mit denen ich in EGW angemeldet bin (Admingruppenmitglied). Das PopUp erscheint dann 3x und fragt ab, was ein Indiz darauf ist, daß die eingegebenen Zugangsdaten für ihn nicht ok sind…

Nach dem dritten mal glaube ich bekomme ich folgenden Inhalt ium Browser:

Missing Bearer Token!

Wahrscheinlich braucht er irgendwie einen anderen User dafür ?

Unter Admin > Anwendungen > Email > Site Configuration habe ich unter Name of IMAP servers (space separated host or host:port) den Wert mail.meinedomain.local - das ist die Adresse des Mailservers. Dort hatte ich auch schon die IP versucht

In der /etc/dovecot/conf.d/99-egroupware-push.conf folgendes

.# Store METADATA information in a file dovecot-metadata in user’s home
mail_attribute_dict = file:%h/dovecot-metadata

–>auch diese zeile bringt mich ins grübeln - die benutzer der mailaccounts auf der maschiene haben garkein homedirectorty - zumindest nicht unter /home/ … Und unter /var/vmail finde ich ebenfalls keine einzige Datei mail_attribute_dict

.# enable metadata
protocol imap {
imap_metadata = yes
}

.# add notify AND push_notification plugins for LMTP (or LDA if you use that)
protocol lmtp {
mail_plugins = $mail_plugins notify push_notification
}

.# URL to call for new arriving mails in the INBOX
plugin {
push_notification_driver = ox:url=http://Bearer:mpoMCZZ4l7tV1kJl@www.MEINEDOMAIN.local/egroupware/push user_from_metadata
}

–> dieses user_from_metadata (fettdruck oben) - muss das vielleicht durch iegendetwas ersetzt werden ?

DarkTrinity 2021-03-05 10:30:00 UTC #9

laut https://github.com/EGroupware/egroupware/wiki/IMAP-Push-Notifications

Dovecot 2.2 only supports notifications about new arriving mails in users INBOX AND only http URLs!

Da hätte ich ja noch lange fummeln können … Das EGW läuft selbstverständlich ausschließlich auf einer https- URL. Damit wird Push, zumindest mit Dovecot 2.2XXXXX, wie es bei mir im Einsatz ist, zwangsweise auf die Nase fallen ^^

Ich werde also versuchen swoolepush zu entfernen, denn ein stures PopUp was sich über PUSH beschwert braucht niemand.

StefanU 2021-03-05 15:46:42 UTC #10

Hi Nuria.

Wird Zeit für ein Update. 2.2 hat seit 28.08.2019 keines mehr bekommen:
https://dovecot.org/doc/NEWS-2.2
Wir setzen im Hosting und im EGroupware-Mail-Paket einen aktuellen 2.3 ein.

Push setzen wir aber eben nicht nur im Bereich Mail ein:

Aktuell implementieren wir Push auch in weiteren Bereichen (Adressbuch, …).

Stefan

RalfBecker 2021-03-05 16:11:55 UTC #11

Zwischen dem Proxy auf dem Host und dem internen Nginx with http gesprochen, sprich verwende einfach http://127.0.0.1:8080/egroupware/push für den Dovecot 2.2.

Wenn Du Push nicht für Mail nutzen willst, schalt das doch einfach in der Konfiguration der Anwendung wieder ab. EGroupware verwendet den Push inzwischen für ziemliche viele Anwendungen.

Ralf

RalfBecker 2021-03-05 16:22:38 UTC #12

Btw. ich habe ja auch eine Schrit-für-Schritt Anleitung zum Troubleshooting des Push-Servers im Wiki veröffentlicht:

Bist Du die mal durchgegangen?

Ralf

DarkTrinity 2021-03-06 07:41:35 UTC #13

@RalfBecker
Lieben Dank, bin ich durchgegangen - das meiste hatte ich wie vorgegeben. Ich stosse nirgendwo auf Fehler (WebDev Tools, Curl Befehle, Prüfung ob sich die Container eine gemeinsame Session teilen) ausser hier:
hier:
docker exec -it egroupware curl -i https://www.meine-domain.local/egroupware/push ergibt:

curl: (60) SSL certificate problem: self signed certificate
More details here: https://curl.haxx.se/docs/sslcerts.html

curl failed to verify the legitimacy of the server and therefore could not
establish a secure connection to it. To learn more about this situation and
how to fix it, please visit the web page mentioned above.

Es ist ja eine Testumgebung, daher selbstsigniertes SSL - egeneriert im ISP Config Panel.

Ich habe für Push sowohl die 127.0.0.1 als auch die 172.17.0.1 versucht - immer wieder das gleiche - kein Push.

A) In der /etc/egroupware-docker/docker-compose.override.yml folgendes:

Das CA eingebunden mit /etc/egroupware-docker/private-ca.crt:/usr/local/share/ca-certificates/private-ca.crt:ro
Den extra Host “www.meine-domain.local:172.17.0.1”

B) EGW UI > Admin > Apps > Mail > Push notifications

http://172.17.0.1:8090/egroupware/push

C) /etc/dovecot/conf.d/99-egroupware-push.conf:

.# URL to call for new arriving mails in the INBOX plugin {
push_notification_driver = ox:url=http://Bearer:–token-ohne-sonderzeichen–@172.17.0.1:8090/egroupware/push user_from_metadata
}

Ich habe die 127.0.0.1 durch 172.17.0.1 ersetzt - alles bleibt beim Alten und der Fehler bleibt. Container neu aufgesetzt, docker service restartet, rebootet, dovecot restartet

RalfBecker 2021-03-07 14:11:39 UTC #14

Das funktioniert, denke da hast Du noch irgendwo einen Fehler, z.B. Container nicht neu gebaut (docker-compose up -d) oder das angegebene File ist nicht die CA, sondern das Zertifikat.

Am einfachsten Testet man das mit curl im Container:

docker exec -it egroupware bash
apt update && apt install curl
curl --resolve www.meine-domain.local:443:172.17.0.1 https://www.meine-domain.local/egroupware/push

Wenn curl sich über das Zertifikat beschwert, ist es nicht richtig im Container eingebunden, sprich mit einem zustätzlichen --insecure solltest Du dann vom Push-Server eine Authentifizierungsanfrage bekommen.

Selfsigned Zertifkate machen einfach keine Sinn / mehr Probleme --> verwende Let’s Encrypt

Hier muss der IMAP Server angegeben werden, für den Push verwendet werden soll, NICHT der Push Server.

Ist der falsche Host/Port, das der Push nur über den internen Nginx angesprochen werden kann, dh. http://127.0.0.1:8080/egroupware/push
Erst mal mit curl versuchen, solange das nicht geht, hast Du noch was falsch!

Ralf

DarkTrinity 2021-03-07 16:12:25 UTC #15

Hallo @RalfBecker ,

nochmal ganz lieben Dank

Ich habe PUSH mittlerweile ans Laufen bekommen Ich habe für Egroupware einen neuen, eigenen Vhost angelegt (der Inhalt der /etc/egroupware-docker/apache.conf ist gänzlich auskommentiert und in die entsprechende neue VHost Datei eingebaut worden - ohne die Auskommentierung natürlich).

Die docker-compose-override hat u.a.:

services:
   Egroupware:
     Extra_hosts:
     - "office.meinedomain.local:172.17.0.1"

EGW UI > Admin > Apps > Mail > Push notifications:

172.17.0.1

/etc/dovecot/conf.d/99-egroupware-push.conf

push_notification_driver = ox:url=http://Bearer:–token-ohne-sonderzeichen–>@http://172.17.0.1/egroupware/push user_from_metadata

Weia, bin ich froh

Wenn ich nur wirklich wüsste woran es lag … Ich habe 2 “Verdächtige”

Das selbstsignierte Zertifikat habe ich nun wo alles läuft als Kopie direkt in das Verzeichnis /etc/egroupware-docker kopiert und in der docker-compose-override eingebaut. Zuvor hatte ich es als Softlink in das besagte Verzwichnis geschickt, aber Docker soll ja Probleme mit Links innerhalb, aus Dockers Sicht, externen Dateisystemen haben. Daher hatte ich es später testweise und ebenfalls vergeblich mit seinem ursprünglichen Pfad auf dem Wirten (/var/www/domain.local/ssl/domain.crt.) in der docker-compose.overwrite eingetragen. Ich habe irgendwie deses Zertifikat in Verdacht - oder besser gesagt die Art wie es von mir in den Container integriert wurde…
Auf dem Vhost wo Egroupware zuvor war, koexistierte es gemeinsam mit Joomla, dokuwiki, phpMyAdmin, Roundcube und gitea. Plus das serverweit global auf Port 8080 lauschende ISP Config. Hier wäre gitea mein zweiter möglicher Verdächtiger für die Ursache von Problemen…

LG
Nuria