[gelöst] Mail high Dovecot Load

Holger_F 2018-06-04 10:54:58 UTC #1

Hallo zusammen,

hier bin auf der Suche bei Performanceproblemen auf eine interessante Entdeckung gestoßen.

Wir hatten die Mails (inkl VM) auf einem Raid5 laufen. Nur haben wir diesen auf einen Raid10 mit 15K Platten verschoben und haben kaum Performanceunterschiede feststellen können. Es gibt sehr große Mailboxen der user > 2GB. Dovecot läuft mittels Maildir.

Über Thunderbird erhalte ich eine sehr schnelle Performance. Werden da nur die Header gelesen?

Bei der Egroupware braucht es immer 2-3Sekunden bis ein Mailordner angezeigt wird.Evtl werden die kompletten Mails gelesen.

Gibt es da noch einen Trick, wied man das anpassen kann? Ich benötige prinzipiell keine Funktion, dass die Mail samt Text automatisch geöffnet wird. Bzw könnte man die komplette Mail dann immer noch nachladen.

Würde mich über ein Feedback freuen, weil im Alltag dieser Lag doch irgendwie störend ist…

StefanU 2018-06-04 11:45:53 UTC #2

Hallo Holger,

Ob Dovcot oder Cyrus: Es werden (normalerweise) Indexe angelegt aus denen gelesen werden. Da spielt dann meiner Erfahrung nach das Platten-Subsystem nicht die Rolle/das Nadelöhr.

Bei uns bis 35GB…

TB speicher die Header zin einem eigenen Index zwischen (*.msf). Die Dateien gehen auch mal gerne kaputt. Kann man über das Kontext-Menü reparieren…

EGw fordert doe Header an, speicher diese nicht in einer eigenen Index-Datei.
Dauert in meiner inbox ~19000 Mails) ein Augenzwinkern. Keinesfalls so lange wie bei dir. Das aber lokal im Netzwerk. Über WAN kann das anders aussehen. Da helfen die Web-Entwickler-Tools der Webbrowser um den traffic mal zu analysieren.
Es kann natürlich auch sein, dass der Mail-Server nicht schnell liefert weil das mit den Indexen nicht richtig läuft.

Das passiert beim Betreten eines Ordners ja erst einmal nicht. Die Vorschau kann man abschalten.

Gruß
Stefan

Holger_F 2018-06-04 12:40:22 UTC #3

Hallo Stefan,

das finde ich auch merkwürdig. Die ganzen Daten liegen auf einem Host. Dabei sind Egroupware und Mailserver allerdings 2 VM-Apps die über virtuellen Fiberchannel mit 10Gbit angebunden sind. Zugriff auf die Groupware über lokales 1Gbit Lan.

Das sollte eigentlich recht performant sein. Ich verstehe nicht woher dieses Lag kommt.

Danke dir schonmal.

StefanU 2018-06-04 12:55:46 UTC #4

Was mir noch so einfällt:

War das denn vorher schneller?
Update des Mail-Servers?
EGw-Update von <17.1?
Mailserver-Log? Auth…
EGw-Log?
Braucht der Kalender ähnlich lange für z.B. die Monatsansicht mit einigen/vielen Terminen?
DNS? IP in Mailkonto testen…
lokale Adresse des Mailservers in EGw oder externe?

Holger_F 2018-06-04 13:32:48 UTC #5

Der Kalender braucht beim ersten Laden auch so eine Weile. (1-2) Dann läuft es flott. Aber ich denke da wird er sich auch die Daten holen.

Ich werde demnächst mal deine Liste abarbeiten. Ich denke der Server sollte das schon schaffen können.

Mailserver ist intern bei uns gehostet,
für die Groupware allerdings ein externer Host, aber mit dem Internen-DNS verknüpt.

StefanU 2018-06-05 05:38:27 UTC #6

Dann würde ich auf jeden Fall noch einmal ein Postfach bei einem Provider (GMX oä.) gegentesten.
Und immer eine Netzwerkanalyse mitlaufen lassen. Das gibt ein Gefühl dafür wo die Zeit her kommt.

moe 2018-06-05 05:59:50 UTC #7

Moin,

habe jetzt nicht alles mitverfolgt, aber wenn die Anbindung ans Internet zu schmal

ist oder eine zu hohe Latenz hat, würde es das auch erklären …

Warum hostet ihr den eGW-Server denn extern wenn ihr den IMAP intern habt?

Moe

Holger_F 2018-06-05 07:25:30 UTC #8

Hallo zusammen,

sorry da habe ich mich unklar ausgedrückt.

Beide Hosts sind bei uns gehostet. Der Mailserver ist aber nicht in der gleichen VM wie die Groupware.Beide Server sind über einen (virtuellen) 10Gbit Fiberchannel Switch verbunden verbunden. Ich habe es nun auch mit einem Client auf dem VM Host probiert.

Ich werde mal die Internetverbindung kappen und dann schauen, was ob es dann zu veränderungen kommt. Ob nicht wirklich Probleme beim DNS existieren und der einen Loopback über unseren I-Net Server macht. Weil von außen (I-Net) ist die Groupware über die gleiche Domain erreichbar.

Vielen Dank soweit schon mal. Manchmal braucht man einfach einen Stupser weil man den Wald vor lauter Bäumen nicht sieht.

StefanU 2018-06-05 09:37:33 UTC #9

Bei mir liegt die Latenz bei durchschnittlich 0,408ms zwischen Mail- und EGw-Server.

Der Zugriff über die Mail-Konten kann ja über die lokale IP erfolgen. Wenn ihr die Ziel-IP nicht ändert bringt der DNS im Konto wenig. Das meinte ich…

Holger_F 2018-06-06 10:33:03 UTC #10

Hallo Stefan,

ich habe das Problem gelöst.

Ich habe nun auch eine Latenz zwischen 0,2 bis 0,4 sec.

@StefanU Du meinst sicherlich auch 408ms oder 0,408s

Jetzt ist natürlich die große Frage an was es lag. Mein Dovecot war so konfiguriert, dass er auch lokale passwd Anmeldungen akzeptiert. Nun lief wohl immer die erste Anfrage ins leere und die 2 wurde bestätigt. Dies hat den Timeout erzeugt. Nachdem ich nun die Anmeldung ausschließlich auf AD umgestellt habe, läuft es so wie gewünscht.

Danke euch, dass ihr mich auf die richtige Fährte gebracht habt. Die Antworten haben mich an der richtigen Stelle suchen lassen.

StefanU 2018-06-10 09:59:26 UTC #11

Hallo Holger.

Ich meinte einen ping zwischen EGw und Mail-Server. Der liegt dann eben bei mir bei 0,408ms. In mancher Konstellation wird das interessant, wenn das Gequatsche zwischen beiden durch schlechte Antwortzeiten beeinträchtigt wird.
Das sollte ja bei dir nicht der Fall gewesen sein.

Ansonsten bleibt also Auth und DNS. Ich will mal einen Beitrag schreiben zu den möglichen Ursachen und möglichen Lösungen von Mail-Performance-Problemen. Könntest du mir dazu (gerne per PN) noch einmal deine Konstellation und die Lösung möglichst ausführlich dokumentieren? Ich will das verstehen bevor ich das zusammen schreibe.

Gruß
Stefan

Holger_F 2018-06-11 12:39:27 UTC #12

Hallo Stefan,

Die Infos lasse ich dir zukommen. Aber ich kann noch ne Woche dauern. Das wird mal ein Freitagnachmittagjob werden.