Webdav / davfs - Problem mit großer Datei

[grefabu]

Moin,

ich habe aktuell ein Problem beim Upload in eine webdav Freigabe über davfs.

Die Freigabe ist auf einem linux server über davfs gemountet.

Übertrage ich Dateien erhalte ich folgende Einträge im apache log:

root@glpi:/usr/share/egroupware# grep webdav /var/log/apache2/glpi.peiker-holding.de-ssl-access.log | grep 'service-rr' | grep 2GB
80.148.14.230 - - [03/Feb/2022:10:50:38 +0100] "LOCK /egroupware/webdav.php/home/service-rr/2GB HTTP/1.1" 200 6111 "-" "davfs2/1.6.0 neon/0.31.2"
80.148.14.230 - - [03/Feb/2022:10:55:01 +0100] "PUT /egroupware/webdav.php/home/service-rr/2GB HTTP/1.1" 502 5704 "-" "davfs2/1.6.0 neon/0.31.2"
80.148.14.230 - - [03/Feb/2022:10:58:10 +0100] "LOCK /egroupware/webdav.php/home/service-rr/2GB HTTP/1.1" 423 5544 "-" "davfs2/1.6.0 neon/0.31.2"
80.148.14.230 - - [03/Feb/2022:10:58:10 +0100] "PUT /egroupware/webdav.php/home/service-rr/2GB HTTP/1.1" 502 506 "-" "davfs2/1.6.0 neon/0.31.2"
80.148.14.230 - - [03/Feb/2022:11:01:30 +0100] "LOCK /egroupware/webdav.php/home/service-rr/2GB HTTP/1.1" 423 5544 "-" "davfs2/1.6.0 neon/0.31.2"
80.148.14.230 - - [03/Feb/2022:11:01:30 +0100] "PUT /egroupware/webdav.php/home/service-rr/2GB HTTP/1.1" 502 506 "-" "davfs2/1.6.0 neon/0.31.2"
80.148.14.230 - - [03/Feb/2022:11:04:42 +0100] "LOCK /egroupware/webdav.php/home/service-rr/2GB HTTP/1.1" 423 5544 "-" "davfs2/1.6.0 neon/0.31.2"
80.148.14.230 - - [03/Feb/2022:11:04:42 +0100] "PUT /egroupware/webdav.php/home/service-rr/2GB HTTP/1.1" 502 506 "-" "davfs2/1.6.0 neon/0.31.2"
80.148.14.230 - - [03/Feb/2022:11:07:54 +0100] "LOCK /egroupware/webdav.php/home/service-rr/2GB HTTP/1.1" 423 5544 "-" "davfs2/1.6.0 neon/0.31.2"
80.148.14.230 - - [03/Feb/2022:11:07:54 +0100] "PUT /egroupware/webdav.php/home/service-rr/2GB HTTP/1.1" 502 506 "-" "davfs2/1.6.0 neon/0.31.2"
80.148.14.230 - - [03/Feb/2022:11:11:08 +0100] "LOCK /egroupware/webdav.php/home/service-rr/2GB HTTP/1.1" 423 5544 "-" "davfs2/1.6.0 neon/0.31.2"
80.148.14.230 - - [03/Feb/2022:11:11:08 +0100] "PUT /egroupware/webdav.php/home/service-rr/2GB HTTP/1.1" 502 506 "-" "davfs2/1.6.0 neon/0.31.2"
80.148.14.230 - - [03/Feb/2022:11:14:23 +0100] "LOCK /egroupware/webdav.php/home/service-rr/2GB HTTP/1.1" 423 5544 "-" "davfs2/1.6.0 neon/0.31.2"
80.148.14.230 - - [03/Feb/2022:11:14:23 +0100] "PUT /egroupware/webdav.php/home/service-rr/2GB HTTP/1.1" 502 506 "-" "davfs2/1.6.0 neon/0.31.2"
80.148.14.230 - - [03/Feb/2022:11:17:36 +0100] "LOCK /egroupware/webdav.php/home/service-rr/2GB HTTP/1.1" 423 5544 "-" "davfs2/1.6.0 neon/0.31.2"
80.148.14.230 - - [03/Feb/2022:11:17:36 +0100] "PUT /egroupware/webdav.php/home/service-rr/2GB HTTP/1.1" 502 506 "-" "davfs2/1.6.0 neon/0.31.2"
80.148.14.230 - - [03/Feb/2022:11:20:53 +0100] "LOCK /egroupware/webdav.php/home/service-rr/2GB HTTP/1.1" 423 5544 "-" "davfs2/1.6.0 neon/0.31.2"
80.148.14.230 - - [03/Feb/2022:11:20:53 +0100] "PUT /egroupware/webdav.php/home/service-rr/2GB HTTP/1.1" 502 506 "-" "davfs2/1.6.0 neon/0.31.2"
80.148.14.230 - - [03/Feb/2022:11:24:06 +0100] "LOCK /egroupware/webdav.php/home/service-rr/2GB HTTP/1.1" 423 5544 "-" "davfs2/1.6.0 neon/0.31.2"
80.148.14.230 - - [03/Feb/2022:11:24:06 +0100] "PUT /egroupware/webdav.php/home/service-rr/2GB HTTP/1.1" 502 506 "-" "davfs2/1.6.0 neon/0.31.2"
80.148.14.230 - - [03/Feb/2022:11:27:18 +0100] "LOCK /egroupware/webdav.php/home/service-rr/2GB HTTP/1.1" 423 5544 "-" "davfs2/1.6.0 neon/0.31.2"
80.148.14.230 - - [03/Feb/2022:11:27:18 +0100] "PUT /egroupware/webdav.php/home/service-rr/2GB HTTP/1.1" 502 506 "-" "davfs2/1.6.0 neon/0.31.2"
80.148.14.230 - - [03/Feb/2022:11:30:30 +0100] "LOCK /egroupware/webdav.php/home/service-rr/2GB HTTP/1.1" 423 5544 "-" "davfs2/1.6.0 neon/0.31.2"
80.148.14.230 - - [03/Feb/2022:11:30:30 +0100] "PUT /egroupware/webdav.php/home/service-rr/2GB HTTP/1.1" 502 506 "-" "davfs2/1.6.0 neon/0.31.2"
80.148.14.230 - - [03/Feb/2022:11:33:52 +0100] "LOCK /egroupware/webdav.php/home/service-rr/2GB HTTP/1.1" 423 5544 "-" "davfs2/1.6.0 neon/0.31.2"
80.148.14.230 - - [03/Feb/2022:11:33:52 +0100] "PUT /egroupware/webdav.php/home/service-rr/2GB HTTP/1.1" 502 506 "-" "davfs2/1.6.0 neon/0.31.2"
80.148.14.230 - - [03/Feb/2022:11:37:22 +0100] "LOCK /egroupware/webdav.php/home/service-rr/2GB HTTP/1.1" 423 5544 "-" "davfs2/1.6.0 neon/0.31.2"
80.148.14.230 - - [03/Feb/2022:11:37:22 +0100] "PUT /egroupware/webdav.php/home/service-rr/2GB HTTP/1.1" 502 506 "-" "davfs2/1.6.0 neon/0.31.2"
80.148.14.230 - - [03/Feb/2022:11:40:44 +0100] "LOCK /egroupware/webdav.php/home/service-rr/2GB HTTP/1.1" 423 5544 "-" "davfs2/1.6.0 neon/0.31.2"
80.148.14.230 - - [03/Feb/2022:11:40:44 +0100] "PUT /egroupware/webdav.php/home/service-rr/2GB HTTP/1.1" 502 506 "-" "davfs2/1.6.0 neon/0.31.2"
80.148.14.230 - - [03/Feb/2022:11:44:05 +0100] "LOCK /egroupware/webdav.php/home/service-rr/2GB HTTP/1.1" 423 5544 "-" "davfs2/1.6.0 neon/0.31.2"
80.148.14.230 - - [03/Feb/2022:11:44:05 +0100] "PUT /egroupware/webdav.php/home/service-rr/2GB HTTP/1.1" 502 506 "-" "davfs2/1.6.0 neon/0.31.2"
80.148.14.230 - - [03/Feb/2022:11:47:16 +0100] "UNLOCK /egroupware/webdav.php/home/service-rr/2GB HTTP/1.1" 409 350 "-" "davfs2/1.6.0 neon/0.31.2"


root@glpi:/usr/share/egroupware# grep webdav /var/log/apache2/glpi.peiker-holding.de-ssl-access.log | grep 'service-rr' | grep 1GB
80.148.14.230 - - [03/Feb/2022:10:24:08 +0100] "LOCK /egroupware/webdav.php/home/service-rr/1GB HTTP/1.1" 200 6111 "-" "davfs2/1.6.0 neon/0.31.2"
80.148.14.230 - - [03/Feb/2022:10:28:05 +0100] "PUT /egroupware/webdav.php/home/service-rr/1GB HTTP/1.1" 201 5579 "-" "davfs2/1.6.0 neon/0.31.2"
80.148.14.230 - - [03/Feb/2022:10:29:49 +0100] "HEAD /egroupware/webdav.php/home/service-rr/1GB HTTP/1.1" 200 426 "-" "davfs2/1.6.0 neon/0.31.2"
80.148.14.230 - - [03/Feb/2022:10:29:49 +0100] "UNLOCK /egroupware/webdav.php/home/service-rr/1GB HTTP/1.1" 409 350 "-" "davfs2/1.6.0 neon/0.31.2"

Der Unterschied ist augenscheinlich der HEAD Eintrag und natürlich die 502. Die 1GB Datei wurde mir auch im sqlfs angezeigt, die 2GB Datei nicht.

Hängt das am Eintrag 1g vom nginx?
Interessanter Weise wurden auch schon mal Dateien > 2GB übertragen.

Grüße

Gregor

[StefanU]

Hi Gregor.

Hängt das am Eintrag 1g vom nginx?

Du meinst?:

Probiers aus. Müsste das sein.

Hier dein altes Ticket dazu

Upload Limit

Interessanter Weise wurden auch schon mal Dateien > 2GB übertragen.

Sicher auf dem Weg?
Per Web-IF läuft das anders (Chunks) …

Stefan

[RalfBecker]

Es hängt davon ab, wie der Client der auf das davfs Dateisystem schreibt das macht. Wir alles auf einmal geschrieben, darf die Datei nicht größer als 1GB sein.

Es gibt z.B den Windows WebDAV Client RAI macht chunked Uploads mit dem kann man mehrer GB oder TB große Dateien anlegen/kopieren.

Wenn Du Kontrolle über die Software hast, könntest Du in einem Script unter Linux z.B. dd verwenden um max. 1GB Chunks zu senden.

Ralf

[grefabu]

Moin,

@StefanU
der Kollege war sich sicher, das die Übertragung über davfs schon mal mit den großen Files geklappt hat.
Darauf habe ich mich erst mal verlassen. Über das Ticket damals bin ich auch auf die Idee gekommen in der ngnix conf

@RalfBecker nachzuschauen.
Regel ich das bei dd über den bs Parameter? Wenn ich also dd if=2GB of=mnt/davfs/2Gb bs=1M ausführe teilt dd das automatisch in 1M chunks auf?

[RalfBecker]

Regel ich das bei dd über den bs Parameter? Wenn ich also dd if=2GB of=mnt/davfs/2Gb bs=1M ausführe teilt dd das automatisch in 1M chunks auf?

Das kannst Du versuchen, bin aber nicht sicher, ob davfs aus diesen einzelnen Schreibvorgängen, wirklich einzelne WebDAV Range Requests macht. Ich dachte daran in einer look mit seek und skip Parametern entsprechende chunks zu übertragen.

Ralf

[grefabu]

Moin,

ich hänge noch an dem Thema,…

es gibt die Möglichkeit über client_max_body_size 0 die Dateigröße auf unlimitiert zu setzen.
Allerdings finde ich aktuell keine Hinweise darauf ob das wirklich sinnvoll ist und welche negativen Auswirkungen dies haben kann.

Muss ich da evtl. den RAM oder einen anderen Cache berücksichtigen?
Gut ich möchte mir auch nicht unbedingt die Partition vollschreiben lassen, aber das Risiko besteht ja auch bei kleineren Dateien,…

Grüße

Gregor

[RalfBecker]

Du musst ja auch nicht gleich 0=unbegrenzt setzen, setzt halt mal eine hinreichend großen Wert z.B 10GB.

Ralf