Nach Update auf 14.2.0 unregelmäßige Abstürze der Gateway Rolle

[klgo]

Gestern haben wir unseren NoSpamProxy Server (der alle Rollen beinhaltet) von Version 14.0.5 auf Version 14.2.0 aktualisiert. Das Update klappte auch ohne Fehler und alle Dienste und Funktionen sind seit dem Update auch verfügbar und verrichten ihre Aufgaben. Zusätzlich wurde kurz nach dem Update das Zertifikat für die Web App umgestellt auf ein neues selbstsigniertes Zertifikat. Das funktioniert aber ohne Probleme und wird vermutlich nichts mit dem Fehler zu tun haben.

Allerdings stürzt seit dem Update die Anwendung NoSpamProxy.GatewayRole.exe alle paar Stunden (oder teilweise auch mehrfach innerhalb einer Stunde) mit dem Ausnahme Code 0xc00000fd ab (Windows Eventlog Eintrag ID 1000). Anschließend nimmt sich die Gateway Rolle schlagartig mehrere GB RAM, was so aussieht wie der gesamte verfügbare RAM, der SQL Server hat eine höhere CPU Last und 1-2 Minuten später meldet dann Windows das der Dienst unerwartet beendet wurde und startet ihn neu.

In den meisten Fällen fehlt bei dem Eventlog Eintrag ein fehlerhaftes Modul, aber sehr selten wurde dort die clr.dll vom .Net Framework aufgelistet.

In allen anderen Logdateien finde ich nichts auffälliges. Die NoSpamProxy Logs haben zum Zeitpunkt des Absturzes nur einen Eintrag von der Internet Rolle, die sich beklagt dass sie die Gateway Rolle nicht erreichen kann (Serverfehler 503). Das macht allerdings auch Sinn, da die Rolle kurz zuvor abgestürzt ist. Nachdem Windows den Dienst aber erneut gestartet hat, meldet die Internet Rolle aber auch eine erfolgreiche Verbindung.
In den "erweiterten" Protokoll Logs der Gateway Rolle (Troubleshooting) konnte ich auch nichts finden. Es fehlen allerdings auch Einträge zum Zeitpunkt des Absturzes und die Datei endet unerwartet.

Ein Neustart des Servers hat keine besserung gebracht. Ebenfalls habe ich versucht durch das Installieren der ausstehenden Windows und vor allem .Net Updates irgendwie die .Net Framework zureparieren, falls das kaputt ist. Einen Windows Filesystem Scan mit sfc und dism habe ich ebenfalls bereits durchgeführt.

Ich habe nun keine Idee mehr wo ich ansetzen soll. Abseits davon das .Net Framework zu deinstallieren und zu reinstallieren.

 

[Sören]

Ich habe nun keine Idee mehr wo ich ansetzen soll.

Ich auch nicht so richtig

Die Ausnahmen für den Defender hast du gesetzt?

Schritt 4: Anpassen der Einstellungen des Windows Defender

docs.nospamproxy.com

 

[klgo]

Ja, die habe ich gestern hinzugefügt:
PS C:\> Get-MpPreference | Select-Object ExclusionPath, ExclusionProcess | fl ExclusionPath : {C:\ProgramData\Net at Work Mail Gateway\Core Antispam Engine, C:\ProgramData\Net at Work Mail Gateway\Temporary Files\MailQueues, C:\ProgramData\Net at Work Mail Gateway\Temporary Files\MailsOnHold} ExclusionProcess : {amserver.exe, NoSpamProxy.CoreAntispamEngine.exe}

Zur Not muss ich das Update rückgängig machen und ein Update auf Version 15 in Betracht ziehen. Aber ich würde lieber auf im regulären Channel verbleiben.
Immerhin scheinen die Abstürze nicht mit dem Versenden von Mails zu tun haben, weswegen keine Mails verloren gehen durch die Abstürze. Langfristig tragbar ist der Zustand aber dennoch nicht.

 

[Sören]

Zur Not muss ich das Update rückgängig machen und ein Update auf Version 15 in Betracht ziehen. Aber ich würde lieber auf im regulären Channel verbleiben.

das würde auch nichts bringen, denn uns ist nichts bekannt

Läuft irgendwas anderes auf dem Server was neben dem Defender noch AV macht oder sonstiges?

Ansonsten könntest du mal Testweise den Defender für einen Tag deaktivieren.

 

[klgo]

Ich habe nun den Viren Echtzeitschutz deaktiviert. Sollte ich bei den Exploit-Schutz Einstellungen noch Funktionen deaktivieren?

Und einen Tag muss ich vermutlich nicht warten, wenn der Fehler dennoch auftreten sollte. In 99% der Fällen stürzt die Gateway Rolle innerhalb von 2 Stunden ab.

 

[Sören]

Ich habe nun den Viren Echtzeitschutz deaktiviert. Sollte ich bei den Exploit-Schutz Einstellungen noch Funktionen deaktivieren?

Und einen Tag muss ich vermutlich nicht warten, wenn der Fehler dennoch auftreten sollte. In 99% der Fällen stürzt die Gateway Rolle innerhalb von 2 Stunden ab.

ja, mach den mal zur Sicherheit auch noch komplett aus

 

[klgo]

ja, mach den mal zur Sicherheit auch noch komplett aus

Sind nun auch alle deaktiviert. Ich erwarte nicht viel aber drücke dennoch die Daumen

Ach und weil ich es vorhin nicht beantwortet habe. Auf dem Server läuft sonst keine Anti-Viren Software oder dergleichen. Ich würde sogar so weit gehen und sagen das nur die Software für NoSpamProxy auf dem Server läuft.

 

[Sören]

Sind nun auch alle deaktiviert. Ich erwarte nicht viel aber drücke dennoch die Daumen

Ich hatte das vor zwei Wochen bei einem Kunden, da passierte ähnliches obwohl die Ausnahmen gesetzt waren.

 

[JanJäschke]

Ich frag mal zur Sicherheit:
Welche .Net Framework Version hast du installliert?

 

[klgo]

Ich hatte das vor zwei Wochen bei einem Kunden, da passierte ähnliches obwohl die Ausnahmen gesetzt waren.

Das Deaktivieren von Defender hat leider keine Änderung gebracht.

Ich frag mal zur Sicherheit:
Welche .Net Framework Version hast du installliert?

Die Standard .Net Framework Version 4.8 von Windows Server 2019. Oder genauer 4.8.03761:

 

[Sören]

Das Deaktivieren von Defender hat leider keine Änderung gebracht.

Mist :/

kannst du mal bitte Crash Dumps erstellen lassen:

New-Item -Path "HKLM:\SOFTWARE\Microsoft\Windows\Windows Error Reporting" -Name "LocalDumps"
New-Item -Path "HKLM:\SOFTWARE\Microsoft\Windows\Windows Error Reporting\LocalDumps" -Name "NoSpamProxy.GatewayRole.exe"
New-ItemProperty -Path "HKLM:\SOFTWARE\Microsoft\Windows\Windows Error Reporting\LocalDumps\NoSpamProxy.GatewayRole.exe" -Name "DumpCount" -Value 2 -PropertyType DWord
New-ItemProperty -Path "HKLM:\SOFTWARE\Microsoft\Windows\Windows Error Reporting\LocalDumps\NoSpamProxy.GatewayRole.exe" -Name "DumpType" -Value 2 -PropertyType DWord

die liegen dann in:

C:\Windows\ServiceProfiles\LocalService\AppData\Local\CrashDumps\

wenn die dann erstellt wurden, melde dich mal bitte bei @JanJäschke per PN da ich im Urlaub bin

und damit kannst du das dann auch wieder deaktivieren:

Remove-Item -Recurse -Path "HKLM:\SOFTWARE\Microsoft\Windows\Windows Error Reporting\LocalDumps\NoSpamProxy.GatewayRole.exe"

 

[klgo]

Ist eingestellt. Ich schätze in ca. einer Stunde sollte ich den ersten Crash Dump haben. Kann ich den dann irgendwohin schicken? Als Anhang in einem öffentlichen Forum würde ich es nur ungerne hochladen.

 

[Sören]

Als Anhang in einem öffentlichen Forum würde ich es nur ungerne hochladen

deswegen schrieb ich bei Jan per PN melden

 

[klgo]

Ha, sorry. Überlesen

Edit: Und schönen Urlaub wünsche ich dann auch direkt.

 

[Sören]

Ha, sorry. Überlesen

Edit: Und schönen Urlaub wünsche ich dann auch direkt.

Lieben Dank, ne Stunde bin ich noch da...so lange kannst auch mich noch anschreiben

 

[klgo]

Habe es gerade schon an Jan geschickt. Wenn du willst, kann ich dir den Link aber auch noch per PN zusätzlich schicken.

 

[Sören]

Link aber auch noch per PN zusätzlich schicken

mach mal bitte

 

[JonahWbr]

Hi zusammen, habe ähnliche Probleme.
Gab es hierzu ein Ergebnis und im besten Fall die Lösung des Problems?

 

[JanJäschke]

Hey,

interessanterweise hat sich das Problem von selbst gelöst.
Ist der Absturz bei dir auch sehr regelmäßig alle x-Stunden?

Du könntest ebenfalls einmal einen Dump erstellen lassen und uns diesen zukommen lassen, ggf. ist es bei dir ein anderes Problem und wir sehen mehr.

Gruß
Jan

 

[JonahWbr]

Bei uns handelt es sich nicht direkt um Abstürze, mehr das die CPU Last der beiden Gateways ständig auf 90-100 % stehen, lt. Task Manager ist der Verursacher der Dienst "NoSPAMProxy - Gateway Role". Berechtigungen beim genutzten Zertifikat auf den privaten Key haben alle NSP internen Dienste.

Anti-Virus Ausnahmen sind auch nach Best Practice von euch gesetzt.

Hast du eine Idee, woran es noch liegen könnte?