Ausfall der Internetanbindung - Stau von E-Mails

[SBW]

Guten Abend zusammen,
mich beschäftigt zurzeit folgende Frage/Problematik.

Wir haben zwei Internetleitungen von zwei unterschiedlichen ISP auf unterschiedlichen Techniken. Damit verbunden haben wir aus Redundanzgründen unter anderen auch zwei Servern mit der NSP Gateway Rolle. Dahinter befinden sich zwei Exchange Server in einer DAG. Davor befindet sich für die Kommunikation zwischen den Clients und Exchange ein Loadbalancer (ebenfalls HA).

Im NSP sind beide Exchange Server über den jeweiligen FQDN (exchange01.domain.de und exchange02.domain.de) eingetragen. Ist ein Exchange Server nicht verfügbar (Wartungsarbeiten, Ausfall) so werden eingehende E-Mails an den verbleibenden Exchange Server zugestellt.

Nun kam es in den letzten Wochen mehrfach zum Ausfall einer Internetleitung für mehrere Stunden (zwischen 3 bis 72 Stunden). Der betroffene Server bzw. Gateway Rolle hat weiterhin E-Mails von den Exchange Servern angenommen. Was dazu geführt hat, dass sich eine Reihe von E-Mails in die Warteschlange eingereiht hat.

Wir sind kurzer Hand hingegangen und haben die E-Mails aus der Warteschlange entfernt, so dass der Absender eine entsprechende NDR erhalten. Sobald die Warteschlange leer ist, haben wir die Gateway Rolle manuell gestoppt. Somit nimmt der Server mit der Gateway Rolle automatisch keine E-Mails mehr an.
Nun zerbreche ich mir seit mehreren Tagen den Kopf, wie diese Problematik elegant gelöst werden kann. Am Wochenende ist der UHD eingeschränkt besetzt und nachts gibt es eine Rufbereitschaft. Das kann und soll keine mittelfristige Lösung darstellen.

Wie gehen andere Kunden mit dieser Problematik um?
Gibt es seitens NSP Best Practices dafür?


Gruß,
Daniel

 

[StefanCink]

Hallo Daniel,

lass mich raten: Die betroffene Leitung gehört zu Vodafone? Der Laden sorgt in  letzter Zeit echt nicht für positive Schlagzeilen.

Aber wir schweifen ab. Wenn ich das Setup bei euch richtig verstehe, funken die Gateway Rollen über eine separate Internetleitung? GW1 empfängt und schickt über Provider 1 und GW2 über Provider 2?

Warum ist dazwischen kein Loadbalancer? Es gibt Router, die das managen können, so dass beide Internetleitungen gleichermaßen genutzt werden. Bei einem Ausfall einer Leitung können beide GWs dann weiter über die eine funktionierende Leitung arbeiten. 

Gruß Stefan

 

[SBW]

lass mich raten: Die betroffene Leitung gehört zu Vodafone? Der Laden sorgt in  letzter Zeit echt nicht für positive Schlagzeilen.

100 Punkte.

Wenn ich das Setup bei euch richtig verstehe, funken die Gateway Rollen über eine separate Internetleitung? GW1 empfängt und schickt über Provider 1 und GW2 über Provider 2?

Korrekt.

Warum ist dazwischen kein Loadbalancer?

Zwischen welchen Geräten meinst du?

Es gibt Router, die das managen können, so dass beide Internetleitungen gleichermaßen genutzt werden. Bei einem Ausfall einer Leitung können beide GWs dann weiter über die eine funktionierende Leitung arbeiten.

Die beiden Internetleitungen haben wir nicht wegen der Auslastung, sondern um die Verfügbarkeit zu haben. Wie es sich gehört haben wir natürlich für Mail Services dedizierte IP-Adressen. Damit die SMTP Banner und MX-Einträge dediziert sind und alle passend sind.

Bei Lösungen wie du angesprochen hast, wird der E-Mailverkehr mehr oder weniger über die feste IP-Adresse auf der UTM Lösung abgewickelt. Das ist leider bei uns technisch nicht möglich und auch schwer umsetzbar. Denn die IP-Netze sind bei uns geroutet.


Gruß,
Daniel

 

[StefanCink]

Meine Gedanken drehen sich eher um Lösungen wie die von VipriNet: https://www.viprinet.com/de/warum-viprinet/robuste-anbindung
Da habe ich schon viel Gutes gehört. Evtl. ist das ja mal eine Überlegung wert.

Gruß Stefan

 

[SBW]

Hallo Stefan,
vielen Dank für den Hinweis. Ich schau mir die Lösung einmal an. Allerdings auf Grund unserer Tätigkeitsfeld und damit verbundenen Vorgaben, Richtlinien und Aufsichtsbehörden, sehe ich grau. Zumal solche Lösungen nochmals auf Netzwerkebene weitere Komplexität einbringen. Was das Troubleshooting noch einmal schwieriger gestaltet.

Um nochmals auf NSP zurück zu kommen...gibt es die Möglichkeit die Queue auf eine andere Gateway (falls vorhanden) solange um/weiterleiten? Sozusagen als Crosslink aus der Netzwerktechnik.


Gruß,
Daniel

 

[JanJäschke]

Guten Morgen Daniel,

standardmäßig ist auf NSP seite hier keine Lösung vorhanden. Wir möchten auch soweit keine Abhängikeit zwischen mehreren Gateways schaffen da es die komplexität erhöt.
Für einen solchen Fall beitet sich dann ein loadbalancer an der die Internetverbindung mit überwacht und automatisch den entsprechenden Host nicht mehr anspricht.
Prinzipiell ist das aber auch durch z.B. ein PS Skript machbar.

Wenn das Kind das nächste Mal in den Brunnen fällt ist aber folgendes machbar:
- verhindert den Versandt von Exchange an den ausgefallenen NSP
-- nsp stoppen, smarthost im exchange anpassen, ...
- kopiert die schon gequeuten E-Mails vom gestoppen NSP auf den noch laufenden NSP, Pfad: "C:\ProgramData\Net at Work Mail Gateway\Temporary Files\MailQueues"
- startet die noch laufende GW Rolle per Konsole neu, dadurch werden die kopierten E-Mail indiziert und verarbeitet


Gruß,
Jan

 

[SBW]

Hallo Jan,

Für einen solchen Fall beitet sich dann ein loadbalancer an der die Internetverbindung mit überwacht und automatisch den entsprechenden Host nicht mehr anspricht.

Eingehende E-Mails Internet -> NSP Gateway stellen kein Problem dar. Denn fällt die Internetverbindung aus, ist die Gateway Rolle nicht mehr erreichbar. Automatisch versucht der gegenüberliegene E-Mail-Server den nächsten MX-Eintrag.

In unseren Fall geht es um ausgehende E-Mails Exchange DAG ->NSP Gateways. Beide Server mit der NSP GW Rolle sind bereits in der Exchange DAG hinterlegt. Denn bei einem möglichen Ausfall oder Wartungsarbeiten dient jeweils der andere als Ausgleich. Wie kann mir an dieser Stelle ein (Application) Load Balancer weiterhelfen oder meinst du NSP GW Rolle <-> LB <-> ISP1/2?

Wenn das Kind das nächste Mal in den Brunnen fällt ist aber folgendes machbar:
- verhindert den Versandt von Exchange an den ausgefallenen NSP
-- nsp stoppen, smarthost im exchange anpassen, ...
- kopiert die schon gequeuten E-Mails vom gestoppen NSP auf den noch laufenden NSP, Pfad: "C:\ProgramData\Net at Work Mail Gateway\Temporary Files\MailQueues"
- startet die noch laufende GW Rolle per Konsole neu, dadurch werden die kopierten E-Mail indiziert und verarbeitet

Punkt 3) und 4) habe ich mir unabhängig von der Thematik notiert. Denn ab und zu vergisst ein Kollege vor dem Update des NSP zu schauen, ob die Queues leer sind. :s


Mir geht seit heute Nacht folgende Idee durch den Kopf. Basis ist ein PowerShell-Skript.
a) Prüfe alle x Minuten (Schedule Task), ob in der Wartschlage der Rolle1/Rolle2 eine Summe von x E-Mails liegen
b) Prüfe, ob verschiedene Ziele im Internet über den betroffenen Server erreichbar sind. Idealfall handelt es sich um Server von uns.
c) Wenn a) und b) zu trifft, halte die Rolle x an
d) Kopiere den Inhalt des Verzeichnis "C:\ProgramData\Net at Work Mail Gateway\Temporary Files\MailQueues" von Rolle 1 auf Rolle 2.

Klingt erst einmal einfach und perfekt. Was habe ich übersehen? :angel:


Gruß,
Daniel

 

[JanJäschke]

Guten Morgen Daniel,

mein Gedanke ist eher "Exchange DAG -> LB -> NSPs -> Internet".
Der LB prüft dann für die einzelnen NSPs ob der jeweilige Internet Anschluss geht. Wenn ich mich nicht ganz täusche kann der Kemp LB dies z.B. realisieren.

Ein Skript ist natürlich auch eine Möglichkeit und über dieses habe ich auch schon nach gedacht.
Das Vorgehen klingt soweit auch korrekt, ich würde auf jeden Fall auch noch mit aufnehmen, dass niemals beide Rollen aus sein dürfen.
Also initial auch prüfen ob beide Rollen laufen oder nicht.

Gruß,
Jan

 

[StefanCink]

<klugscheißermodus>
Die Warteschlangenlänge kann man ganz hervorragend mittels Abfrage der Windows-eigenen Performancecounter messen. Die werden von uns zu Hauf gepflegt.
[font=Tahoma, Verdana, Arial, sans-serif]</klugscheißermodus>[/font]

 

[SBW]

Guten Morgen Jan,

mein Gedanke ist eher "Exchange DAG -> LB -> NSPs -> Internet".

Der LB prüft dann für die einzelnen NSPs ob der jeweilige Internet Anschluss geht. Wenn ich mich nicht ganz täusche kann der Kemp LB dies z.B. realisieren

du hast mir eine schlaflose Nacht beschwert.  :s Die beiden Gateway Rollen stehen bei uns in deiner Art DMZLAN. Das ist leider auf Grund 1-2 Gegenheiten nicht anders möglich. Per SNAT/DNAT kommunizeren die beiden NSP GW über die jeweiligen dedizierte öffentliche IP-Adresse mit den E-Mailserver im WWW.

Nun kommt vermutlich meine Unwissenheit zum Vorschein... Wie kann/soll aus technischer Sicht ein Load Balancer für einen Backend Server einer VIP, die Internetverbindung prüfen können? Dazu müsste nach meinem Verständis der LB eine aktive Sitzung auf dem Server haben, um anschließend die Prüfung durchführen zu können. Hab ich so noch nicht gesehen und gehört. Da werde ich wohl Kemp einen virtuellen/telefonischen Besuch abstatten.

Das Vorgehen klingt soweit auch korrekt, ich würde auf jeden Fall auch noch mit aufnehmen, dass niemals beide Rollen aus sein dürfen.
Also initial auch prüfen ob beide Rollen laufen oder nicht.

Danke für den Hinweis. Das ist natürlich relevant, sonst geht weniger wie bisher.

---

Guten Morgen Stefan,

 Die Warteschlangenlänge kann man ganz hervorragend mittels Abfrage der Windows-eigenen Performancecounter messen. Die werden von uns zu Hauf gepflegt.

Danke. Da hast du natürlich recht. Darauf hat mich Frank Carius schon mal drauf hingewiesen. 

<klugscheißermodus>

Kein Problem, du darfst das jederzeit wieder.

 

[JanJäschke]

Hallo Daniel,

bei dem LB wäre es so, dass er zu jedem Internet Ausgang eine route braucht. Der Internet Test läuft dann nicht über das NSP GW sondern es wird vom LB direkt über die Route geprüft ob der Internetzugriff funktioniert.
Hier kann ich aber auch nur aus einer Vagen Erinnerung berichten, da ich glaube dies in der Form schon einmal gesehen zu haben. Aber kann mich natürlich auch täuschen  :angel:



Gruß
Jan