Probleme mit NSP V14.1.0

[EK1903]

Hallo zusammen,

habe gestern auf die neueste Version aktualisiert (V14.0.1 lief zuvor größtenteils ohne Probleme).

Nun hängt sich die Management Konsole immer auf, alles sehr träge. Eventlogs melden:

Could not execute the action 'Replicate pending entries' on the Gateway Role located at ServiceRole:localhost. Die HTTP-Anforderung an "http://localhost:6060/NoSpamProxy/GatewayVersionController/Certificate" hat das dafür vorgesehene Zeitlimit von 00:00:59.9680000 überschritten. Der für diesen Vorgang zugewiesene Zeitraum war möglicherweise ein Teil eines längeren Timeouts.. This seems to be a permanent error.


Message:
Die HTTP-Anforderung an "http://localhost:6060/NoSpamProxy/GatewayVersionController/Certificate" hat das dafür vorgesehene Zeitlimit von 00:00:59.9680000 überschritten. Der für diesen Vorgang zugewiesene Zeitraum war möglicherweise ein Teil eines längeren Timeouts.
Error type:
System.TimeoutException

Error code: 2148734213
Program location:

Server stack trace:
   bei System.Runtime.AsyncResult.End[TAsyncResult](IAsyncResult result)
   bei System.ServiceModel.Channels.ServiceChannel.SendAsyncResult.End(SendAsyncResult result)
   bei System.ServiceModel.Channels.ServiceChannel.EndCall(String action, Object[] outs, IAsyncResult result)
   bei System.ServiceModel.Channels.ServiceChannelProxy.InvokeEndService(IMethodCallMessage methodCall, ProxyOperationRuntime operation)
   bei System.ServiceModel.Channels.ServiceChannelProxy.Invoke(IMessage message)

Exception rethrown at [0]:
   bei System.Runtime.Remoting.Proxies.RealProxy.HandleReturnMessage(IMessage reqMsg, IMessage retMsg)
   bei System.Runtime.Remoting.Proxies.RealProxy.PrivateInvoke(MessageData& msgData, Int32 type)
   bei Netatwork.NoSpamProxy.Wcf.Services.IVersionControllerAsync.EndGetVersion(IAsyncResult ar)
--- Ende der Stapelüberwachung vom vorhergehenden Ort, an dem die Ausnahme ausgelöst wurde ---
   bei System.Runtime.ExceptionServices.ExceptionDispatchInfo.Throw()
   bei Netatwork.NoSpamProxy.Wcf.Client.Channel.<UseServiceAsync>d__57`2.MoveNext()
--- Ende der Stapelüberwachung vom vorhergehenden Ort, an dem die Ausnahme ausgelöst wurde ---
   bei System.Runtime.ExceptionServices.ExceptionDispatchInfo.Throw()
   bei System.Runtime.CompilerServices.TaskAwaiter.HandleNonSuccessAndDebuggerNotification(Task task)
   bei Netatwork.NoSpamProxy.IntranetServices.WcfRemoteRoleReplicationConnector.<EnsureProperVersionAsync>d__15.MoveNext()
--- Ende der Stapelüberwachung vom vorhergehenden Ort, an dem die Ausnahme ausgelöst wurde ---
   bei System.Runtime.ExceptionServices.ExceptionDispatchInfo.Throw()
   bei System.Runtime.CompilerServices.TaskAwaiter.HandleNonSuccessAndDebuggerNotification(Task task)
   bei Netatwork.NoSpamProxy.IntranetServices.ArtifactCollector.<ReplicateToRoleAsync>d__19.MoveNext()
--- Ende der Stapelüberwachung vom vorhergehenden Ort, an dem die Ausnahme ausgelöst wurde ---
   bei System.Runtime.ExceptionServices.ExceptionDispatchInfo.Throw()
   bei System.Runtime.CompilerServices.TaskAwaiter.HandleNonSuccessAndDebuggerNotification(Task task)
   bei Netatwork.NoSpamProxy.IntranetServices.ClientReplicationService.<ExecuteOnChannelAsync>d__32.MoveNext()


Die Anfrage wurde abgebrochen: Die Anfrage wurde abgebrochen..

Message:
Die Anfrage wurde abgebrochen: Die Anfrage wurde abgebrochen..
Error type:
System.Net.WebException

Error code: 2148734217
Program location:
   bei System.Net.HttpWebRequest.EndGetResponse(IAsyncResult asyncResult)
   bei System.ServiceModel.Channels.HttpChannelFactory`1.HttpRequestChannel.HttpChannelAsyncRequest.CompleteGetResponse(IAsyncResult result)

Category: IdentityService.Controllers.AccountController

EventId: 1001

SpanId: 8178893cc57bb219

TraceId: c3c32e3a2bf9a360f5d4c0a5cbfa3fb9

ParentId: 0000000000000000

RequestId: 80000144-0001-d300-b63f-84710c7967bb

RequestPath: /api/identity-service/account/login

ActionId: ae062db6-d2fc-46f5-a03e-0cfc81cc0505

ActionName: IdentityService.Controllers.AccountController.Login (NoSpamProxy.IdentityService)

Starting login for {"TenantAccessDeniedBehavior":0,"TenantId":null,"PrimaryDomain":"_global"}


Returning HTTP 403


Exception:

IdentityService.Data.Store.ForbiddenException: Roles not configured.

   at IdentityService.Data.Store.UserStore.MapClaims(IEnumerable`1 identitySids, LoginModel model)

   at IdentityService.Data.Store.UserStore.GetClaimsAsync(WindowsPrincipal principal, LoginModel model)

   at IdentityService.Controllers.AccountController.Login(LoginModel model)

Category: IdentityService.Controllers.AccountController
EventId: 1001
SpanId: 8178893cc57bb219
TraceId: c3c32e3a2bf9a360f5d4c0a5cbfa3fb9
ParentId: 0000000000000000
RequestId: 80000144-0001-d300-b63f-84710c7967bb
RequestPath: /api/identity-service/account/login
ActionId: ae062db6-d2fc-46f5-a03e-0cfc81cc0505
ActionName: IdentityService.Controllers.AccountController.Login (NoSpamProxy.IdentityService)
Starting login for {"TenantAccessDeniedBehavior":0,"TenantId":null,"PrimaryDomain":"_global"}

Returning HTTP 403

Exception:
IdentityService.Data.Store.ForbiddenException: Roles not configured.
   at IdentityService.Data.Store.UserStore.MapClaims(IEnumerable`1 identitySids, LoginModel model)
   at IdentityService.Data.Store.UserStore.GetClaimsAsync(WindowsPrincipal principal, LoginModel model)
   at IdentityService.Controllers.AccountController.Login(LoginModel model)

Server: FUll patched Windows Server 2016. Mailfluss funktioniert.

Danke

 

[JanJäschke]

Hey,

kannst du auf der Intranet Rolle per PowerShell dich noch mit:

connect-nsp -IgnoreServerCertificateErrors

verbinden?
Hast du schon einen Reboot nach dem Update versucht?

Gruß
Jan

 

[EK1903]

Hey,

kannst du auf der Intranet Rolle per PowerShell dich noch mit:

connect-nsp -IgnoreServerCertificateErrors

verbinden?
Hast du schon einen Reboot nach dem Update versucht?

Gruß
Jan

Hi, Befehl klappt ohne Rückmeldung/Fehler.

Ja, mehrere Reboots.

 

[JanJäschke]

Kannst du dann auf ein:

Get-NspLicense

Ohne Probleme ausführen?

Die Replikation ist ein anderes Thema.

 

[EK1903]

Kannst du dann auf ein:

Get-NspLicense

Ohne Probleme ausführen?

Die Replikation ist ein anderes Thema.

ja, auch keine Probleme.

Es scheint so, dass sich die Konsole mehrmals (warum auch immer) nach einem Timeout/Absturz neustartet..

 

[JanJäschke]

Kommt der Eventlog Eintrag 1001 noch häufig? (Dem Test nach wäre hier alles in Ordnung und wir können es erstmal ignorieren)

Passiert das Timeout las eine Art Freeze von der Konsole selbst?
Wenn ja: passiert das ggf. wenn du auf einen bestimmten Bereich in der Konsole klickst/auf dem Dashboard?
(Hierfür könnten DNS/Internet Zugriffsprobleme verantwortlich sein)

Kannst du einmal schauen ob deine CPU Last auf der Intranet Rolle hoch ist?

 

[EK1903]

Kommt der Eventlog Eintrag 1001 noch häufig? (Dem Test nach wäre hier alles in Ordnung und wir können es erstmal ignorieren)

Passiert das Timeout las eine Art Freeze von der Konsole selbst?
Wenn ja: passiert das ggf. wenn du auf einen bestimmten Bereich in der Konsole klickst/auf dem Dashboard?
(Hierfür könnten DNS/Internet Zugriffsprobleme verantwortlich sein)

Kannst du einmal schauen ob deine CPU Last auf der Intranet Rolle hoch ist?

Ja, Freeze kann man es bezeichnen. Ich vermute auch Richtung DNS (DNS versucht aufzulösen -> timeout da nicht erreichbar oder so). Aber so "Plötzlich"? Bin eh aktuell an der Firewall am schauen.

CPU Last ist i.O. imho, ca. 30-40%

 

[JanJäschke]

CPU passt.
Neben normalen DNS Anfragen könnten es auch anfragen gegen sich selbst sein.
Prüfe einmal ob Methode 1 bei dir vom MS LoopBack Check eingerichtet ist.
Wenn nicht reichte das mal ein.
In beiden Fällen trag ALLE Namen ein die für das System genutzt werden.

z.B.
computername
computername.domain
dnsname
dnsname.domain

Das würde das plötzliche erklären.

 

[EK1903]

Problem gefunden, scheint erstmal wieder zu funktionieren. Wie vermutet, die FW.

ich musste diese Regeln vom NSP Server Richtung Domaincontroller freigeben,erst dann geht es.. Ideen?

 

[JanJäschke]

ne erstmal nicht
Möglichkeiten wäre:

1. DNS gegen den DC (würden die Ports nur gar nicht passen)
2. Kerberos Authentifizierung (hier haben wir jedoch eigentlich nichts geändert)
   1. Prüf mal das System/Security Eventlog der Intranet Rolle sowie auf dem DC ob da etwas auffällig ist

 

[EK1903]

gegen den DC sind folgende Ports sowieso schon freigegeben (andere Regel, daher oben nicht zu sehen).


das wundert mich extrem

 

[JanJäschke]

Huch...
Dann mach doch mal ein Netzwerkmittschnitt zum prüfen was dort passiert.
Wir nutzen eigentlich nur Standard Ports zu externen Diensten, sofern diese uns natürlich nichts anderes sagen.

 

[MarkusB]

49152-65535/TCP sind die Default dynamischen RPC Ports seid Windows Server 2008 und höher, falls diese nicht mal bewusst verändert wurden. Diese müssen von den Domain-Clients für eine saubere Domänen-Kommunikation zu den DC's offen sein. Der initiale Verbindungsaufbau erfolgt erstmal über TCP 135 RPC, danach erhält der Client den dynamischen Port, über welchen er zum Service connecten kann.

Es gibt Firewalls die können vom RPC Port Mapper lernen, indem Sie den Traffic mitlesen und den passenden dynamischen Port öffnen - ich bin da aber nicht im Thema. Ich glaube die Windows Firewall macht es wenn man RPC Dynamic in den Rules auswählt (bin mir hier aber auch da nicht sicher, wie genau die Regel im Backend funktioniert)