Testmethoden und -ergebnisse

Es wurden Tests durchgeführt, um sicherzustellen, dass das Design die erwartete Performance erbringt und die Workflows, Benutzer und die beabsichtigte Last unterstützt. Systemtests bieten die Möglichkeit, Probleme bei der Bereitstellung des Systems in “niederen” Umgebungen zu festzustellen und zu beheben, idealerweise bevor sie im Produktivsystem auftreten. Bei dieser Teststudie lag der Schwerpunkt der Teststrategie auf der Systemperformance und der User Experience der Endbenutzer. Bei der Durchführung der Workflows unter verschiedenen Lastszenarien wurde jede Komponente überwacht.

Nach Abschluss des Tests wurden die Ergebnisse zusammengestellt und analysiert, um sowohl Engpässe als auch überlastete Komponenten im System zu identifizieren. Diese Informationen wurden verwendet, um Systemkomponenten zu identifizieren, die vor weiteren Tests hoch- , herunter- oder horizontal skaliert werden mussten.

Manuelle Tests der User Experience wurden durchgeführt, indem Bildschirmaufzeichnungen der Workflow-Tester aufgezeichnet wurden, um sicherzustellen, dass die Benutzer des Systems ihre Workflows produktiv abschließen konnten.

Weitere Informationen finden Sie unter Entwerfen einer effektiven Teststrategie.

Geschwindigkeit von Workflows

In dieser Teststudie wurde ein Geschwindigkeitsmodell auf die getesteten Workflows angewendet. Das Geschwindigkeitsmodell zeigt, wie der Test das Arbeitstempo in einem Versorgungsunternehmen simulieren soll, bei dem Workflows als eine bestimmte Anzahl von Vorgängen pro Stunde in einem Team von Mitarbeiterressourcen ausgeführt werden. Diese Strategie basierte auf Rückmeldungen von Esri Kunden und zielte darauf ab, das Szenario eines kleinen bis mittleren Gasversorgers abzubilden, auf dem die Daten basierten.

Die verschiedenen Workflows wurden über einen einstündigen Testzeitraum verteilt und gestaffelt, um zu vermeiden, dass sie gleichzeitig beginnen, während sie sich miteinander überschneiden konnten, wie es auch bei Workflows in der Realität der Fall ist. Diese Gesamtaufschlüsselung der Workflow-Geschwindigkeit wird als “Auslegungslast” betrachtet, der das System ausgesetzt ist. Die Last wurde anschließend durch die Vervielfältigung der Workflows bis zu einem Punkt erhöht, an dem das System nicht mehr in der Lage war, akzeptable Reaktionszeiten oder die erfolgreiche Umsetzung der Workflows zu gewährleisten. Beachten Sie, dass das in dieser Teststudie angewendete Workflow-Geschwindigkeitsmodell möglicherweise nicht der typischen Nutzung in Ihrer Organisation entspricht.

Werkzeuge für Performance-Tests

Da es sich bei ArcGIS um ein mehrschichtiges System handelt, wurden Performance-Tests auf Client-, Service- und Datenspeicherebene sowie für die zugrunde liegende Infrastruktur selbst durchgeführt. In dieser Teststudie wurde JMeter verwendet, um die Workflows der Benutzer zu simulieren und die Systemleistung unter verschiedenen Lasten zu messen. ArcGIS Pro-Anforderungen wurden aufgezeichnet und dann wiedergegeben, um die Auslastung zusätzlich zu den manuellen Workflows zu simulieren, die zur Bewertung der User Experience der Endbenutzer durchgeführt wurden. Windows Performance Monitor und ArcGIS Monitor wurden ebenfalls verwendet, um die Ressourcenauslastung der verschiedenen Komponenten zu überwachen.

Weitere Informationen finden Sie unter Werkzeuge für Performance-Tests.

Testergebnisse

Diese Architektur wurde mit automatisierten Lasttests und manuellen Benutzern in drei Szenarien überprüft. Die Ergebnisse der einzelnen Szenarien finden Sie unten. Auf hoher Ebene zeigen die Testergebnisse, dass das System in seiner Implementierung ausreichend ausgestattet ist, um Lasten bis zum 4-fachen der Auslegungslast zu bewältigen. Die Tests haben auch gezeigt, wie wichtig die richtige Anwendungs- und Systemkonfiguration für die Performance ist. In jedem Szenario steigt die Systemauslastung proportional mit der Last.

Testszenario: Auslegungslast

• Das System hat diese Last unterstützt
• Die Hosting-Server liefen in der Regel mit weniger als 20 % CPU-Auslastung
• Die GIS-Server liefen in der Regel mit weniger als 20 % CPU-Auslastung
• Der SQL Server lief in der Regel mit weniger als 20 % CPU-Auslastung

Testszenario: 4-fache Auslegungslast

• Das System hat diese Last unterstützt
• Die Hosting-Server liefen in der Regel mit weniger als 40 % CPU-Auslastung
• Die GIS-Server liefen in der Regel mit weniger als 40 % CPU-Auslastung und erreichten eine Spitzenauslastung von 50 bis 60 %
• Der SQL Server lief in der Regel mit weniger als 50 % CPU-Auslastung

Testszenario: 8-fache Auslegungslast

• Das System hat die Last nicht unterstützt
• Die Hosting-Server erreichten erreichte eine CPU-Spitzenauslastung von über 80 %
• Die GIS-Server erreichte eine CPU-Spitzenauslastung von über 80 %
• Der SQL Server erreichte eine CPU-Spitzenauslastung von über 90 %
• Die Anzahl der erfolgreichen gleichzeitigen Benutzer stieg an, da Anforderungen aufgrund einer Überlastung des Systems nicht abgeschlossen werden konnten und das System begann, Fehler in den Protokollen und Telemetriedaten zurückzugeben

User Experience - Zeiten durchgeführter Workflows

Während das System unter Last stand, wurden die Zeiten der durchgeführten Workflows so erfasst, wie sie von den Benutzern erlebt wurden. Dies stellt die Zeit dar, die benötigt wurde, um alle in den Workflows aufgeführten Schritte abzuschließen. Die Zeiten der durchgeführten Workflows waren konsistent, bis das System bei 8-facher Auslegungslast überlastet war.

User Experience - Zeiten durchgeführter Workflow-Schritte

Während das System ausgelastet war, wurden die Zeiten der wichtigsten, einzeln durchgeführten Workflow-Schritte für alle acht Arbeitslasten erfasst. Dies stellt die durchschnittliche Zeit dar, die für den Abschluss eines bestimmten Schritts benötigt wurde. Die Zeiten sind konsistent, bis das System bei 8-facher Auslegungslast überlastet ist.