Testmethoden und -ergebnisse

Es wurden Tests durchgeführt, um sicherzustellen, dass das Design die erwartete Performance erbringt und die Workflows, Benutzer und die beabsichtigte Last unterstützt. Systemtests bieten die Möglichkeit, Probleme bei der Bereitstellung des Systems in “niederen” Umgebungen zu festzustellen und zu beheben, idealerweise bevor sie im Produktivsystem auftreten. Bei dieser Teststudie lag der Schwerpunkt der Teststrategie auf der Systemperformance und der User Experience der Endbenutzer.

Bei der Durchführung der Workflows unter verschiedenen Lastszenarien wurde jede Komponente überwacht. Nach Abschluss des Tests wurden die Ergebnisse zusammengestellt und analysiert, um sowohl Engpässe als auch überlastete Komponenten im System zu identifizieren. Diese Informationen wurden verwendet, um Systemkomponenten zu identifizieren, die vor weiteren Tests hoch- , herunter- oder horizontal skaliert werden mussten.

Manuelle Tests der User Experience wurden durchgeführt, indem Bildschirmaufzeichnungen der Workflow-Tester aufgezeichnet wurden, um sicherzustellen, dass die Benutzer des Systems ihre Workflows produktiv abschließen konnten.

Weitere Informationen finden Sie unter Entwerfen einer effektiven Teststrategie.

Geschwindigkeit von Workflows

In dieser Teststudie wurde ein Geschwindigkeitsmodell auf die getesteten Workflows angewendet. Das Geschwindigkeitsmodell zeigt, wie der Test das Arbeitstempo in einem Versorgungsunternehmen simulieren soll, bei dem Workflows als eine bestimmte Anzahl von Vorgängen pro Stunde in einem Team von Mitarbeiterressourcen ausgeführt werden. Diese Strategie basierte auf Rückmeldungen von Esri Kunden und zielte darauf ab, das Szenario eines kleinen bis mittleren Stromversorgers abzubilden, auf dem die Daten basierten.

Die verschiedenen Workflows wurden über einen einstündigen Testzeitraum verteilt und gestaffelt, um zu vermeiden, dass alle zur gleichen Zeit beginnen, während sie sich miteinander überschneiden konnten, wie es auch in der Realität der Fall ist. Diese Gesamtaufschlüsselung der Workflow-Geschwindigkeit wird als “Auslegungslast” betrachtet, der das System ausgesetzt ist. Die Last wurde anschließend durch die Vervielfältigung der Workflows bis zu einem Punkt erhöht, an dem das System nicht mehr in der Lage war, akzeptable Reaktionszeiten oder die erfolgreiche Umsetzung der Workflows zu gewährleisten. Beachten Sie, dass das in dieser Teststudie angewendete Workflow-Geschwindigkeitsmodell möglicherweise nicht der typischen Nutzung in Ihrer Organisation entspricht.

Ergebnisse des Workflow-Geschwindigkeitsmodells für ein Netzinformationsmanagementsystem: Stromversorgung (PostgreSQL)

Werkzeuge für Performance-Tests

Da es sich bei ArcGIS um ein mehrschichtiges System handelt, wurden Performance-Tests auf Client-, Service- und Datenspeicherebene sowie für die zugrunde liegende Infrastruktur selbst durchgeführt. In dieser Teststudie wurde JMeter verwendet, um die Workflows der Benutzer zu simulieren und die Systemleistung unter verschiedenen Lasten zu messen. ArcGIS Pro-Anforderungen wurden aufgezeichnet und dann wiedergegeben, um die Auslastung zusätzlich zu den manuellen Workflows zu simulieren, die zur Bewertung der User Experience der Endbenutzer durchgeführt wurden. Windows Performance Monitor und ArcGIS Monitor wurden ebenfalls verwendet, um die Ressourcenauslastung der verschiedenen Komponenten zu überwachen.

Weitere Informationen finden Sie unter Werkzeuge für Performance-Tests.

Testergebnisse

Diese Architektur wurde mit automatisierten Lasttests und manuellen Benutzern in vier Szenarien überprüft. Die Ergebnisse der einzelnen Szenarien finden Sie unten. Allgemein zeigen die Testergebnisse, dass das System in seiner Implementierung ausreichend ausgestattet ist, um Lasten bis zum 8-Fachen der Auslegungslast zu bewältigen. Die Tests haben auch gezeigt, wie wichtig die richtige Anwendungs- und Systemkonfiguration für die Performance ist. In jedem Szenario steigt die Systemauslastung proportional mit der Last.

Testszenario: Auslegungslast

Ergebnisse des automatisierten Lasttests für zwei Computer, auf denen ArcGIS Web Adaptor bei Auslegungslast gehostet wird

Das System unterstützte die Last mit einem geringen Gesamtressourcenverbrauch
ArcGIS Data Store (relational) wurde nicht verwendet – es wurde auf die Grundkarte als Vektorkachelservice zugegriffen

Testszenario: 4-fache Auslegungslast

Ergebnisse des automatisierten Lasttests für zwei Computer, auf denen ArcGIS Web Adaptor bei 4-facher Auslegungslast gehostet wird d

Das System hat die Last unterstützt
Die Hosting-Server liefen in der Regel mit weniger als 10 % CPU-Auslastung
Die GIS-Server liefen in der Regel mit weniger als 20 % CPU-Auslastung
Die PostgreSQL-CPU-Auslastung blieb unter 20 %

Testszenario: 8-fache Auslegungslast

Ergebnisse des automatisierten Lasttests für zwei Computer, auf denen ArcGIS Web Adaptor bei 8-facher Auslegungslast gehostet wird

Das System hat die Last unterstützt
Die Hosting-Server liefen in der Regel mit weniger als 20 % CPU-Auslastung
Die GIS-Server liefen in der Regel mit weniger als 35 % CPU-Auslastung
Die PostgreSQL-CPU-Auslastung blieb unter 40 %, mit einigen Spitzen um 65 %

User Experience - Zeiten durchgeführter Workflows

Während das System unter Last stand, wurden die Zeiten der durchgeführten Workflows so erfasst, wie sie von den Benutzern erlebt wurden. Dies stellt die Zeit dar, die benötigt wurde, um alle in den Workflows aufgeführten Schritte abzuschließen. Die Zeiten der durchgeführten Workflows sind konsistent, bis das System bei 10-facher Auslegungslast überlastet ist.

Zeiten durchgeführter Workflows in ArcGIS Pro für jedes getestete Auslegungslastszenario

User Experience - Zeiten durchgeführter Workflow-Schritte

Während das System ausgelastet war, wurden die Zeiten der wichtigsten durchgeführten Workflow-Schritte für alle acht Arbeitslasten erfasst. Dies stellt die durchschnittliche Zeit dar, die für den Abschluss eines bestimmten Schritts benötigt wurde.

Zeiten durchgeführter Workflow-Schritte in ArcGIS Pro für jedes getestete Auslegungslastszenario