Testmethoden und -ergebnisse

Es wurden Tests durchgeführt, um sicherzustellen, dass das Design die erwartete Performance erbringt und die Workflows, Benutzer und die beabsichtigte Last unterstützt. Systemtests bieten die Möglichkeit, Probleme bei der Bereitstellung des Systems in “niederen” Umgebungen zu festzustellen und zu beheben, idealerweise bevor sie im Produktivsystem auftreten. Bei dieser Teststudie lag der Schwerpunkt der Teststrategie auf der Systemperformance und der User Experience der Endbenutzer.

Bei der Durchführung der Workflows unter verschiedenen Lastszenarien wurde jede Komponente überwacht. Nach Abschluss des Tests wurden die Ergebnisse zusammengestellt und analysiert, um sowohl Engpässe als auch überlastete Komponenten im System zu identifizieren. Diese Informationen wurden verwendet, um Systemkomponenten zu identifizieren, die vor weiteren Tests hoch- , herunter- oder horizontal skaliert werden mussten.

Manuelle Tests der User Experience wurden durchgeführt, indem Bildschirmaufzeichnungen der Workflow-Tester aufgezeichnet wurden, um sicherzustellen, dass die Benutzer des Systems ihre Workflows produktiv abschließen konnten.

Weitere Informationen finden Sie unter Entwerfen einer effektiven Teststrategie.

Geschwindigkeit von Workflows

In dieser Teststudie wurde ein Geschwindigkeitsmodell auf die getesteten Workflows angewendet. Das Geschwindigkeitsmodell zeigt, wie der Test das Arbeitstempo in einem Versorgungsunternehmen simulieren soll, bei dem Workflows als eine bestimmte Anzahl von Vorgängen pro Stunde in einem Team von Mitarbeiterressourcen ausgeführt werden. Diese Strategie basierte auf Rückmeldungen von Esri Kunden und zielte darauf ab, das Szenario eines kleinen bis mittleren Stromversorgers abzubilden, auf dem die Daten basierten.

Während des einstündigen Testzeitraums wurden die Workflows verteilt und gestaffelt ausgeführt, um eine gleichzeitige Initiierung zu vermeiden, wobei dennoch Überlappungen möglich waren. Auf diese Weise wurde der Ablauf von Aufgaben in realen Umgebungen nachgebildet. Im unten dargestellten Geschwindigkeitsmodell sehen Sie, wie wir die Geschwindigkeit und die Anzahl der Vorgänge pro Stunde für die einzelnen Workflows angegeben haben. Diese beiden Komponenten definieren die “Auslegungslast” des Systems. Diese Last soll die Aktivitäten einer Organisation mit 15 ArcGIS Pro-Editoren und 200 ArcGIS-Webbenutzern darstellen. Die Auslegungslast wird jedoch tatsächlich durch die Anzahl der durchgeführten Vorgänge pro Stunde bestimmt.

Die Last wurde anschließend durch die Vervielfältigung der Workflows bis zu einem Punkt erhöht, an dem das System nicht mehr in der Lage war, akzeptable Reaktionszeiten oder die erfolgreiche Umsetzung der Workflows zu gewährleisten. Beachten Sie, dass das in dieser Teststudie angewendete Workflow-Geschwindigkeitsmodell möglicherweise nicht der typischen Nutzung in Ihrer Organisation entspricht.

Werkzeuge für Performance-Tests

Da es sich bei ArcGIS um ein mehrschichtiges System handelt, wurden Performance-Tests auf Client-, Service- und Datenspeicherebene sowie für die zugrunde liegende Infrastruktur selbst durchgeführt. In dieser Teststudie wurde JMeter verwendet, um die Workflows der Benutzer zu simulieren und die Systemleistung unter verschiedenen Lasten zu messen. ArcGIS Pro-Anforderungen wurden aufgezeichnet und dann wiedergegeben, um die Auslastung zusätzlich zu den manuellen Workflows zu simulieren, die zur Bewertung der User Experience der Endbenutzer durchgeführt wurden. Windows Performance Monitor und ArcGIS Monitor wurden ebenfalls verwendet, um die Ressourcenauslastung der verschiedenen Komponenten zu überwachen.

Weitere Informationen finden Sie unter Werkzeuge für Performance-Tests.

Testergebnisse

Diese Architektur wurde mit automatisierten Lasttests und manuellen Benutzern in vier Szenarien überprüft. Die Ergebnisse der einzelnen Szenarien finden Sie unten. Allgemein zeigen die Testergebnisse, dass das System in seiner Implementierung ausreichend ausgestattet ist, um Lasten bis zum 8-Fachen der Auslegungslast zu bewältigen. Die Tests haben auch gezeigt, wie wichtig die richtige Anwendungs- und Systemkonfiguration für die Performance ist. In jedem Szenario steigt die Systemauslastung proportional mit der Last.

Testszenario: Auslegungslast

• Das System unterstützte die Last mit einem geringen Gesamtressourcenverbrauch

• ArcGIS Data Store (relational) wurde nicht verwendet – es wurde auf die Grundkarte als Vektorkachelservice zugegriffen

Testszenario: 4-fache Auslegungslast

• Das System hat die Last unterstützt
• Die Hosting-Server liefen in der Regel mit weniger als 10 % CPU-Auslastung
• Die GIS-Server liefen in der Regel mit weniger als 20 % CPU-Auslastung
• Die PostgreSQL-CPU-Auslastung blieb unter 20 %

Testszenario: 8-fache Auslegungslast

• Das System hat die Last unterstützt
• Die Hosting-Server liefen in der Regel mit weniger als 20 % CPU-Auslastung
• Die GIS-Server liefen in der Regel mit weniger als 35 % CPU-Auslastung
• Die PostgreSQL-CPU-Auslastung blieb unter 40 %, mit einigen Spitzen um 65 %

User Experience - Zeiten durchgeführter Workflows

Während das System unter Last stand, wurden die Zeiten der durchgeführten Workflows so erfasst, wie sie von den Benutzern erlebt wurden. Dies stellt die Zeit dar, die benötigt wurde, um alle in den Workflows aufgeführten Schritte abzuschließen. Die Zeiten der durchgeführten Workflows sind konsistent, bis das System bei 10-facher Auslegungslast überlastet ist.

User Experience - Zeiten durchgeführter Workflow-Schritte

Während das System ausgelastet war, wurden die Zeiten der wichtigsten durchgeführten Workflow-Schritte für alle acht Arbeitslasten erfasst. Dies stellt die durchschnittliche Zeit dar, die für den Abschluss eines bestimmten Schritts benötigt wurde.