Методы и результаты тестирования
Тестирование вручную в сочетании с автоматизированным нагрузочным тестированием было проведено для изучения того, как неправильная конфигурация экстента карты и диапазона видимости слоя повлияет на производительность рабочего процесса редактирования и просмотра и взаимодействие с пользователем. Экземпляры настольных компьютеров, а также ArcGIS Pro и веб-приложения отслеживались, поскольку рабочие процессы выполнялись под нагрузкой.
Тестирование по сценарию было выполнено для моделирования шагов, которые предпримет редактор при выполнении определенных рабочих процессов. По завершении тестирования были собраны и проанализированы результаты, чтобы сравнить использование настольных компьютеров и эффективность работы конечных пользователей с различными конфигурациями аппаратного обеспечения.
Методы тестирования
Чтобы проверить влияние, которое экстенты карты и диапазоны видимости слоев могут оказывать на производительность и удобство работы пользователя, было внесено несколько изменений в хорошо настроенные карты, которые ранее были протестированы и подтвердили хорошую производительность и удобство работы пользователей:
- Веб-карта Dashboard (используется для рабочего процесса просмотра активов): видимость “electric layer” была изменена с уровня района на уровень округа, а экстент карты по умолчанию был изменен с района на округа.
- Веб-приложение Experience Builder (используется для рабочего процесса суммирования активов): видимость слоя электрической линии и экстент карты по умолчанию обновлены с теми же настройками, что указаны выше.
- Карта проекта ArcGIS Pro (используется для редактирования рабочих процессов): удалены диапазоны видимости слоя «medium voltage conductor» внутри составного слоя электрической линии, а экстент карты по умолчанию был установлен на 1:500 000.
Эти изменения были выбраны для того, чтобы оценить влияние конфигураций экстента карты и видимости слоев на различные виды базовых рабочих процессов управления информацией в сетях электроснабжения. Сервис Utility Network, доступный только для чтения и используемый для рабочих процессов Viewer, работает на хост-сервере, тогда как рабочие процессы редактирования используют сервис UN, размещенный на GIS Server. Таким образом, влияние плохо настроенной видимости слоев и экстентов карты на рабочие процессы редактирования и просмотра можно увидеть на экземпляре соответствующего компонента системы.
Инструменты тестирования производительности
Поскольку ArcGIS является многоуровневой системой, тесты производительности проводились на уровнях клиента, сервиса и хранилища данных, а также на самой базовой инфраструктуре. В этом тестовом исследовании JMeter использовался для моделирования рабочих процессов пользователя и измерения производительности системы при различных нагрузках. Запросы ArcGIS Pro записывались, а затем воспроизводились для моделирования нагрузки в дополнение к ручным рабочим процессам, которые выполнялись для оценки взаимодействия с конечными пользователями.
Для мониторинга использования ресурсов различными компонентами также использовались Windows Performance Monitor и ArcGIS Monitor. Дополнительные сведения см. в разделе инструменты для тестирования производительности.
Результаты тестирования
Система была протестирована в трех сценариях, чтобы понять, как плохая конфигурация карты влияет на производительность и удобство работы пользователей при различных нагрузках. Для каждого сценария нагрузки можно сравнить воздействие относительно идентичной системы с оптимизированными диапазонами видимости (слева). В общих чертах результаты тестов показывают, что карты даже с одной или двумя неподходящими конфигурациями видимости слоев и экстента карты могут значительно повлиять на использование системы и удобство работы пользователей, особенно при высоких нагрузках.
Сценарий тестирования: 2-кратная проектная нагрузка
Наблюдения:
- В целом, приемлемое использование всех компонентов системы, но с удвоенной загрузкой базы данных, Utility Network (UN) и экземпляров хост-сервера по сравнению с оптимизированной системой
- Хост-серверы и UN-серверы демонстрируют пики загрузки CPU на протяжении всего цикла работы
- Время ожидания сервиса и использование ArcSOC остаются в пределах допустимых пороговых значений
Сценарий тестирования: 4-кратная проектная нагрузка
Наблюдения:
- Хост-сервер и база данных демонстрируют значительное использование ресурсов на протяжении всего теста, причем примерно в четыре раза больше по сравнению с оптимизированной системой
- Экземпляр PostgreSQL показывает более чем на 200% повышенное использование ресурсов по сравнению с 2-кратной проектной нагрузкой
- Время ожидания сервиса продолжает увеличиваться
- Большинство ArcSOC на хост-сервере заняты на протяжении всего периода работы, а в некоторых случаях наблюдаются пики
- ArcSOC на UN-сервере демонстрируют линейный и постепенный рост, меньшее влияние по сравнению с хост-сервером
Сценарий тестирования: 8-кратная проектная нагрузка (оптимизированная) по сравнению с 6-кратной нагрузкой (субоптимальной)
Наблюдения:
- Субоптимальная конфигурация показывает общую низкую производительность с неприемлемым временем ожидания сервиса, особенно для рабочих нагрузок вьюера, выполняемых на хост-сервере
- В субоптимальной конфигурации хост-серверы демонстрируют примерно в четыре раза большее использование при 6-кратной проектной нагрузке, даже в сравнении с 8-кратной проектной нагрузкой на оптимизированную систему
- Экземпляр PostgreSQL достигает своего порогового значения при 6-кратной проектной нагрузке при субоптимальной конфигурации, что более чем в два раза превышает использование оптимизированной системы при 8-кратной проектной нагрузке
- Большинство ArcSOC на хост-сервере достигают максимальных пороговых значений при субоптимальной конфигурации – наблюдается необычное поведение, возникающее в результате того, что сервер занят и не может получить значения использования SOC
- ArcSOC на UN-сервере (редакторы) демонстрируют линейное и постепенное увеличение, меньшее влияние по сравнению с хост-сервером
Сравнение использования ArcSOC
Увеличение использования ArcSOC часто приводит к росту времени ожидания сервиса, что в конечном итоге влияет на способность пользователей эффективно выполнять свою работу. Использование ArcSOC отслеживалось во всех сценариях нагрузки. В каждом тесте использование ArcSOC было заметно выше по сравнению с системой с оптимизированными картами. На приведенных ниже графиках показана значительная разница при 4-кратной проектной нагрузке. По сравнению с оптимизированной системой, загрузка ArcSOC на хост-сервере увеличивается примерно в 3-4 раза, а на UN-сервере примерно в два раза.
Взаимодействие с пользователем
Чтобы оценить взаимодействие с пользователем, были зафиксированы длительности этапов рабочего процесса. Когда выполнение рабочих процессов занимает у пользователей больше времени, это сигнализирует о том, что система медленнее реагирует на их запросы. На приведенной ниже диаграмме показано среднее время, затраченное пользователями на выполнение определенного шага в рамках рабочего процесса как в оптимизированных, так и в субоптимально настроенных системах.
Во всех рабочих процессах, кроме управления нагрузкой, наблюдается измеренное увеличение общего времени рабочего процесса при увеличении нагрузки. При 6-кратной проектной нагрузке рабочий процесс просмотра ресурсов занимает примерно в пятнадцать раз больше времени по сравнению с 2-кратной. Этап входа в систему и открытия проекта в рабочих процессах обновления активов и электрооборудования занимает больше всего времени, причем их продолжительность заметно увеличивается по мере роста нагрузки на систему. Кроме того, этапы определения местоположения, масштабирования до устройства и нисходящей трассировки имеют экспоненциальный скачок продолжительности при 6-кратной проектной нагрузке по сравнению с 4-кратной.