Métodos de prueba y resultados
Se realizaron pruebas para validar que el diseño funcionaría como se esperaba y admitiría los flujos de trabajo, los usuarios y la carga prevista. Las pruebas del sistema ofrecen la oportunidad de descubrir y corregir problemas durante la implementación del sistema en entornos inferiores, idealmente antes de que aparezcan en la producción. Para este estudio de prueba, el énfasis del planteamiento de las mismas se centró en el rendimiento del sistema y la experiencia del usuario final. Se monitorizaron todos los componentes a medida que se realizaban los flujos de trabajo frente a otros escenarios de carga.
Una vez finalizadas las pruebas, se reunieron y analizaron los resultados para identificar tanto los cuellos de botella como los componentes con exceso de recursos del sistema. Esta información se utilizó para identificar los componentes del sistema que debían ampliarse, reducirse o eliminarse antes de repetir las pruebas.
Las pruebas manuales de la experiencia del usuario se llevaron a cabo mediante la captura de grabaciones de pantalla de los probadores del flujo de trabajo para garantizar que los usuarios del sistema pudieran completar sus flujos de trabajo de forma productiva.
Para obtener más información, consulte cómo diseñar una estrategia de pruebas eficaz.
Ritmo del flujo de trabajo
Este estudio de prueba aplicó un modelo de ritmo a los flujos de trabajo probados. El modelo de ritmo muestra cómo la prueba pretende simular el ritmo de trabajo en una compañía, donde los flujos de trabajo se realizan como un cierto número de operaciones por hora a través de un equipo de recursos de personal. Este planteamiento se basó en las aportaciones de los clientes de Esri y tenía como objetivo la correlación con el escenario de clientes de compañías de gas pequeñas y medianas en el que se basaban los datos.
Los distintos flujos de trabajo se distribuyeron a lo largo de un periodo de prueba de una hora y se escalonaron para que no comenzaran al mismo tiempo, a la vez que se superponían entre sí como también lo harían los flujos de trabajo del mundo real. Este desglose global del ritmo del flujo de trabajo se considera la «carga de diseño» a la que está sometido el sistema. A continuación, la carga se incrementó multiplicando los flujos de trabajo hasta un punto en el que el sistema ya no era capaz de proporcionar respuestas aceptables ni de admitir flujos de trabajo correctos. Tenga en cuenta que el modelo de ritmo de flujo de trabajo aplicado en este estudio de prueba podría no corresponderse con el uso diario típico en su organización.
Herramientas de pruebas de rendimiento
Dado que ArcGIS es un sistema de varios niveles, las pruebas de rendimiento se realizaron en los niveles de cliente, servicio y almacenamiento de datos, así como en la propia infraestructura subyacente. En este estudio de prueba, se utilizó JMeter para simular los flujos de trabajo de los usuarios y medir el rendimiento del sistema bajo otro tipo de cargas. Se grabaron las solicitudes de ArcGIS Pro y se reprodujeron para simular la carga, además de los flujos de trabajo manuales que se realizaron para evaluar la experiencia del usuario final. También se utilizaron Windows Performance Monitor y ArcGIS Monitor para monitorizar el aprovechamiento de los recursos en diferentes componentes.
Para más información, consulte Herramientas de pruebas de rendimiento.
Resultados de las pruebas
Esta arquitectura se validó con pruebas de carga automatizadas y con usuarios manuales en tres escenarios, y puede ver los resultados de cada uno de ellos a continuación. A un alto nivel, los resultados de las pruebas muestran que, tal y como está implementado, el sistema cuenta con los recursos adecuados para admitir cargas desde la carga de diseño hasta 4 veces la carga de diseño. Las pruebas también reforzaron la importancia de una aplicación y una configuración del sistema adecuadas para el rendimiento. En cada escenario, el aprovechamiento del sistema aumenta proporcionalmente a la carga.
Escenario de prueba: Carga de diseño
- El sistema admitió esta carga
- Los servidores de alojamiento funcionaban generalmente por debajo del 20 % de aprovechamiento de CPU
- Los servidores del SIG funcionaban generalmente por debajo del 20 % de aprovechamiento de CPU
- El SQL Server funcionaba generalmente por debajo del 20 % de aprovechamiento de CPU
Escenario de prueba: 4 veces la carga de diseño
- El sistema admitió esta carga
- Los servidores de alojamiento funcionaban generalmente por debajo del 40 % de aprovechamiento de CPU
- Los servidores del SIG funcionaban generalmente por debajo del 40 % de CPU, con picos de aprovechamiento del 50-60 %.
- El SQL Server funcionaba generalmente por debajo del 50 % de aprovechamiento de CPU
Escenario de prueba: 8 veces la carga de diseño
- El sistema no admitió la carga
- Los servidores de alojamiento alcanzaron picos superiores al 80 % de aprovechamiento de CPU
- Los servidores del SIG alcanzaron picos superiores al 80 % de aprovechamiento de CPU
- El SQL Serve llegó a un máximo de más del 90 % de aprovechamiento de CPU
- Los usuarios concurrentes con éxito aumentaron a medida que las solicitudes no se podían completar debido a que el sistema se sobrecargaba, y el sistema comenzó a devolver errores en los registros y en la telemetría.
Experiencia de usuario - Tiempos de flujo de trabajo conducidos
Mientras el sistema estaba bajo carga, se capturaron los tiempos de flujo de trabajo que experimentaban los usuarios. Esto representa el tiempo que se tardó en completar todos los pasos enumerados en los flujos de trabajo. Los tiempos de flujo de trabajo realizados fueron constantes hasta que el sistema se sobrecargó a 8 veces la carga de diseño.
Experiencia de usuario - Tiempos de paso del flujo de trabajo realizados
Mientras el sistema estaba bajo carga, se capturaron los tiempos de flujo de trabajo para los pasos individuales clave en las ocho cargas de trabajo. Representa el tiempo medio que se tardó en completar un paso determinado. Los tiempos realizados son constantes hasta que el sistema se sobrecarga a 8 veces la carga de diseño.
