测试方法和结果

我们进行了手动测试和自动负载测试,以检查地图范围和图层比例可见性的错误配置将如何影响编辑和查看工作流性能以及用户体验。 在负载下执行工作流时,桌面计算机实例以及 ArcGIS Pro 和 Web 应用程序受到监控。

执行了脚本测试,以模拟编辑器在执行定义的工作流时采取的步骤。 测试完成后,对结果进行了汇总和分析,以比较不同硬件配置的桌面利用率和最终用户效率。

测试方法

为了测试地图范围和图层可见性范围对性能和用户体验的影响,对配置良好的地图进行了一些修改,这些地图之前经过测试并确认具有良好性能和用户体验:

  • 仪表盘 Web 地图(用于查看资产工作流):“电力图层”可见性已从街区级别更改为县级别,地图的默认范围已从街区更改为县。
  • Experience Builder Web 应用程序(用于汇总资产工作流):电线图层可见性和默认地图范围已更新为与上述相同的设置。
  • ArcGIS Pro 工程地图(用于编辑工作流):移除了“电线”图层组内“中压导体”图层的可见性范围,默认地图范围设置为 1:500,000。

选择这些更改是为了查看地图范围和图层可见性配置对不同类型的基础电力公共设施网络信息管理工作流的影响。 用于查看器工作流的只读公共设施网络服务在托管服务器上运行,而编辑工作流则利用 GIS 服务器上托管的 UN 服务。 因此,在相应系统组件实例上可以看到配置不当的图层可见性和地图范围对编辑和查看工作流的影响。

性能测试工具

由于 ArcGIS 是一个多层系统,因此跨客户端、服务和数据存储层以及底层基础架构本身进行了性能测试。 在本测试研究中,使用了 JMeter 模拟用户工作流并测量不同负载下的系统性能。 除了为评估最终用户体验而执行的手动工作流外,还记录并重现了 ArcGIS Pro 请求以模拟负载。

还使用了 Windows 性能监视器和 ArcGIS Monitor 来监控不同组件之间的资源利用率。 有关详细信息,请参阅性能测试工具

测试结果

该系统在三种场景中进行了测试,以了解不当的地图配置如何影响不同负载下的性能和用户体验。 对于每种负载场景,您可以相对于具有已优化可见性范围(左)的相同系统比较影响。 从高层次上讲,测试结果表明,即使具有一两个不适合的图层可见性和地图范围配置的地图也会极大地影响系统利用率和用户体验,尤其是在较高负载下。

测试方案:两倍设计负载

两倍设计负载下已优化和次优可见性范围的比较 观察:

  • 总体而言,跨系统组件的利用率可接受,但与优化的系统相比,数据库、实用程序网络 (UN) 和托管服务器实例的利用率翻倍
  • 托管服务器和 UN 服务器在整个运行过程中的 CPU 利用率激增
  • 服务等待时间和 ArcSOC 利用率保持在可接受的阈值内

测试方案:四倍设计负载

四倍设计载荷下优化和次优可见性范围的比较 观察:

  • 托管服务器和数据库在整个测试过程中资源利用率明显增加,与优化系统相比,利用率增加大约四倍
  • PostgreSQL 实例显示,与两倍设计负载相比,资源利用率增加超过 200%
  • 服务等待时间持续增加
  • 托管服务器上的大多数 ArcSOC 在整个运行过程中都处于繁忙状态,某些实例达到峰值
  • UN 服务器上的 ArcSOC 呈线性和渐进式增长,与托管服务器相比,受影响较小

测试场景:八倍设计负载(优化)与六倍设计负载(次优)比较

八倍和六倍设计载荷下优化和次优可见性范围的比较 观察:

  • 次优配置显示整体性能不佳,服务等待时间不可接受,特别是对于在托管服务器上运行的查看器工作负载
  • 在次优配置中,托管服务器在六倍设计负载下的利用率提高大约四倍,即使与优化系统上的八倍设计负载相比也是如此
  • PostgreSQL 实例在采用次优配置的六倍设计负载下达到阈值,这是八倍设计负载下优化系统利用率的两倍以上
  • 托管服务器上的大多数 ArcSOC 在配置次优的情况下达到最大阈值 - 由于服务器繁忙且无法检索 SOC 利用率值,因此观察到异常行为
  • UN 服务器(编辑器)上的 ArcSOC 呈线性和渐进式增长,与托管服务器相比,受影响较小

ArcSOC 利用率比较

ArcSOC 利用率增加通常会导致服务等待时间增加,最终影响用户高效完成工作的能力。 已对所有负载场景下的 ArcSOC 利用率进行监控。 在每次测试中,与具有优化地图的系统相比,ArcSOC 利用率明显更高。 下图说明了四倍设计负载下的显著差异。 与优化系统相比,托管服务器上的 ArcSOC 利用率大约增加了 3 到 4 倍,UN 服务器上的 ArcSOC 利用率提高了大约 2 倍。

优化和次优可见性范围之间的 ArcSOC 利用率比较

用户体验

为了评估用户体验,捕获了工作流步骤持续时间。 如果用户完成工作流程所需的时间更长,则表明系统对其请求的响应速度较慢。 下图显示了用户在优化和次优化配置的系统中完成工作流中给定步骤所花费的平均时间。

使用优化与次优配置地图时的工作流步骤执行时间比较

在除负载管理之外的所有工作流中,随着负载的增加,总工作流时间也会有所增加。 在六倍设计负载下,查看资产工作流所需的时间大约是两倍设计负载下的 15 倍。 更新资产和电力工作流中的登录和打开工程步骤花费的时间最长,随着系统负载的增加,持续时间会显着增加。 此外,与四倍设计负载相比,在六倍设计负载下定位、缩放到设备和下游追踪步骤的持续时间呈指数级增长。

Top