实时数据流和分析系统 (SaaS)

遵循实时数据流和分析系统模式的系统可作为使用 ArcGIS Velocity 和 ArcGIS Online 的基于软件即服务 (SaaS) 的部署使用。

ArcGIS Online 是一个基于云的 GIS,由 Esri 以 SaaS 形式进行管理和交付。 ArcGIS Online 提供涵盖数据层、服务/逻辑层和表示层的功能,各功能协同工作以提供完整的系统功能。 ArcGIS Online 基于世界一流的云架构构建,由 IT 和地理信息系统 (GIS) 专家管理,可提供可靠且全面的基于 Web 的 GIS 功能。

ArcGIS Velocity 是 ArcGIS Online 的云原生附加功能。 借助此功能,用户能够从物联网 (IoT) 平台、消息代理或第三方 API 中提取数据。 它还可以帮助用户处理、可视化和分析实时数据源;将这些源存储为大数据;并执行快速查询和分析。

相关资源:

基础架构

以下是部署为 SaaS 的实时数据流和分析系统的典型基础架构

此逻辑示意图不应按原样用作您的系统设计。 在设计您的系统时,应综合考虑许多重要因素和设计选项。 有关详细信息,请参阅使用系统模式主题。 此外,下图仅提供了系统的基础功能;如需提供扩展功能,则可能需要附加系统组件。

实时数据流和分析系统基础架构 (SaaS)

上文所示功能反映了截至 2025 年 7 月可用的功能。

此架构的关键组件包括:

  • ArcGIS Online,其中包括标准门户组件(例如用户、群组和项目)以及位置服务(例如底图和地理编码服务)。 为实时数据流和分析系统提供支持的位置服务也可能部分或全部来自另一个位置服务系统
  • 作为 ArcGIS Online 的附加功能,ArcGIS Velocity 将提供实时和大数据功能。 其中包括用于实时和大数据分析的空间分析工具。 ArcGIS Velocity 的输出可以作为 ArcGIS 流服务要素服务输出,也可以作为消息(例如电子邮件、SMS 和 Kafka)发送到其他系统。 ArcGIS Velocity 的输出也可以存储在其他系统(例如 Amazon S3 和 Azure Blob 存储)中,以及存储在 ArcGIS Velocity 托管数据存储中用于大数据分析。 了解有关 ArcGIS Velocity 的详细信息。
  • ArcGIS Velocity 包含一个综合网站,用于管理实时数据流和分析系统,以及设计和执行实时和大数据分析。 可通过 velocity.arcgis.com 访问该网站。ArcGIS Velocity 公开了工具和 API,并且通常由各种应用程序和系统使用。 了解有关实时数据流和分析系统中使用的应用程序的详细信息。

此架构中包含以下关键交互:

  1. 客户端应用程序通过 HTTPS(通常通过无状态 REST API)与数据服务以及位置服务进行通信。
  2. ArcGIS Velocity 通过源从实时流式源中提取数据。 ArcGIS Velocity 适用于各种 ArcGIS、web 和消息传递、云以及同时包含轮询和流式源的数据提供商源。 了解有关 ArcGIS Velocity 中的详细信息。
  3. ArcGIS Velocity 通过数据源来提取数据以进行大数据分析。 ArcGIS Velocity 支持 ArcGIS、web 和消息传递以及基于云的数据源。 它还提供了多种标准地理源,以帮助过滤和丰富数据。 这些标准地理要素分为两个类别:世界和美国。 了解有关 ArcGIS Velocity 中数据源的详细信息。

有关使用和管理实时数据流和分析系统中使用的基础软件的附加信息,请参阅 ArcGIS OnlineArcGIS Velocity 产品文档。

功能

以下介绍了 SaaS 上的实时数据流和分析系统的功能。 有关详细信息,请参阅功能概览:不同部署模式的功能支持比较

以下未列出在实时数据流和分析系统中使用,但通常由其他系统提供的功能,例如底图、地理编码和位置服务系统提供的其他位置服务。 了解有关相关系统模式的详细信息。

基础功能

基础功能表示由自助服务制图、分析和共享系统提供的最常见功能,这些功能由以上介绍的基础架构实现。

  • 源获取可将系统连接到实时观测数据的外部源,例如物联网 (IoT)、消息代理和第三方 API。 这些外部源称为源,可将其配置为实时流和分析系统的输入。 ArcGIS Velocity 同时支持轮询和流式源,其中包括 ArcGIS、云、web、消息传递和数据提供商源。 了解有关 ArcGIS Velocity 中的详细信息。
  • 借助数据获取,可将数据加载到系统中以进行批处理分析和处理。 此系统模式不支持直接在 ArcGIS 外部的数据源位置执行大数据分析。 ArcGIS Velocity 支持对系统中存储的数据进行批处理分析和处理。 可以从标准地理、ArcGIS、云、web 和消息传递数据源将数据提取到 ArcGIS Velocity 中。 了解有关 ArcGIS Velocity 中数据源数据格式的详细信息。
  • 借助空间连接和关系,可基于空间关系来组合来自两个源或数据集的行。 可以应用各种空间关系,其中包括相交、擦除、联合、标识和对称差异。 用于执行空间连接和关系的工具包括但不限于连接要素合并叠加图层。 请注意,一些工具仅支持实时分析,而其他工具仅支持大数据分析。 了解有关 ArcGIS Velocity 中实时分析大数据分析的详细信息。
  • 模式分析用于标识数据中的空间和时间模式。 用于执行模式分析的工具包括但不限于查找热点查找点聚类广义线性回归。 通常针对大数据(而非实时源)执行模式分析。 了解有关 ArcGIS Velocity 中实时分析大数据分析的详细信息。
  • 邻近分析用于确定空间数据与其他空间数据的接近程度。 用于执行邻近分析的工具包括但不限于创建缓冲区计算距离。 请注意,一些工具仅支持实时分析,而其他工具仅支持大数据分析。 了解有关 ArcGIS Velocity 中实时分析大数据分析的详细信息。
  • 汇总分析用于将数据聚合或汇总到更高阶的数据结构中。 用于执行汇总分析的工具包括但不限于聚合点计算密度范围内汇总。 通常针对大数据(而非实时源)执行汇总分析。 了解有关 ArcGIS Velocity 中实时分析大数据分析的详细信息。
  • 追踪分析适用于与移动对象相关的启用时间的点。 用于执行追踪分析的工具包括但不限于重新构建追踪捕捉到网络。 请注意,一些工具仅支持实时分析,而其他工具仅支持大数据分析。 了解有关 ArcGIS Velocity 中实时分析大数据分析的详细信息。
  • 地理围栏分析是实时空间分析的一种形式,其中系统将使用感兴趣区域(通常是面区域)对要素(通常是追踪点)进行评估。 最常见的是对基于点的观测值进行分析,以确定这些值是否已进入或退出了虚拟周界。 ArcGIS Velocity 可在多个实时和大数据分析工具中为地理围栏和动态地理围栏提供支持。 了解有关 ArcGIS Velocity 中地理围栏分析的详细信息。
  • 数据管理支持对实时源和大数据中的几何和其他字段进行操作。 用于执行数据管理的工具包括但不限于计算字段映射字段。 请注意,一些工具仅支持实时分析,而其他工具仅支持大数据分析。 了解有关 ArcGIS Velocity 中实时分析大数据分析的详细信息。
  • 分析结果的映射和可视化是提供上下文并帮助揭示数据中的模式、趋势和关系的有效步骤。 可视化和映射类似于使用非空间数据绘制图表;分析师能够利用可视化和映射来验证自己的分析、迭代并创建可共享且引人入胜的结果。 了解有关在 ArcGIS Velocity 中可视化数据的详细信息。
  • 数据发布和托管为提取到系统中的数据或者从实时源中持久化的数据提供数据即服务的安全存储、管理和访问。 系统中托管的数据通常以要素图层的形式发布以供使用。
  • 源发布和托管将提供要发布到系统并由系统托管的新源。 系统托管的源通常以流图层的形式发布。
  • 发送和存储消息是实时流和分析的输出,用于将处理后的源数据(消息)发送或存储到外部系统,其中包括消息代理、对象存储以及诸如电子邮件和 SMS 等其他消息传递系统。 实时分析支持的输出类型包括 ArcGIS 要素和流图层、Azure Event Hub 和 IoT Hub,以及各种 web 和消息传递输出,例如文本消息和 Kafka。 大数据分析支持的输出类型包括 ArcGIS 要素和流图层、基于 AWS 和 Azure 的对象存储、Azure Event Hub,以及各种 web 和消息传递输出,例如文本消息和 Kafka。 了解有关分析输出的基础知识以及在 ArcGIS Velocity 中使用输出的详细信息。

扩展功能

添加扩展功能通常是为了满足特定需求或者支持行业特定的数据模型和解决方案,并且可能需要附加软件组件或架构注意事项。

  • ArcGIS 支持共享分析结果,但这被视为超出实时数据流和分析系统的范围。 有关详细信息,请参阅相关系统模式

注意事项

以下注意事项将 ArcGIS 优化架构框架的支柱应用于 SaaS 上的实时数据流和分析系统模式。 此处提供的信息并不详尽,而是强调了设计和实施这种特定的系统和部署模式组合的关键注意事项。 了解有关 ArcGIS 优化架构框架的架构支柱的详细信息。

可靠性

可靠性可确保您的系统提供业务以及客户和利益相关者所需的相应级别服务。 有关详细信息,请参阅可靠性支柱概览

  • ArcGIS Online 利用多个可用区、区域和服务提供商以确保冗余、弹性和服务连续性。
  • 由 ArcGIS Online 和 ArcGIS Velocity 提供的服务级别协议 (SLA)
  • 了解有关 ArcGIS Velocity 组织管理员最佳做法的详细信息,例如规划容量和管理数据保留时间。

安全性

安全性可保护您的系统和信息。 有关详细信息,请参阅安全性支柱概览

  • 当设计和运行分析以及管理实时数据流和分析系统时,需要身份验证授权。 保护诸如 ArcGIS 要素和流图层等输出也很常见,对其进行访问时需要身份验证和授权。
    • 用户访问权限和数据协作由基于角色的访问控制以及现代授权和身份验证模型(包括 OAuth、SAML 和多因子身份验证)进行管理。
  • 需要对系统进行漏洞评估,其中包括系统、web 应用程序和数据库扫描。

了解有关 ArcGIS Online 安全性最佳做法和实施指南的详细信息。

性能和可扩展性

性能和可扩展性旨在优化用户对系统的整体体验,并确保系统能够扩展以满足不断变化的工作负载需求。 有关详细信息,请参阅性能和可扩展性支柱概览

  • 在实时物联网系统中,数据的数量、复杂性或速度会达到峰值。 此外,可以对分析进行配置,从而以复杂程度不同的处理管道处理数百万甚至数十亿条记录。 要解决这个问题,ArcGIS Velocity 中的实时分析大数据分析可以动态分配其他资源,以保持采集和实时分析速度,并实现大数据分析的快速处理。 自动缩放可以根据负载放大或缩小资源。 了解有关 ArcGIS Velocity 中自动缩放的详细信息。

了解有关 ArcGIS Velocity 组织管理员最佳做法的详细信息,例如规划容量和管理数据保留时间。

自动化

自动化旨在减少在手动部署和运营任务上花费的精力,从而提高运营效率并减少人为引入的系统异常。 有关详细信息,请参阅自动化支柱概览

  • 实时分析的设计和设置通常以交互方式执行,但实时分析的输出通常用于自动化工作流。 大数据分析通常采用迭代方式,由此需要在分析执行之间进行人工审核和干预;但是,也可以使用脚本自动执行大数据分析。

集成

集成可将此系统与其他系统连接起来,以实现企业级服务交付与组织效能提升。 有关详细信息,请参阅集成支柱概览

  • 与其他系统集成可以采取实时源以及大数据接入实时数据流和分析系统的形式。 实时数据流和分析系统的输出通常也集成到组织企业内的其他系统中,因此也可能支持系统管理员未知或不可用的业务操作。

可观测性

可观测性提供了对系统的可见性,由此确保操作人员和其他技术角色能够使系统以健康、稳定的状态运行。 有关详细信息,请参阅可观测性支柱概览

  • 实时数据通常具有高速移动特性,因此需要考虑一些独特的可观测性注意事项。 当输入源的速度和/或稳定性不一致时,尤其如此。
  • 向整个组织(可能还有其他组织)提供实时服务可能会导致系统设计人员或运营商无法预料的使用模式和增长。 监控可帮助人们决定何时需要进行扩展和升级,由此实现在满足 SLA 需求的同时保障业务继续正常运营。
  • 作为 SaaS 产品,ArcGIS Online 和 ArcGIS Velocity 不支持观测其底层基础设施和软件内部。 但是,它们确实提供了观测系统利用率和运行状况的方法。

  • 当使用 SAML 和/或 OpenID Connect 登录账户时,可以通过配置的身份提供者对用户登录账户和账户更改进行其他观测。

其他

将移动运营和离线数据管理系统作为 SaaS 进行设计和实施的其他注意事项包括:

  • 成功的运营需要深入理解 GIS 和 IT 概念以及技术。 组织还应从数据访问、安全性和管理的角度了解 SaaS 的含义。
  • 当实施此系统模式时,应充分考虑数据治理以及与 IT 策略和角色的一致性。
  • 了解有关 ArcGIS Velocity 组织管理员最佳做法的详细信息,例如规划容量和管理数据保留时间。

相关资源:

Top