Entornos Spark con GeoAnalytics Engine

Muchas organizaciones utilizan un sistema de datos unificado o una plataforma de análisis convergente para gestionar y trabajar con los activos de datos empresariales. Esta tendencia hacia la consolidación ha introducido un patrón de implementación y arquitectura centrado en recursos de cómputo situados junto a las fuentes de datos, a los que a menudo se accede a través de un entorno de ingeniería y análisis de datos basado en Apache Spark. De forma similar al patrón de sistema de análisis de big data, los resultados de los análisis espaciales y temporales de big data suelen escribirse de nuevo en almacenes de datos para análisis posteriores o para su visualización y análisis geográfico adicional.

Como patrón de integración, el uso de GeoAnalytics Engine permite que los sistemas existentes integren las funciones y herramientas espaciales de GeoAnalytics Engine en los flujos de trabajo de ingeniería o en las canalizaciones de procesamiento de datos ya existentes. Otro enfoque habitual combina datos empresariales corporativos (almacenados en un sistema accesible mediante Spark) con entidades geoespaciales cargadas desde un dataset de ArcGIS para su análisis o generación de informes. GeoAnalytics Engine puede leer diversas fuentes de datos, incluidos archivos CSV, Parquet y GeoJSON, y escribir los resultados de vuelta en servicios de entidades de ArcGIS o en estructuras de datos de un lago de datos o de un sistema de archivos de big data.

Para consultar recursos adicionales, véase:

Patrones de integración en ArcGIS

ArcGIS GeoAnalytics Engine incluye patrones de implementación documentados para varias tecnologías específicas, cada una de las cuales puede leer datos de los servicios de entidades de ArcGIS Enterprise o ArcGIS Online y escribir datos de vuelta en ellos. La caja de herramientas GeoAnalytics de ArcGIS Pro incluye un subconjunto de funciones y herramientas espaciales que pueden utilizarse en flujos de trabajo de análisis de escritorio.

Funcionalidad ArcGIS Online ArcGIS Enterprise ArcGIS Location Platform ArcGIS Pro
ArcGIS GeoAnalytics Engine N/A

Compatibilidad completa Compatibilidad parcial


Prácticas recomendadas

  • Utilice las herramientas de GeoAnalytics Engine cuando exista una herramienta adecuada. Estas herramientas han sido diseñadas y optimizadas para resolver problemas empresariales específicos y proporcionar una buena base para desarrollos posteriores.

  • En general, el análisis con Spark es muy adecuado para cargas de trabajo de tipo Mapa/Reducir, en las que conjuntos de datos muy grandes se reducen a resultados específicos mediante funciones espaciales u otras herramientas de ingeniería de datos, como uniones o resúmenes.

  • La mayoría de los sistemas analíticos basados en Spark trabajan con recursos de cómputo fijos, por lo que es importante probar y ajustar las consultas y las operaciones para lograr un análisis eficaz. Se recomienda probar una consulta o una herramienta con un subconjunto de datos antes de ejecutar un análisis que pueda trabajar con miles de millones de elementos o filas de datos.

Top