Многие организации используют унифицированную систему данных или конвергентную аналитическую платформу для управления корпоративными данными и работы с ними. Эта тенденция к консолидации привела к внедрению и архитектурному паттерну, ориентированному на вычислительные ресурсы, расположенные рядом с источниками данных, часто доступные через среду инженерии и анализа данных, построенную на базе Apache Spark. Подобно шаблону системы аналитики больших данных, результаты пространственного и временного анализа больших данных обычно записываются обратно в хранилища данных для дальнейшего анализа или визуализации и дальнейшего географического анализа.
В качестве шаблона интеграции использование GeoAnalytics Engine позволяет существующим системам интегрировать пространственные функции и инструменты GeoAnalytics Engine в существующие конвейеры обработки данных или инженерные рабочие процессы. Другой распространённый подход сочетает корпоративные бизнес-данные (хранящиеся в системе, доступной через Spark) с геопространственными объектами, загруженными из набора данных ArcGIS для отчётности или анализа. GeoAnalytics Engine может читать различные источники данных, включая CSV, Parquet и GeoJSON, и записывать результаты обратно в сервисы объектов ArcGIS или структуры данных в озере данных или файловой системе больших данных.
Дополнительные ресурсы:
ArcGIS GeoAnalytics Engine включает задокументированные шаблоны развертывания для нескольких конкретных технологий, каждая из которых может читать данные из сервисов объектов ArcGIS Enterprise или ArcGIS Online и записывать их обратно. Набор инструментов GeoAnalytics для ArcGIS Pro включает подмножество пространственных функций и инструментов, которые можно использовать в рабочих процессах анализа в настольных приложениях.
| Возможности | ArcGIS Online | ArcGIS Enterprise | ArcGIS Location Platform | ArcGIS Pro |
|---|---|---|---|---|
| ArcGIS GeoAnalytics Engine | Н/Д |
Полная поддержка Частичная поддержка
Используйте инструменты GeoAnalytics Engine, когда есть подходящий инструмент. Эти инструменты разработаны и оптимизированы для решения конкретных бизнес-задач и обеспечивают хорошую базу для дальнейшей разработки.
В целом анализ в Spark хорошо подходит для рабочих нагрузок в стиле Map/Reduce, где очень большие наборы данных сводятся к конкретным результатам с помощью пространственных функций или других инструментов инженерии данных, таких как соединения или суммирование.
Большинство аналитических систем на базе Spark работают в условиях фиксированных вычислительных ресурсов, поэтому важно тестировать и настраивать запросы и операции для эффективного анализа. Рекомендуется протестировать запрос или инструмент на подмножестве данных перед запуском анализа, который может работать с миллиардами элементов или строк данных.