Snowflake предлагает набор продуктов для управления данными и аналитики, основанных на централизованном облачном хранилище данных. Организации используют продукты Snowflake по-разному: как аналитические, так и транзакционные системы для поддержки различных бизнес-приложений. ArcGIS предлагает разнообразные точки интеграции со Snowflake, позволяя создавать различные рабочие процессы для доступа, анализа и визуализации данных.
Эти методы можно разделить на четыре группы:
Для оптимальной производительности при интеграции ArcGIS и Snowflake рекомендуется, чтобы и ваши клиенты ArcGIS, и окружение Snowflake были развернуты в одной облачной платформе и регионе. Это минимизирует задержки и затраты на передачу данных, а также обеспечивает наилучшую производительность взаимодействия между клиентами ArcGIS и сервисами и конечными точками Snowflake.
Схемы прямого подключения позволяют клиентам ArcGIS работать с сервисами Snowflain напрямую, без перевода или копирования данных в другое место. Перед установлением прямого соединения установите соответствующий драйвер Snowflake ODBC на все клиентские машины ArcGIS, получающие доступ к данным. Настройка необходимых сетевых и межсетевых настроек также крайне важна для обеспечения надлежащей коммуникации между ArcGIS и Snowflake, что может включать обновление списка разрешений Snowflake для разрешения запросов от клиентов ArcGIS.
Слои запросов Snowlake могут быть созданы в ArcGIS Pro, использованы как слои для картографических или аналитических рабочих процессов, а затем опубликованы в ArcGIS Enterprise для использования веб-клиентами и другими приложениями.
В любом случае слои запросов обеспечивают прямое соединение в реальном времени с вашими данными Snowflake. Это означает, что любые изменения, внесенные в исходные данные в Snowflake, сразу отражаются на вашем слое карт ArcGIS Pro или слое запросов ArcGIS Enterprise. Чтобы создать слой запроса, сначала установите соединение с базой данных Snowflake в ArcGIS Pro с помощью поддерживаемой схемы аутентификации, затем определите SQL-запрос для выбора конкретных данных, которые хотите визуализировать. Для отображения на карте ArcGIS Pro данные, хранящиеся в Snowflake, должны содержать столбец с типом данных GEOGRAPHY или GEOMETRY. Таблицы без пространственного столбца могут быть добавлены как слои запроса для использования в диаграммах или объединениях, но их нельзя визуализировать на карте.
Для получения дополнительных рекомендаций в этой области см. Озера и хранилища данных.
Хотя клиентские приложения ArcGIS, основанные на слоях запросов, не поддерживают прямое редактирование данных в хранилищах данных, таких как Snowflake, можно написать собственный канал данных для поддержки настроенных операций чтения и записи.
Доступны различные инструменты и методы для передачи данных между Snowflake и ArcGIS, что позволяет вести как рабочие процессы только для чтения, так и двусторонние потоки с редактированием или потоком новых данных между системами. Для записи данных в Snowflake можно использовать такие инструменты, как расширение ArcGIS Data Interoperability , которое обеспечивает поддержку чтения/записи для Snowflake. Это позволяет создавать рабочие процессы ETL (Extract, Transform, Load) для перемещения данных из различных источников в Snowflake. Data Interoperability также предоставляет хорошо проверенную возможность доступа к данным Snowflake, где их можно запрашивать, преобразовывать и записывать в конечные точки сервиса объектов ArcGIS или в многопользовательскую базу геоданных.
Вы можете использовать ArcGIS API for Python внутри ArcGIS Notebooks для более настраиваемых и автоматизированных ETL-процессов. Это позволяет скриптировать соединения со Snowflake, запрашивать и обрабатывать данные, а затем публиковать их как сервисы объектов в ArcGIS Online или ArcGIS Enterprise. Такой подход обеспечивает высокую степень гибкости для сложных задач интеграции данных.
ArcGIS Data Pipelines, функция ArcGIS, предоставляет интуитивно понятный интерфейс перетаскивания данных из различных источников, включая Snowflake. Вы можете создавать конвейеры данных для подключения к таблицам Snowflake, преобразовывать данные и загружать их в ArcGIS Online или ArcGIS Enterprise в виде слоев объектов. Эти конвейеры можно запланировать на автоматический запуск, обеспечивая актуальность ваших данных в ArcGIS.
ArcGIS GeoAnalytics Engine расширяет аналитические возможности сред на базе Spark для работы с пространственными данными, включая данные, хранящиеся в Snowflake. Подключение любой поддерживаемой среды Spark к экземпляру Snowflake позволяет использовать пространственные SQL-функции и инструменты анализа GeoAnalytics Engine для проведения масштабного геопространственного анализа данных Snowflake. Эта интеграция особенно полезна для организаций, которым необходимо анализировать огромные наборы данных и выявлять пространственные закономерности и взаимосвязи.
Клиенты Snowflake также имеют доступ к аналитике данных и среде Spark, расположенной на Snowflake, известной как Snowpark. Работая в Snowpark, пользователи Snowflake могут подключиться к ArcGIS Location Services для выполнения геопространственных операций непосредственно в вашей среде Snowflake. Это позволяет обогащать данные Snowflake, используя такие сервисы, как геокодирование, маршрутизация и демографические данные из ArcGIS. Вы можете создавать пользовательские функции (UDF) в Snowpark, которые вызывают ArcGIS Location Service API, позволяя выполнять эти операции в масштабе данных, хранящихся в Snowflake.
Чтобы узнать больше об этих схемах интеграции Snowpark, смотрите следующие ресурсы: