Интеграции AWS и ArcGIS

Программное обеспечение ArcGIS развертывается на и интегрируется с Amazon Web Services (AWS) уже более 15 лет, благодаря тесному сотрудничеству и постоянному внедрению новых облачных сервисов в ArcGIS.

Многие организации проектируют системы ArcGIS на AWS, используя различные сервисы и концепции AWS для создания систем с разной степенью сложности. В этом разделе будет кратко рассмотрена интеграция сервисов AWS, с ссылками на соответствующую документацию или рекомендации, где это уместно, а также с соответствующими лучшими практиками.

Вычисление

Основой любой системы ArcGIS на базе AWS являются вычислительные ресурсы, которые обеспечивают размещение программных компонентов. Приведены примеры того, как AWS можно использовать для различных сценариев ArcGIS.

  • Экземпляры AWS EC2 используются для размещения операционной системы в виде виртуальной машины. Они могут использоваться для размещения компонентов ArcGIS Enterprise, рабочих процессов хостинга приложений, баз данных (если не используется управляемое предложение) и размещения клиента ArcGIS Pro. Экземпляры EC2 доступны в широком спектре конфигураций, балансируя вычисления, память, сети и другие аспекты между классами и типами экземпляров. Для рабочих процессов ArcGIS большинство организаций начинают с общих типов экземпляров, а затем специализируются на основе конкретных требований к рабочим процессам или на основе наблюдаемого использования системных ресурсов.

  • AWS Lambda — это сервис, обеспечивающий бессерверное выполнение вычислений по различным шаблонам. Развертывания ArcGIS могут интегрироваться с Lambda по нескольким распространенным шаблонам:
    • Функции Lambda Python могут использовать API ArcGIS for Python, который может выполнять команды для компонентов ArcGIS на основе исполнения Lambda.

    • Функции Lambda, основанные на JavaScript, могут использовать модуль ArcGIS REST JS для взаимодействия с сервисами ArcGIS, запроса данных, доступа к ресурсам организации или для работы с сервисами местоположения.

    • Функции Lambda могут быть развернуты внутри среды (как внутренние конечные точки сервиса), внешне или в рамках CDN-развертывания через интеграцию Lambda Edge с Amazon CloudFront.

  • AWS EKS предоставляет управляемый сервис Kubernetes, который является одной из поддерживаемых сред для ArcGIS Enterprise на Kubernetes. Организации могут интегрировать ArcGIS Enterprise на Kubernetes в существующие рабочие нагрузки EKS, опираться на организационный опыт и работать в рамках установленных сетевых структур и ограничений.

  • AWS Batch Compute предоставляет возможность запуска асинхронных, масштабируемых задач обработки путем создания шаблона экземпляра EC2 и оркестрации изображения так, чтобы оно могло принимать параметры заданий при запуске или читать из системы запросов. Шаблон экземпляра можно настроить и лицензировать для ArcGIS Pro или ArcGIS Server, а затем использовать для обработки геопространственных данных или рабочих процессов с помощью API ArcGIS for Python или ArcPy.

Данные и хранение

  • Amazon S3 — это устойчивый, глобально распределенный сервис хранения объектов, который используется с ArcGIS в различных схемах. Бакеты S3 поддерживают надежные методы авторизации, включая роли IAM для экземпляров EC2, и могут использоваться для хранения файлов любого типа.

    • Хранилище S3 может использоваться как место хранения для системных каталогов ArcGIS Enterprise, включая директорию ресурсов портала, а также хранилище конфигураций и каталогов для сайтов ArcGIS Server. Хранилище S3 также может использоваться как каталог кэша для хранения кэшей сервисов карт и изображений.

    • Многие системы ArcGIS взаимодействуют с данными изображений, хранящихся в S3, которые часто доступны через облачное хранилище и используются в ArcGIS Pro или добавляются в набор данных мозаики и публикуются через ArcGIS Image Server.

    • ArcGIS Data Pipelines могут взаимодействовать с несколькими различными форматами данных в S3 для извлечения геопространственных объектов, их обогащения или преобразования, а также записи в удаленный сервис для интеграции в рабочий процесс в ArcGIS.

    • В большинстве случаев прямое чтение векторных данных в S3 не поддерживается для картографических рабочих процессов, но использование этих векторных наборов данных в аналитических входах часто встречается в рабочих процессах геоаналитики с использованием ArcGIS Pro или ArcGIS GeoAnalytics Engine, работающих в среде Spark внутри или рядом с AWS. ArcGIS Pro также может подключаться к файлам Apache Parquet и считывать их в облачных хранилищах.

  • Сервис Amazon RDS предлагает опцию управляемого хостинга реляционной базы данных, которая часто используется с системами ArcGIS для размещения многопользовательской базы геоданных, хотя также поддерживается прямое взаимодействие с базой данных RDS через слои запросов. ArcGIS поддерживает ряд предложений RDS напрямую, с тем отличием, что поддерживается только пространственный тип, предоставляемый системой баз данных. Базы данных RDS также могут быть настроены как реляционное хранилище для ArcGIS Enterprise на Kubernetes.

  • Amazon Redshift — это предложение для хранилища данных, поддерживающее масштабированную аналитику наборов данных крупных компаний. ArcGIS поддерживает подключение к Amazon Redshift в виде облачного хранилища данных, хотя через слои запросов и опубликованные картографические сервисы создаются через ArcGIS Pro. Что касается любого другого подключения к облачному хранилищу данных, следуйте рекомендациям в этой области и обращайтесь к ресурсам Озера и хранилища данных.

  • Amazon EFS — это сервис файловой системы, который можно настроить с помощью экземпляров Linux EC2 для хранения файлов и ресурсов. Системы ArcGIS Enterprise, построенные на Linux, могут работать с конфигурацией EFS для хранения общедоступных ресурсов и конфигураций в отказоустойчивой архитектуре.

  • Экземпляры Amazon EC2 настроены со смонтированным блочным хранилищем, предоставляемым сервисом AWS EBS. Это хранилище обычно монтируется на экземплярах EC2 в качестве дисков и используется для локального хранения данных и компонентов конфигурации ArcGIS Enterprise.

Аналитика

  • ArcGIS GeoAnalytics Engine может быть развернут в сервис Amazon EMR для предоставления функций и инструментов геопространственного анализа в среде EMR. Для организаций, уже работающих в сфере EMR, этот шаблон интеграции программного обеспечения позволяет процессу по инженерии данных или анализу использовать проверенные инструменты GeoAnalytics Engine в знакомой среде. В этом блоге представлен обзор сценария использования этого шаблона интеграции.

Работа в сети

  • AWS Elastic Load Balancers предоставляют мощные возможности для систем ArcGIS, особенно в отказоустойчивых конфигурациях. Балансировка нагрузки и обратный прокси также распространены для не-HA систем и часто используются для передачи клиентского трафика из интернета или более широкой сетевой зоны к серверным компонентам ArcGIS Enterprise.

  • Сервис Amazon API Gateway предоставляет метод определения конкретных конечных точек HTTP и методов, пересылки на бэкэнд-функции Lambda, конечные точки сервиса AWS или другие программные веб-сервисы, такие как сервис ArcGIS Enterprise. Использование сервиса API Gateway руководствуется теми же рекомендациями, что и другие технологии управления API.

  • Amazon CloudFront — это управляемый CDN-сервис, который может обеспечивать глобальное кэширование веб-страниц или ответов веб-сервисов. Опираясь на обширную сеть точек присутствия AWS, распределение CloudFront может значительно улучшить доступ пользователей к веб-приложениям и статическим активам, кэшируя ответы рядом с пользователем. Геопространственные веб-приложения, созданные с помощью ArcGIS Maps SDK для JavaScript, являются хорошими кандидатами для распределения и ускорения CDN. Веб-сервисы ArcGIS Enterprise могут быть совместимы с AWS CloudFront в определенных ситуациях, но важно тщательно управлять конфигурацией и истечением срока кэша, чтобы пользователи получали правильные ответы на запросы и не обращались к устаревшим данным или конфигурациям.

Виртуальный рабочий стол

Многие организации используют интерфейсы виртуального рабочего стола (VDI) для предоставления пользователям интерфейса приложений. В системе ArcGIS это чаще всего означает конфигурацию ArcGIS Pro, которая может быть размещена в центральном сетевом местоположении, но удаленно доступна для пользователей из многих мест. Эта схема обеспечивает оптимизацию коммуникации между сеансом ArcGIS Pro с данными и сервисами, в то время как единственными взаимодействиями, выполняемыми на больших расстояниях до пользователя, являются визуальная обратная связь удаленной сессии и набор входных команд от пользователя.

Дополнительные сервисы AWS

Для организаций, изучающих инфраструктуру в виде кода и автоматизацию программного обеспечения, шаблоны ArcGIS CloudFormation являются отличной отправной точкой для создания специализированного набора шаблонов, которые можно использовать для развертывания определенной системной архитектуры.

Объединяя развертывание инфраструктуры сетевых, вычислительных ресурсов и ресурсов хранилищ с выполнением скриптов для развертывания ПО ArcGIS с помощью ArcGIS PowerShell DSC или Chef, шаблоны CloudFormation обеспечивают повторяющийся шаблон развертывания на базе кода, способствующий согласованности, надежности и согласованию на уровне корпоративной ИТ.

Cognito

AWS Cognito предоставляет разнообразные услуги, связанные с идентификацией, и может использоваться как провайдер OpenID Connect (OIDC) для ArcGIS Enterprise или ArcGIS Online. Пулы идентификации Cognito можно создать с помощью различных шаблонов входа, а затем можно создать учетные записи пользователей ArcGIS для входа на основе идентификации Cognito.

Top