Наверх

Система потоковой передачи данных и аналитики в режиме реального времени (Windows/Linux)

Системный шаблон потоковой передачи данных и аналитики в режиме реального времени обычно развертывается в Windows и Linux с помощью программного обеспечения ArcGIS Enterprise для Windows и Linux вместе с ArcGIS GeoEvent Server.

ArcGIS Enterprise для Windows и Linux включает в себя несколько компонентов, которые охватывают уровни данных, сервисов/логики и представления и работают вместе, чтобы обеспечить целостную систему. ArcGIS Enterprise для Windows и Linux полностью поддерживается виртуальными средами (работающими под управлением поддерживаемой операционной системы), а также облачными провайдерами, использующими виртуальные машины, отвечающие системным требованиям. Esri также предоставляет инструменты развертывания для облачных платформ, включая Amazon Web Services (AWS) и Microsoft Azure.

ArcGIS GeoEvent Server позволяет интегрировать потоки данных на основе событий в реальном времени в качестве источников данных в вашу многопользовательскую ГИС. Данные событий можно фильтровать, обрабатывать и отправлять нескольким адресатам, что позволяет подключаться практически к любым типам потоковых данных и автоматически оповещать персонал о возникновении определенных условий в режиме реального времени. ArcGIS GeoEvent Server имеет те же требования к операционной системе, что и программный компонент ArcGIS Server в ArcGIS Enterprise.

Сопутствующие ресурсы:

Базовая архитектура

Ниже приведена типичная базовая архитектура для системы потоковой передачи данных и аналитики в режиме реального времени, развернутой в Windows или Linux.

Эту схему не следует принимать как она есть и использовать в качестве прототипа для вашей системы. Есть множество важных факторов и вариантов дизайна, которые следует учитывать при проектировании системы. Дополнительные сведения см. в разделе Использование системных шаблонов. Кроме того, на приведенной ниже схеме представлены только базовые возможности системы; при предоставлении расширенных возможностей могут потребоваться дополнительные компоненты системы.

Базовая архитектура системы потоковой передачи данных и аналитики в режиме реального времени (Windows/Linux)

Представленные выше возможности отражают те, которые доступны на июль 2025 года.

Вот ключевые компоненты этой архитектуры:

  • Базовое развертывание ArcGIS Enterprise, включая ArcGIS Data Store, ArcGIS Server и Portal for ArcGIS. Компонент ArcGIS Web Adaptor в ArcGIS Enterprise также рекомендуется использовать, а в некоторых ситуациях он может оказаться обязательным. Базовое развертывание позволяет публиковать и размещать данные с помощью размещенных сервисов объектов, векторных листов, листов карты и сцен.
  • ArcGIS Server с программным обеспечением и ролью ArcGIS GeoEvent Server. ArcGIS GeoEvent Server предоставляет ArcGIS Enterprise возможности работы в режиме реального времени. ArcGIS GeoEvent Server представлен как логически отличный компонент этой системы от ArcGIS Server, который предоставляет размещенные и служебные сервисы (и который завершает базовое развертывание, описанное выше). Это связано с тем, что они играют две разные роли в системе и часто разрабатываются и развертываются отдельно на физическом уровне. Компонент ArcGIS Web Adaptor в ArcGIS Enterprise также рекомендуется использовать, а в некоторых ситуациях он может оказаться обязательным. Более подробно о компонентах, ролях сервера, возможностях и лицензировании ArcGIS GeoEvent Server.
  • Два развертывания ArcGIS Data Store являются общими для систем потоковой передачи данных и аналитики в режиме реального времени на Windows или Linux. Одно из развертываний ArcGIS Data Store обрабатывает реляционное хранение и хранение листов для размещенных сервисов пространственных объектов и сцен, опубликованных в базовом развертывании ArcGIS Enterprise. Другое развертывание ArcGIS Data Store служит пространственно-временным хранилищем больших данных, обеспечивая расширенное хранение больших объемов данных наблюдений. Оба хранилища данных обеспечивают хранение данных под управлением ArcGIS.
  • ArcGIS Online, SaaS-инфраструктура Esri, обычно предоставляет базовые карты (например, базовую карту изображений), справочные данные (например, местоположения), а также другие сервисы определения местоположения (например, геокодирование и поиск) для этой системы. В качестве альтернативы организация может размещать и управлять своими собственными сервисами местоположения вместо использования системы SaaS от Esri. Для получения дополнительной информации см. шаблон системы сервисов местоположения.
  • ArcGIS GeoEvent Server включает в себя комплексный веб-сайт для управления системой потоковой передачи данных и аналитики в режиме реального времени, а также для разработки и запуска аналитики в реальном времени. Веб-сайт называется ArcGIS GeoEvent Manager. ArcGIS GeoEvent Server предоставляет доступ к инструментам и API и, как правило, используется широким спектром приложений и систем. Узнайте больше о приложениях, используемых в системе потоковой передачи данных и аналитики в режиме реального времени.

Вот ключевые взаимодействия в этой архитектуре:

  1. Клиентские приложения взаимодействуют с корпоративными сервисами данных, а также с сервисами местоположения по протоколу HTTPS, как правило, через интерфейсы REST API без отслеживания состояния.
  2. ArcGIS Server поддерживает постоянные TCP-соединения с развертыванием ArcGIS Data Store, предоставляя управляемое хранилище для реляционных данных и данных листов.
  3. ArcGIS Server взаимодействует с развертыванием ArcGIS Data Store, обеспечивая пространственно-временное хранение больших данных с использованием протоколов HTTP и TCP.
  4. ArcGIS GeoEvent Server принимает данные из потоковых источников в режиме реального времени с помощью входных коннекторов. ArcGIS GeoEvent Server работает с широким спектром ArcGIS, веб и обмена сообщениями, облаками, а также с источниками поставщиков данных. Более подробно о входных коннекторах в ArcGIS GeoEvent Server.
  5. ArcGIS Monitor, рекомендуемый для мониторинга и оптимизации компонентов ГИС-системы, взаимодействует с различными компонентами ArcGIS и IT (например, СУБД) с помощью различных механизмов. Для получения дополнительной информации см. документацию к ArcGIS Monitor.
  6. Ссылки на сервисы определения местоположения, размещенные и управляемые ArcGIS Online (например, базовые карты), обычно регистрируются и становятся доступными для использования в ArcGIS Enterprise. Ссылки на некоторые сервисы даются автоматически при установке ArcGIS Enterprise, хотя дополнительный общий доступ к ресурсам и сервисам между этими двумя системами может быть выполнен вручную или автоматически. Более подробно см. в разделах настройка служебных сервисов ArcGIS Online, настройка ресурсов ArcGIS Living Atlas и распределенное сотрудничество.
Примечание:

Для развертываний ArcGIS Enterprise до версии 11.4 может потребоваться ArcGIS License Manager для настройки и управления лицензиями ArcGIS Pro. Для получения дополнительной информации обратитесь к документации по ArcGIS License Manager.

Дополнительную информацию о взаимодействии между компонентами ArcGIS Enterprise можно найти в документации по продуктам ArcGIS Enterprise для Windows и Linux, включая схему портов, используемых при развертывании ArcGIS Enterprise на Windows и Linux. Дополнительные рекомендации по развертыванию можно найти в документации по продукту ArcGIS GeoEvent Server.

Функциональные возможности

Возможности системы потоковой передачи и аналитики данных в режиме реального времени на Windows и Linux описаны ниже. Дополнительные сведения см. в обзоре возможностей и сравнении поддержки возможностей в шаблонах развертывания.

Ниже не перечислены возможности, используемые в системе потоковой передачи данных и аналитики в режиме реального времени, но обычно предоставляемые другими системами, такими как базовые карты, геокодирование и другие сервисы определения местоположения, предоставляемые системой сервисов определения местоположения. Узнайте больше о связанных системных шаблонах.

Базовые возможности

Базовые возможности представляют собой наиболее распространенные возможности, предоставляемые системами самостоятельного картографирования, анализа и публикации и обеспечиваемые базовой архитектурой, описанной выше.

  • Канал приема данных подключает систему к внешним источникам данных наблюдений в режиме реального времени, таким как Интернет вещей (IoT), брокеры сообщений и сторонние API. Эти внешние источники называются каналами и могут быть настроены в качестве входных данных для системы потоковой передачи и аналитики в режиме реального времени. ArcGIS GeoEvent Server поддерживает несколько входных коннекторов, включая ArcGIS, облако, веб, обмен сообщениями и каналы поставщиков данных. Более подробно о входных коннекторах в ArcGIS GeoEvent Server.
  • Прием данных позволяет загружать данные в систему для пакетного анализа и обработки. Основное использование приема данных в ArcGIS GeoEvent Server заключается в хранении данных в реальном времени в хранилище больших пространственно-временных данных. Пакетный анализ и обработка исторических хранящихся данных наблюдений обычно выполняются системой анализа больших данных, которая считается выходящей за рамки этого системного шаблона. Узнайте больше о шаблоне системы анализа больших данных, а также о пространственно-временных хранилищах больших данных в ArcGIS Enterprise.
  • Пространственные соединения и связи позволяют объединять строки из двух каналов или наборов данных на основе пространственных отношений. Могут применяться различные пространственные отношения, включая пересечение, стирание, объединение, идентичность и симметричную разность. Пространственные соединения и отношения могут использоваться в пространственных фильтрах, а также в процессорах, включая, помимо прочего, процессор объединения событий и процессор пересечения. Более подробно о фильтрах и процессорах в ArcGIS GeoEvent Server.
  • Анализ закономерностей выявляет пространственные и временные закономерности в данных. Анализ шаблонов обычно выполняется с помощью пакетного анализа или обработки больших данных, которые считаются выходящими за рамки шаблона системы потоковой передачи данных и аналитики в режиме реального времени. Тем не менее, ArcGIS GeoEvent Server предоставляет некоторые ограниченные возможности анализа закономерностей с помощью фильтров, а также некоторых процессоров, таких как обработчик детектора инцидентов. Узнайте больше о фильтрах и процессорах в ArcGIS GeoEvent Server, а также о шаблоне системы анализа больших данных.
  • Анализ близости рассматривает близость пространственных данных к другим пространственным данным. Процессоры, выполняющие анализ близости, включают, помимо прочего, процессор создания буфера и процессор калькулятор веера радиуса действия. Более подробно о фильтрах и процессорах в ArcGIS GeoEvent Server.
  • Анализ трека работает с точками с поддержкой времени, коррелированными с движущимися объектами. Анализ треков обычно выполняется с помощью пакетного анализа или обработки больших данных, которые считаются выходящими за рамки шаблона системы потоковой передачи данных и аналитики в режиме реального времени. Тем не менее, ArcGIS GeoEvent Server предоставляет некоторые ограниченные возможности анализа треков с помощью таких процессоров, как процессор детектор пробелов трека. Узнайте больше о фильтрах и процессорах в ArcGIS GeoEvent Server, а также о шаблоне системы анализа больших данных.
  • Анализ геозон - это вид пространственного анализа в реальном времени, в котором объекты (часто точки отслеживания) оцениваются с использованием областей интереса (часто с полигональными областями). Чаще всего анализируются точечные наблюдения, чтобы определить, вошли ли они в виртуальный периметр или вышли из него. ArcGIS GeoEvent Server поддерживает геозонирование в нескольких процессорах , а также анализ геозон с помощью пространственных фильтров.
  • Управление данными поддерживает работу с геометрическими и другими полями в режиме реального времени и большими данными. Процессоры, выполняющие управление данными, включают, помимо прочего, процессор калькулятор поля и процессор сопоставление полей. Более подробно о фильтрах и процессорах в ArcGIS GeoEvent Server.
  • Картографирование и визуализация результатов анализа — это мощный шаг для обеспечения контекста и выявления закономерностей, трендов и отношений в данных. Визуализация и картографирование аналогичны построению диаграмм и построению графиков с использованием непространственных данных; это позволяет аналитикам проверять свой анализ, повторять и создавать привлекательные результаты, которыми можно поделиться.
  • Публикация и размещение данных обеспечивает безопасное хранение, управление и доступ к данным в виде сервиса для данных, поступающих в систему или сохраняемых из каналов в режиме реального времени. Данные обычно размещаются в системе с использованием либо реляционного хранилища, либо пространственно-временного хранилища больших данных. Наборы данных обычно публикуются в виде сервисов пространственных объектов и карт для доступа пользователей и приложений.
  • Публикация и размещение каналов позволяет публиковать и размещать новые каналы в системе. Каналы, размещенные в системе, обычно публикуются в виде потоковых сервисов для доступа пользователей и приложений.
  • Отправка и хранение сообщений — это результат потоковой передачи и аналитики в режиме реального времени, который отправляет или хранит обработанные данные ленты (сообщения) во внешние системы, включая брокеры сообщений, хранилища объектов и другие системы обмена сообщениями, такие как электронная почта и SMS. Более подробно о выходных коннекторах в ArcGIS GeoEvent Server.

Расширенные возможности

Расширенные возможности обычно добавляются для удовлетворения конкретных потребностей или поддержки отраслевых моделей данных и решений, а также могут потребовать дополнительных программных компонентов или соображений по архитектуре.

Рекомендации

Приведенные ниже соображения применяют основные принципы ArcGIS Well-Architected Framework к системному шаблону потоковой передачи и анализа данных в реальном времени в Windows и Linux. Представленная здесь информация не является исчерпывающей, а скорее подчеркивает ключевые соображения о проектировании и реализации этой конкретной комбинации системы и шаблона развертывания. Узнайте больше об основных компонентах архитектуры ArcGIS Well-Architected Framework.

Надёжность

Надежность гарантирует, что ваша система обеспечивает уровень обслуживания, необходимый для бизнеса, а также ваших клиентов и заинтересованных сторон. Подробнее см. в разделе Общие сведения о компонентах надежности.

  • Более низкие уровни доступности являются распространенными. Соглашения об уровне обслуживания (SLA) с высоким уровнем доступности могут быть достигнуты, хотя характер входящих данных через каналы в режиме реального времени делает архитектуру для обеспечения высокой доступности более сложной, чем при использовании большинства других системных шаблонов.
  • ArcGIS GeoEvent Server обладает уникальными характеристиками и аспектами, связанными с надежностью. Узнайте больше о стратегиях масштабируемости, надежности и отказоустойчивости, а также о других аспектах развертывания ArcGIS GeoEvent Server.
  • Эта система и шаблон развертывания по своей сути не гарантируют доставку сообщений. Особое внимание следует уделять обработке сообщений критического характера, чтобы предотвратить непреднамеренное удаление сообщений.

Безопасность

Безопасность защищает ваши системы и информацию. Дополнительные сведения см. в обзоре компонента безопасности.

  • Аутентификация и авторизация необходимы для разработки и выполнения аналитики, а также для управления системой потоковой передачи данных и аналитики в режиме реального времени. Также часто такие выходные данные, как векторные слои ArcGIS и слои потоков, должны быть защищены, требуя аутентификации и авторизации для доступа.
    • Доступ пользователей и совместная работа с данными регулируются средствами управления доступом на основе ролей и современными моделями авторизации и аутентификации, включая OAuth, SAML и многофакторную аутентификацию.

Ознакомьтесь с Руководством по усилению защиты ArcGIS Enterprise, чтобы узнать о стратегиях и связанных с ними настройках, которые могут быть реализованы для повышения уровня безопасности развертываний ArcGIS Enterprise.

Производительность и масштабируемость

Производительность и масштабируемость направлены на оптимизацию общего взаимодействия пользователей с системой, а также на обеспечение масштабирования системы в соответствии с растущими требованиями к рабочим нагрузкам. Дополнительные сведения см. в обзоре основных компонентов производительности и масштабируемости.

  • Соглашения об уровне обслуживания (SLA), требующие высокой производительности, являются распространенными.
  • ArcGIS GeoEvent Server обладает уникальными характеристиками и аспектами, связанными с производительностью и масштабируемостью. Узнайте больше о передовых методах архитектуры системы, распределении ресурсов компьютера, стратегиях масштабируемости, надежности и отказоустойчивости, а также о других аспектах развертывания с помощью ArcGIS GeoEvent Server.
  • Факторы, которые обычно влияют на производительность и масштабируемость, включают:
    • Размер и скорость сообщения
    • Сложность аналитики в режиме реального времени
    • Количество геозон
    • Пропускная способность выходных данных (включая хранилище)
  • Масштабируемость систем потоковой передачи данных и аналитики в режиме реального времени в Windows/Linux имеет свои особенности.
    • Рассмотрите возможность планирования с учетом пиковой нагрузки на мощности.
    • Вертикальное масштабирование, как правило, проще и чаще реализуется, чем горизонтальное масштабирование.
    • Аналитика с отслеживанием состояния усложняет горизонтальное масштабирование.
    • Автоматическое масштабирование не является распространенным для этого системного шаблона.
    • Существуют практические ограничения масштабируемости.

Автоматизация

Автоматизация направлена на сокращение усилий, затрачиваемых на ручное развертывание и выполнение операционных задач, что приводит к повышению операционной эффективности, а также к уменьшению системных аномалий, связанных с человеческим фактором. Дополнительные сведения см. в обзоре компонента автоматизации.

Интеграция

Интеграция связывает эту систему с другими системами для предоставления корпоративных сервисов и повышения производительности организации. Дополнительные сведения см. в обзоре компонента интеграции.

  • Интеграция с другими системами может осуществляться в форме потока данных в режиме реального времени и приема больших данных в систему потоковой передачи и анализа данных в режиме реального времени. Выходные данные систем потоковой передачи данных и аналитики в режиме реального времени также обычно интегрируются в другие системы организации и, следовательно, могут также поддерживать бизнес-операции, которые неизвестны или недоступны системным администраторам.

Наблюдаемость

Наблюдаемость обеспечивает видимость системы, позволяя эксплуатационному персоналу и другим техническим специалистам поддерживать работу системы в исправном и стабильном состоянии. Дополнительные сведения см. в обзоре компонента наблюдаемости.

  • Данные в реальном времени, которые обычно движутся с высокой скоростью, имеют ряд уникальных особенностей, связанных с возможностью наблюдения. Это особенно верно, когда скорость и/или стабильность входящих потоков непостоянны.
  • Предоставление сервисов в режиме реального времени всей организации (и, возможно, за ее пределами) может привести к моделям использования и росту, которые не ожидались разработчиками или операторами системы. Мониторинг помогает принимать решения о том, когда и как следует масштабироваться и развиваться, чтобы удовлетворить спрос, продолжая при этом работать должным образом (и в соответствии с соглашениями SLA).
  • Компоненты ArcGIS Enterprise на Windows/Linux, включая ArcGIS GeoEvent Server, можно наблюдать различными способами, включая журналы сервера и статистику сервера. Мониторинг доступности, производительности и использования системы наиболее важен для этого системного шаблона. В дополнение к мониторингу программного обеспечения ArcGIS Enterprise, важно отслеживать все вспомогательные компоненты и инфраструктуру, в частности, операционную систему Windows или Linux, базы данных и другие хранилища данных, а также вычислительную, сетевую, защитную и другую инфраструктуру. Узнайте больше о мониторинге работоспособности и надежности системы.
  • Дополнительное наблюдение за входом пользователей и изменениями учетных записей может быть возможно с помощью настроенного провайдера идентификации при использовании учетных записей SAML и/или OpenID Connect.

Прочее

Дополнительные рекомендации по проектированию и внедрению системы потоковой передачи данных и аналитики в режиме реального времени в Windows и Linux включают:

  • Успешная работа требует глубокого понимания концепций ГИС и ИТ, а также технологий.
  • При реализации этого шаблона системы следует учитывать методы управления данных и согласование с ИТ-политиками и ролями.

Сопутствующие ресурсы:

Top