Наверх

Система потоковой передачи данных и анализа аналитики в режиме реального времени (SaaS)

Система, следующая шаблону системы потоковой передачи данных и аналитики в реальном времени, доступна в виде развертывания на основе программного обеспечения как сервиса (SaaS) с использованием ArcGIS Velocity и ArcGIS Online.

ArcGIS Online – это облачная ГИС, управляемая и доставляемая Esri как SaaS. ArcGIS Online предоставляет возможности, которые охватывают уровни данных, сервисов/логики и представления, работающие вместе, для создания целостной системы. Построенный на облачной архитектуре мирового класса и управляемый экспертами в области информационных технологий и географических информационных систем (ГИС), ArcGIS Online предлагает надежные и всесторонние возможности веб-ГИС.

ArcGIS Velocity – это облачная надстройка для ArcGIS Online. Она позволяет получать данные с платформ Интернета вещей (IoT), брокеров сообщений или сторонних API. Она также помогает обрабатывать, визуализировать и анализировать потоки данных в режиме реального времени; хранить эти каналы в виде больших данных; и выполнять быстрые запросы и анализ.

Сопутствующие ресурсы:

Базовая архитектура

Ниже приведена типичная базовая архитектура для системы потоковой передачи данных и аналитики в режиме реального времени, развернутой как SaaS.

Эту схему не следует принимать как она есть и использовать в качестве прототипа для вашей системы. Есть множество важных факторов и вариантов дизайна, которые следует учитывать при проектировании системы. Дополнительные сведения см. в разделе Использование системных шаблонов. Кроме того, на приведенной ниже схеме представлены только базовые возможности системы; при предоставлении расширенных возможностей могут потребоваться дополнительные компоненты системы.

Базовая архитектура системы потоковой передачи данных и аналитики в режиме реального времени (SaaS)

Представленные выше возможности отражают те, которые доступны на июль 2025 года.

Вот ключевые компоненты этой архитектуры:

  • ArcGIS Online, включая стандартные компоненты портала, такие как пользователи, группы и элементы, а также сервисы местоположения, такие как базовые карты и сервисы геокодирования. Службы определения местоположения, на которых работает система потоковой передачи данных и аналитики в режиме реального времени, также могут частично или полностью поставляться из другой системы сервисов определения местоположения.
  • ArcGIS Velocity предоставляет возможности работы с большими данными в режиме реального времени в качестве дополнения для ArcGIS Online. Он включает в себя инструменты пространственного анализа для анализа в режиме реального времени, а также для анализа больших данных. Выходные данные ArcGIS Velocity могут быть получены в виде потоковых сервисов ArcGIS и сервисов пространственных объектов, а также отправлены в другие системы в виде сообщений (например, электронной почты, SMS и Kafka). Выходные данные ArcGIS Velocity также могут храниться в других системах (например, Amazon S3 и Azure Blob Storage) и храниться в управляемом хранилище данных ArcGIS Velocity, где их можно использовать для анализа больших данных. Более подробно о ArcGIS Velocity.
  • ArcGIS Velocity включает в себя комплексный веб-сайт для управления системой потоковой передачи данных и аналитики в режиме реального времени, а также для разработки и выполнения анализа как в режиме реального времени, так и анализа больших данных. Сайт доступен по адресу velocity.arcgis.com. ArcGIS Velocity предоставляет доступ к инструментам и API и, как правило, используется широким спектром приложений и систем. Узнайте больше о приложениях, используемых в системе потоковой передачи данных и аналитики в режиме реального времени.

Вот ключевые взаимодействия в этой архитектуре:

  1. Клиентские приложения взаимодействуют с сервисами данных, а также с сервисами местоположения по протоколу HTTPS, обычно через REST API без отслеживания состояния.
  2. ArcGIS Velocity принимает данные из потоковых источников в режиме реального времени с помощью веб-каналов. ArcGIS Velocity работает с широким спектром ArcGIS, веб и обмена сообщениями, облаками, а также с источниками поставщиков данных, которые включают в себя как опросные так и потоковые каналы. Более подробно о каналах в ArcGIS Velocity.
  3. ArcGIS Velocity принимает данные для анализа больших данных через источники данных. ArcGIS Velocity поддерживает ArcGIS, веб-сайты и обмен сообщениями, а также облачные источники данных. Он также предоставляет множество стандартных географических источников, помогающих в фильтрации и обогащении данных. Эти стандартные географические данные представлены в двух группах: Мир и Соединенные Штаты. Более подробно об источниках данных в ArcGIS Velocity.

Дополнительную информацию об использовании и администрировании основного программного обеспечения, используемого в системах потоковой передачи данных и аналитики в режиме реального времени, можно найти в документации продуктов ArcGIS Online и ArcGIS Velocity.

Функциональные возможности

Возможности системы потоковой передачи данных и аналитики в режиме реального времени на SaaS описаны ниже. Дополнительные сведения см. в обзоре возможностей и сравнении поддержки возможностей в шаблонах развертывания.

Ниже не перечислены возможности, используемые в системе потоковой передачи данных и аналитики в режиме реального времени, но обычно предоставляемые другими системами, такими как базовые карты, геокодирование и другие сервисы определения местоположения, предоставляемые системой сервисов определения местоположения. Узнайте больше о связанных системных шаблонах.

Базовые возможности

Базовые возможности представляют собой наиболее распространенные возможности, предоставляемые системами самостоятельного картографирования, анализа и публикации и обеспечиваемые базовой архитектурой, описанной выше.

  • Канал приема данных подключает систему к внешним источникам данных наблюдений в режиме реального времени, таким как Интернет вещей (IoT), брокеры сообщений и сторонние API. Эти внешние источники называются каналами и могут быть настроены в качестве входных данных для системы потоковой передачи и аналитики в режиме реального времени. ArcGIS Velocity поддерживает как опросные, так и потоковые каналы, включая ArcGIS, облако, Интернет, обмен сообщениями и каналы поставщиков данных. Более подробно о каналах в ArcGIS Velocity.
  • Прием данных позволяет загружать данные в систему для пакетного анализа и обработки. Этот системный шаблон не поддерживает выполнение аналитики больших данных непосредственно в местоположениях источников данных, внешних по отношению к ArcGIS. ArcGIS Velocity поддерживает пакетный анализ и обработку данных, хранящихся в системе. Входные данные для ArcGIS Velocity могут быть получены из стандартных географических источников, ArcGIS, облака, Интернета и источников данных обмена сообщениями. Более подробно об источниках и форматах данных в ArcGIS Velocity.
  • Пространственные соединения и связи позволяют объединять строки из двух каналов или наборов данных на основе пространственных отношений. Могут применяться различные пространственные отношения, включая пересечение, стирание, объединение, идентичность и симметричную разность. Инструменты, выполняющие пространственные соединения и отношения, включают, помимо прочего, соединение объектов, слияние и наложение слоев. Обратите внимание, что некоторые инструменты поддерживают только анализ в реальном времени, в то время как другие поддерживают только анализ больших данных. Более подробно об анализе в реальном времени и анализе больших данных в ArcGIS Velocity.
  • Анализ закономерностей выявляет пространственные и временные закономерности в данных. Инструменты, выполняющие анализ закономерностей, включают, помимо прочего, поиск горячих точек, поиск кластеров точек и обобщенную линейную регрессию. Анализ закономерностей обычно выполняется на больших данных, а не на потоках в реальном времени. Более подробно об анализе в реальном времени и анализе больших данных в ArcGIS Velocity.
  • Анализ близости рассматривает близость пространственных данных к другим пространственным данным. Инструменты, выполняющие анализ близости, включают, помимо прочего, создание буферов и вычисление расстояния. Обратите внимание, что некоторые инструменты поддерживают только анализ в реальном времени, в то время как другие поддерживают только анализ больших данных. Более подробно об анализе в реальном времени и анализе больших данных в ArcGIS Velocity.
  • При анализе суммирования данные агрегируются или суммируются в структуры данных более высокого порядка. Инструменты, выполняющие анализ суммирования, включают, помимо прочего, агрегирование точек, вычисление плотности и суммирование в пределах. Анализ суммирования обычно выполняется на больших данных, а не на потоках в реальном времени. Более подробно об анализе в реальном времени и анализе больших данных в ArcGIS Velocity.
  • Анализ трека работает с точками с поддержкой времени, коррелированными с движущимися объектами. Инструменты, выполняющие анализ треков, включают, помимо прочего, реконструкцию треков и замыкание на сеть. Обратите внимание, что некоторые инструменты поддерживают только анализ в реальном времени, в то время как другие поддерживают только анализ больших данных. Более подробно об анализе в реальном времени и анализе больших данных в ArcGIS Velocity.
  • Анализ геозон - это вид пространственного анализа в реальном времени, в котором объекты (часто точки отслеживания) оцениваются с использованием областей интереса (часто с полигональными областями). Чаще всего анализируются точечные наблюдения, чтобы определить, вошли ли они в виртуальный периметр или вышли из него. ArcGIS Velocity поддерживает геозоны и динамические геозоны в нескольких инструментах для работы с данными реального времени и с большими данными. Более подробно об анализе геозон в ArcGIS Velocity.
  • Управление данными поддерживает работу с геометрическими и другими полями в режиме реального времени и большими данными. Инструменты, выполняющие управление данными, включают, помимо прочего, вычисление поля и поля карты. Обратите внимание, что некоторые инструменты поддерживают только анализ в реальном времени, в то время как другие поддерживают только анализ больших данных. Более подробно об анализе в реальном времени и анализе больших данных в ArcGIS Velocity.
  • Картографирование и визуализация результатов анализа — это мощный шаг для обеспечения контекста и выявления закономерностей, трендов и отношений в данных. Визуализация и картографирование аналогичны построению диаграмм и построению графиков с использованием непространственных данных; это позволяет аналитикам проверять свой анализ, повторять и создавать привлекательные результаты, которыми можно поделиться. Более подробно о визуализации данных в ArcGIS Velocity.
  • Публикация и размещение данных обеспечивает безопасное хранение, управление и доступ к данным в виде сервиса для данных, поступающих в систему или сохраняемых из каналов в режиме реального времени. Данные, размещенные в системе, обычно публикуются для использования в виде векторных слоев.
  • Публикация и размещение каналов позволяет публиковать и размещать новые каналы в системе. Веб-каналы, размещенные в системе, обычно публикуются в виде потоковых слоев.
  • Отправка и хранение сообщений — это результат потоковой передачи и аналитики в режиме реального времени, который отправляет или хранит обработанные данные ленты (сообщения) во внешние системы, включая брокеры сообщений, хранилища объектов и другие системы обмена сообщениями, такие как электронная почта и SMS. Поддерживаемые типы выходных данных для аналитики в режиме реального времени включают слои объектов и потоков ArcGIS, Azure Event и IoT Hubs, а также различные выходные данные из Интернета и обмена сообщениями, такие как текстовые сообщения и Kafka. Поддерживаемые типы выходных данных для аналитики больших данных включают векторные слои и слои потоков ArcGIS, хранилища объектов на основе AWS и Azure, Azure Event Hub, а также различные выходные данные из Интернета и обмена сообщениями, такие как текстовые сообщения и Kafka. Узнайте больше об основах аналитических выходных данных и работе с выходными данными в ArcGIS Velocity.

Расширенные возможности

Расширенные возможности обычно добавляются для удовлетворения конкретных потребностей или поддержки отраслевых моделей данных и решений, а также могут потребовать дополнительных программных компонентов или соображений по архитектуре.

  • Публикация результатов анализа поддерживается ArcGIS, но считается выходящей за рамки системы потоковой передачи и анализа данных в реальном времени. Дополнительные сведения см. в разделе связанные системные шаблоны.

Рекомендации

Приведенные ниже соображения применяют основные принципы ArcGIS Well-Architected Framework к системному шаблону потоковой передачи и анализа данных в реальном времени в SaaS. Представленная здесь информация не является исчерпывающей, а скорее подчеркивает ключевые соображения о проектировании и реализации этой конкретной комбинации системы и шаблона развертывания. Узнайте больше об основных компонентах архитектуры ArcGIS Well-Architected Framework.

Надёжность

Надежность гарантирует, что ваша система обеспечивает уровень обслуживания, необходимый для бизнеса, а также ваших клиентов и заинтересованных сторон. Подробнее см. в разделе Общие сведения о компонентах надежности.

Безопасность

Безопасность защищает ваши системы и информацию. Дополнительные сведения см. в обзоре компонента безопасности.

  • Аутентификация и авторизация необходимы для разработки и выполнения аналитики, а также для управления системой потоковой передачи данных и аналитики в режиме реального времени. Также часто такие выходные данные, как векторные слои ArcGIS и слои потоков, должны быть защищены, требуя аутентификации и авторизации для доступа.
    • Доступ пользователей и совместная работа с данными регулируются средствами управления доступом на основе ролей и современными моделями авторизации и аутентификации, включая OAuth, SAML и многофакторную аутентификацию.
  • Системы подвергаются оценке уязвимостей, включая сканирование системы, веб-приложений и баз данных.

Узнайте больше о передовых методах обеспечения безопасности ArcGIS Online и руководстве по внедрению.

Производительность и масштабируемость

Производительность и масштабируемость направлены на оптимизацию общего взаимодействия пользователей с системой, а также на обеспечение масштабирования системы в соответствии с растущими требованиями к рабочим нагрузкам. Дополнительные сведения см. в обзоре основных компонентов производительности и масштабируемости.

  • В реальном времени в системе IoT действительно происходят всплески количества, сложности или скорости передачи данных. Кроме того, можно настроить аналитику, которая обрабатывает миллионы или даже миллиарды записей с помощью конвейеров обработки различной сложности. Для решения этой проблемы каналы, аналитика в реальном времени и аналитика больших данных в ArcGIS Velocity могут динамически распределять дополнительные ресурсы, чтобы поддерживать скорость cбора данных и анализа в реальном времени, а также обеспечивать быструю обработку для анализа больших данных. Автомасштабирование увеличивает или уменьшает ресурсы в зависимости от нагрузки. Более подробно об автомасштабировании в ArcGIS Velocity.

Узнайте больше о передовых методах ArcGIS Velocity для администраторов организаций, таких как планирование емкости и управление временем хранения данных.

Автоматизация

Автоматизация направлена на сокращение усилий, затрачиваемых на ручное развертывание и выполнение операционных задач, что приводит к повышению операционной эффективности, а также к уменьшению системных аномалий, связанных с человеческим фактором. Дополнительные сведения см. в обзоре компонента автоматизации.

  • Проектирование и настройка анализа в реальном времени обычно выполняется в интерактивном режиме, хотя результаты аналитики в реальном времени часто используются в автоматизированных рабочих процессах. Анализ больших данных часто является итеративным, требующим пользовательской проверки и вмешательства во время выполнения анализа; тем не менее, аналитика больших данных также может быть автоматизирована с помощью скриптов.

Интеграция

Интеграция связывает эту систему с другими системами для предоставления корпоративных сервисов и повышения производительности организации. Дополнительные сведения см. в обзоре компонента интеграции.

  • Интеграция с другими системами может осуществляться в форме потока данных в режиме реального времени и приема больших данных в систему потоковой передачи и анализа данных в режиме реального времени. Выходные данные систем потоковой передачи данных и аналитики в режиме реального времени также обычно интегрируются в другие системы организации и, следовательно, могут также поддерживать бизнес-операции, которые неизвестны или недоступны системным администраторам.

Наблюдаемость

Наблюдаемость обеспечивает видимость системы, позволяя эксплуатационному персоналу и другим техническим специалистам поддерживать работу системы в исправном и стабильном состоянии. Дополнительные сведения см. в обзоре компонента наблюдаемости.

  • Данные в реальном времени, которые обычно движутся с высокой скоростью, имеют ряд уникальных особенностей, связанных с возможностью наблюдения. Это особенно верно, когда скорость и/или стабильность входящих потоков непостоянны.
  • Предоставление сервисов в режиме реального времени всей организации (и, возможно, за ее пределами) может привести к моделям использования и росту, которые не ожидались разработчиками или операторами системы. Мониторинг помогает принимать решения о том, когда и как следует масштабироваться и развиваться, чтобы удовлетворить спрос, продолжая при этом работать должным образом (и в соответствии с соглашениями SLA).

  • ArcGIS Online и ArcGIS Velocity, как предложения SaaS, не поддерживают наблюдение за их базовой инфраструктурой и внутренним программным обеспечением. Тем не менее, он предлагает способы наблюдения за использованием и работоспособностью системы.

  • Дополнительное наблюдение за входом пользователей и изменениями учетных записей может быть возможно с помощью настроенного провайдера идентификации при использовании учетных записей SAML и/или OpenID Connect.

Прочее

Дополнительные соображения по проектированию и внедрению системы управления мобильными операциями и автономными данными в качестве SaaS включают:

  • Успешная работа требует глубокого понимания концепций ГИС и ИТ, а также технологий. Организация также должна понимать значение SaaS с точки зрения доступа к данным, безопасности и управления.
  • При реализации этого шаблона системы следует учитывать методы управления данных и согласование с ИТ-политиками и ролями.
  • Узнайте больше о передовых методах ArcGIS Velocity для администраторов организаций, таких как планирование емкости и управление временем хранения данных.

Сопутствующие ресурсы:

Top