Система потоковой передачи данных и аналитики в режиме реального времени

Система потоковой передачи данных и аналитики в режиме реального времени позволяет организациям получать, визуализировать и анализировать данные из источников в режиме реального времени, таких как датчики, активы и другие источники динамических данных. Данные можно использовать для картографирования в режиме реального времени, хранить в виде больших пространственно-временных данных для дальнейшего анализа и использовать для инициирования действий и оповещений на основе происходящих событий. Этот шаблон подключается к потокам данных в реальном времени и другим источникам быстро распространяемых данных, таким как Интернет вещей (IoT). Каналы и другие источники потоковых данных могут быть движущимися или неподвижными, анализироваться в режиме реального времени и распространяться в выходные системы и приложения.

Шаблон системы потоковой передачи данных и аналитики в режиме реального времени приносит пользу организации благодаря различным характеристикам, таким как:

• Интеграция с и подключение к источникам данных в режиме реального времени, таким как местоположение транспортных средств, датчики, персонал и другие источники (включая облачные сервисы и очереди), для более эффективного принятия решений в режиме реального времени с учетом географических данных.
• Выполнение анализа высокоскоростных данных в режиме реального времени, выполнение автоматизированных действий, а также push-уведомления и оповещения в режиме реального времени при обнаружении интересующих закономерностей.
• Хранение наблюдений с любой частотой, от прерывистых до очень частых, для последующей визуализации и анализа.

Если вы новичок в системных шаблонах ArcGIS, сначала ознакомьтесь с введением.

Пользователи и рабочие процессы.

Типы пользователей, которые чаще всего взаимодействуют с системами потоковой передачи данных и аналитики в режиме реального времени, а также типы рабочих процессов и задач, которые они обычно выполняют с помощью этой системы, включают:

• Аналитик данных, ученый и инженер. Аналитики данных, ученые и инженеры работают с этой системой, включая как потоки данных в реальном времени, так и исторические данные, хранящиеся в виде данных реального времени, для проектирования, разработки и проведения процедур анализа. При работе с потоками данных в режиме реального времени эти пользователи часто разрабатывают аналитические модели, которые публикуются в системе потоковой передачи и анализа данных в режиме реального времени, что приводит к получению новых производных выходных данных, которые могут включать новые каналы или триггерные оповещения. При работе с историческими данными в режиме реального времени эти пользователи взаимодействуют с этой системой так же, как и с системой аналитики больших данных.
• ГИС-аналитики. ГИС-аналитики работают с этой системой, часто совместно с аналитиками данных, учеными и инженерами. ГИС-аналитики часто работают непосредственно с системой, настраивая каналы, выполняя аналитические рабочие процессы и т. д., но также могут играть вспомогательные роли аналитика данных, ученого и инженера, описанные выше, чтобы обеспечить понимание важных пространственных концепций и применение лучших практик работы с геопространственными данными, а также методов и инструментов анализа.
• Владельцы данных. Владельцы данных несут ответственность за каналы и наборы данных, используемые в системах потоковой передачи данных и аналитики в режиме реального времени. Владельцы каналов данных могут консультироваться по мере встраивания каналов в систему. При хранении исторических данных в режиме реального времени владельцы данных обычно участвуют в проектировании и контроле управления данными, включая моделирование данных, контроль качества и управление.
• Распорядители данных. Распорядители данных обычно отвечают за повседневное управление каналами и наборами данных, используемыми в системах потоковой передачи данных и аналитики в режиме реального времени. Общие рабочие процессы и действия могут включать загрузку и импорт данных, аудит обновлений данных, а также структурирование и управление рабочими процессами управления данными.

Чтобы получить максимальную отдачу от системы потоковой передачи данных и аналитики в режиме реального времени, рассмотрите возможность привлечения ГИС-аналитиков в дополнение к аналитикам данных, ученым и инженерам или лицам, обладающим навыками обоих профилей.

Приложения

Системы потоковой передачи данных и аналитики в режиме реального времени предоставляют API и инструменты, а также интерфейсы проектирования, моделирования и управления, знакомые аналитикам данных, ученым и инженерам. Эти интерфейсы различаются в зависимости от шаблона развертывания, но обе модели развертывания включают веб-интерфейс для описанных выше пользователей для управления потоками данных в режиме реального времени, а также для проектирования, публикации и анализа данных в режиме реального времени.

ArcGIS предоставляет широкий спектр приложений, включая информационные панели, веб конструкторы приложений, собственные мобильные приложения и настольные приложения, которые могут работать с потоками данных в реальном времени и данными, генерируемыми системой потоковой передачи и анализа данных в реальном времени. Эти приложения обычно предоставляются в сочетании с (или через интеграцию с ) системой самостоятельного картографирования, анализа и публикации или другими системными шаблонами ArcGIS. Узнайте больше об использовании, интеграции и составлении системных шаблонов.

Эта система также включает в себя веб-сайт портала, который служит общим веб-интерфейсом в системах ArcGIS. В системах потоковой передачи данных и аналитики в режиме реального времени веб-сайт портала используется для управления пользователями и ресурсами, а также администрирования компонентов системы. ArcGIS Pro - настольное приложение, предназначенное для профессионалов в области ГИС, также широко используется для более сложных задач пространственного и ГИС-анализа.

Пользовательские приложения, созданные с помощью ArcGIS Maps SDK, которые включают захватывающие интерфейсы (XR), которые также обычно используются с системами потоковой передачи данных и аналитики в режиме реального времени.

Для получения дополнительной информации о полном спектре приложений, предоставляемых ArcGIS, см. архитектуру приложений в обзоре ArcGIS.

Функциональные возможности

Ниже представлены основные возможности, предоставляемые системой потоковой передачи данных и аналитики в режиме реального времени. Ниже не перечислены возможности, используемые в рабочих процессах потоковой передачи данных и аналитики в режиме реального времени, но обычно предоставляемые другими системами, такими как базовые карты и другие сервисы определения местоположения, предоставляемые системой сервисов определения местоположения. Узнайте больше о связанных системных шаблонах.

• Канал приема данных подключает систему к внешним источникам данных наблюдений в режиме реального времени, таким как Интернет вещей (IoT), брокеры сообщений и сторонние API. Эти внешние источники называются каналами и могут быть настроены в качестве входных данных для системы потоковой передачи и аналитики в режиме реального времени. Поддерживаемые типы каналов различаются в зависимости от шаблона развертывания.
• Прием данных позволяет загружать данные в систему для пакетного анализа и обработки. Этот системный шаблон не поддерживает выполнение аналитики больших данных непосредственно в местоположениях источников данных, внешних по отношению к ArcGIS. Весь пакетный анализ и обработка сохраненных данных, выполняемая в системе потоковой передачи и аналитики в режиме реального времени, выполняется внутри системы. Узнайте больше о системах аналитики больших данных.
• Пространственные соединения и связи позволяют объединять строки из двух каналов или наборов данных на основе пространственных отношений. Могут применяться различные пространственные отношения, включая пересечение, стирание, объединение, идентичность и симметричная разность, хотя возможности зависят от выбранного шаблона развертывания.
• Анализ закономерностей выявляет пространственные и временные закономерности в данных. К нему относятся такие инструменты, как поиск горячих точек, поиск похожих местоположений, а также различные методы регрессионного анализа для моделирования тенденций и создания прогнозов. Анализ закономерностей обычно выполняется на больших данных, а не на потоках в реальном времени.
• Анализ близости рассматривает близость пространственных данных к другим пространственным данным. Он включает в себя такие инструменты, как создание буферов и вычисление расстояния.
• При анализе суммаризации данные агрегируются или суммируются в структуры данных более высокого порядка. Сюда входят такие инструменты, как агрегирование точек, вычисление плотности и суммирование в пределах. Анализ суммаризации обычно выполняется на основе сохраненных данных, а не на данных, полученных из каналов в режиме реального времени.
• Анализ треков работает с наблюдениями включенного времени, коррелированными с отдельными объектами, обычно движущимися. Сюда входят такие инструменты, как реконструкция треков, привязка к сети, а также инструменты для анализа поездок и мест проживания.
• Геозонирование - это вид пространственного анализа в реальном времени, в котором объекты (часто точки отслеживания) оцениваются с использованием областей интереса (часто с полигональными областями). Чаще всего анализируются точечные наблюдения, чтобы определить, вошли ли они в виртуальный периметр или вышли из него.
• Управление данными поддерживает работу с геометрией и другими полями в потоках реального времени и больших данных. Сюда входят такие инструменты, как вычисление поля, проектирование и сопоставление полей.
• Пользовательские входные коннекторы позволяют разрабатывать новые входные коннекторы с помощью кода. Параметры пользовательских входных коннекторов существенно различаются в зависимости от шаблона развертывания; дополнительные сведения см. в разделе выбор шаблона развертывания.
• Пользовательские инструменты анализа позволяют разрабатывать новые инструменты анализа с использованием кода. Параметры пользовательских инструментов анализа существенно различаются в зависимости от шаблона развертывания; дополнительные сведения см. в разделе выбор шаблона развертывания.
• Пользовательские выходные коннекторы позволяют разрабатывать новые выходные коннекторы с помощью кода. Параметры пользовательских выходных коннекторов существенно различаются в зависимости от шаблона развертывания; дополнительные сведения см. в разделе выбор шаблона развертывания.
• Картографирование и визуализация данных и результатов проведенной аналитики в режиме реального времени — это мощный шаг для обеспечения контекста и выявления закономерностей, трендов и отношений в данных. Визуализация и картографирование аналогичны построению диаграмм и построению графиков с использованием непространственных данных; это позволяет аналитикам проверять свой анализ, повторять и создавать привлекательные результаты, которыми можно поделиться.
• Публикация и размещение данных обеспечивает безопасное хранение, управление и доступ к данным в виде сервиса для данных, поступающих в систему или сохраняемых из каналов в режиме реального времени. Данные, размещенные в системе, обычно доступны в виде сервисов пространственных объектов или векторных слоев.
• Публикация и размещение каналов позволяет публиковать и размещать новые каналы в системе. Каналы, размещенные в системе, обычно становятся доступными в виде потоковых сервисов или потоковых слоев.
• Отправка или хранение сообщений — это результат аналитики в режиме реального времени, который отправляет или сохраняет обработанные данные ленты (сообщения) во внешние системы, включая брокеры сообщений, хранилища объектов и другие системы обмена сообщениями, такие как электронная почта и SMS. Поддерживаемые типы выходных данных для отправки и хранения сообщений различаются в зависимости от шаблона развертывания.
• Публикация результатов анализа поддерживается ArcGIS, но считается выходящей за рамки системы потоковой передачи и анализа данных в реальном времени. Дополнительные сведения см. в разделе связанные системные шаблоны.

Рекомендации по архитектуре

Системы потоковой передачи данных и аналитики в режиме реального времени строятся с использованием ArcGIS. В этом разделе более подробно описывается, как системы потоковой передачи данных и аналитики в реальном времени согласуются с конкретными аспектами архитектуры ArcGIS и фокусируются на них.

Более подробные сведения об архитектуре см. в разделе Выбор шаблона развертывания.

Данные (сохранение)

Системы потоковой передачи и аналитики в режиме реального времени работают как с потоками данных в реальном времени, так и с источниками больших данных.

Каналы данных в режиме реального времени быстро передают внешние источники данных наблюдений в режиме реального времени, такие как Интернет вещей (IoT), брокеры сообщений и сторонние API. Каналы данных в режиме реального времени могут быть загружены в систему потоковой передачи данных и аналитики в режиме реального времени, что позволит обрабатывать, анализировать и выводить данные наблюдений в режиме реального времени из системы. Типы выходных данных включают в себя хранилища объектов, а также каналы и другие брокеры сообщений и системы. Поддерживаемые типы каналов и выходных данных различаются в зависимости от шаблона развертывания.

Система потоковой передачи и анализа данных в режиме реального времени включает в себя NoSQL, управляемое хранилище больших данных на основе документов для управления большими данными, сохраненными из потоков в режиме реального времени. Более подробно о хранилищах управляемых данных ArcGIS.

Сервисы (логика)

Системы потоковой передачи и анализа данных в реальном времени предоставляют аналитические сервисы реального времени для ArcGIS и, в частности, в шаблоне развертывания SaaS , аналитические сервисы больших данных.

Система потоковой передачи данных и аналитики в режиме реального времени также может использоваться для запросов, доступа, пространственной привязки, обогащения и управления большими данными, хранящимися в системе. Также распространено использование этой системы для рабочих процессов извлечения, преобразования и загрузки (ETL). Система потоковой передачи данных и аналитики в режиме реального времени использует интерактивное картографирование с базовыми картами и опорными слоями для визуализации результатов анализа. Публикация результатов анализа и других ресурсов с использованием сервисов портала является распространенным явлением, хотя обычно это достигается с помощью другой системы ArcGIS. Дополнительные сведения см. в разделе связанные системные шаблоны.

Приложения (презентация)

Основными выходными данными системы потоковой передачи данных и аналитики в режиме реального времени являются сообщения, каналы и другие сервисы, потребляемые другими системами и приложениями за пределами данного шаблона системы. Эта система обычно предоставляет только низкоуровневые пользовательские интерфейсы, знакомые аналитикам данных, ученым и инженерам. Эти пользовательские интерфейсы или приложения различаются в зависимости от выбранного шаблона развертывания. Для получения дополнительной информации см. приложения .

Поддержка

Системы потоковой передачи данных и аналитики в режиме реального времени могут различаться с точки зрения потребностей в поддержке.

При использовании в основном для потоковой передачи данных в режиме реального времени, часто в сочетании с анализом в реальном времени, каналы и сообщения, выводимые из системы, обычно используются в бизнес-процессах или критически важных рабочих процессах. В этих случаях системы должны проектироваться и использоваться с учетом высокого уровня надежности, безопасности, наблюдаемости, производительности и масштабируемости. Надежные методы и стандарты управления также могут помочь гарантировать, что система потоковой передачи данных и аналитики в режиме реального времени сможет развиваться, расширяться и развиваться в соответствии с потребностями бизнеса, в то же время соблюдая нефункциональные ИТ-требования.

При использовании в основном для пакетного анализа и обработки исторических данных наблюдений эта система может иметь менее строгие технические требования, связанные с такими областями, как надежность. Однако в таких случаях масштабируемость, а также производительность и безопасность могут быть проблемой для хранилища больших данных, управляемого системой.

Интеграция с другими системами может осуществляться в форме потока данных в режиме реального времени и приема больших данных в систему потоковой передачи и анализа данных в режиме реального времени. Выходные данные систем потоковой передачи данных и аналитики в режиме реального времени также обычно интегрируются в другие системы организации и, следовательно, могут также поддерживать бизнес-операции, которые неизвестны или недоступны системным администраторам. Обычно для этого требуется использование метаданных, мониторинга и соглашений об уровне обслуживания (SLA).

Общие рекомендации по поддержке и архитектуре см. в разделах практики создания архитектуры и основные компоненты архитектуры по ArcGIS Well-Architected Framework.

Связанные системные шаблоны

Системы потоковой передачи данных и аналитики в реальном времени могут быть интегрированы или объединены с другими системными шаблонами ArcGIS. Некоторые распространенные примеры включают:

• Обмен потоками данных в режиме реального времени и результатами анализа больших данных с широкой базой пользователей для самостоятельного сопоставления, анализа и совместного использования рабочих процессов или корпоративных приложений с помощью шаблона системы размещения и управления корпоративными приложениями.
• Расширение сферы применения аналитики больших данных с помощью шаблона системы анализа больших данных или аналитики изображений и обработки с помощью шаблона системы управления и аналитики данных изображений.
• Выполнение аналитики о местоположении людей и активов в режиме реального времени через систему управления мобильными операциями и офлайн-данными.

Дополнительные сведения об интеграции или составлении системных шаблонов см. в разделе Использование системных шаблонов.

Примеры

Отраслевые примеры систем для этого системного шаблона включают:

• Природные ресурсы. Нефтяные и трубопроводные компании могут использовать этот шаблон для интеграции высокоскоростных данных из систем SCADA в картину своих активов в режиме реального времени. Они также могут быть заинтересованы в использовании этого шаблона для отслеживания транспортных средств, анализа мобильных действий, мониторинга погоды и окружающей среды, а также автоматического запуска триггера на выполнение работ на основе результатов проверки.
• Коммунальные инженерные сети. Электроэнергетические компании могут использовать этот шаблон для мониторинга таких опасностей, как удары молнии, наводнения и лесные пожары, а также для оценки того, угрожают ли они инфраструктуре. Газовые компании могут использовать этот шаблон для мониторинга показаний интеллектуальных счетчиков, отслеживания транспортных средств и оборудования, а также анализа деятельности и безопасности мобильных бригад. Поставщики телекоммуникационных услуг могут отслеживать работу антенны и просматривать шаблоны сброшенных вызовов, чтобы выявить области, в которых может потребоваться улучшение сети.
• Водоснабжение и водоотведение. Этот шаблон позволяет водоканалам визуализировать и анализировать потоковые данные от интеллектуальных счетчиков воды и систем SCADA. С помощью этих данных они могут отслеживать расход в режиме реального времени, обнаруживать утечки и определять их местоположение, а также анализировать тенденции потребления для выявления потерь воды.
• Транспорт. Транспортные организации могут использовать этот шаблон для мониторинга и анализа данных об автоматическом определении местоположения транспортных средств (AVL) и транзитных активах, чтобы отслеживать активность рабочей области и отклонения от заданного маршрута для служебных транспортных средств. Они также могут отслеживать активы и оборудование, обнаруживать аномалии на дорогах, а также сообщать о погодных условиях и доступности парковки. Кроме того, они могут использовать потоки данных автоматической идентификационной системы (AIS) и другие телеметрические данные с судов и самолетов для мониторинга соответствия и оптимизации планирования в портах и аэропортах. Аэропорты могут анализировать передвижение пассажиров в очередях ожидания и терминалах, а также отслеживать местоположение самолетов на земле, чтобы лучше координировать топливо, багаж и транспортные средства технического обслуживания.
• Общественная безопасность. Организации общественной безопасности могут использовать этот шаблон для отслеживания и архивирования местоположения персонала, идентификации транспортных средств и отслеживания их местоположения по номерным знакам, обнаружения выстрелов с помощью данных из ShotSpotter и аналогичных API, а также мониторинга потенциальных угроз безопасности. Организации общественной безопасности также могут использовать этот шаблон для обнаружения инцидентов и мониторинга критически важной инфраструктуры.
• Местное управление. Умные города заинтересованы в использовании данных с подключенных датчиков, транспортных средств, счетчиков и других устройств для отслеживания объектов общественных работ, мониторинга действий полиции и принятия решений на основе данных. С помощью этого шаблона они могут отслеживать потоки по всему городу или округу, направлять персонал туда, где он нужен, и автоматизировать поведение систем и активов полос отчуждений.
• Национальное правительство. Как и местные органы власти, национальные правительственные учреждения могут использовать этот шаблон для мониторинга и управления инфраструктурой, активами, персоналом и объектами. Они также могут синтезировать потоки данных, связанные с сельским хозяйством, погодой, местоположением судов, стихийными бедствиями, сейсмической активностью, качеством воздуха и другими явлениями, а затем применять эти данные в исследованиях, прогнозах и решениях.