Sistema de transmisión streaming y análisis de datos en tiempo real

Un sistema de transmisión streaming y análisis de datos en tiempo real permite a las organizaciones procesar, visualizar y analizar datos procedentes de feeds en tiempo real, como sensores, activos y otras fuentes de datos dinámicos. Los datos pueden utilizarse para la representación cartográfica en tiempo real, almacenarse como big data espaciotemporal para su posterior análisis y aprovecharse para desencadenar acciones y alertas basadas en los eventos que se produzcan. Este patrón conecta con feeds de datos en directo y otras fuentes de datos de rápida emisión como el Internet de las Cosas (IdC). Los feeds y otras fuentes de datos de transmisión streaming pueden estar en movimiento o estacionarios, analizarse en tiempo real y diseminarse a sistemas y aplicaciones de salida.

Un patrón de sistema de transmisión streaming y análisis de datos en tiempo real aporta valor a una organización a través de diversas características, como:

• Integración y conexión con fuentes de datos en tiempo real como las ubicaciones de vehículos, sensores, personal y otras fuentes (incluidos los servicios nativos en la nube y las colas) para mejorar la toma de decisiones en tiempo real y con información geográfica.
• Realización de análisis en tiempo real de datos a alta velocidad, ejecución de acciones automatizadas y notificaciones push y alertas en tiempo real cuando se detectan patrones de interés.
• Almacenamiento de observaciones de cualquier frecuencia, desde intermitentes a muy frecuentes, para futuras visualizaciones y análisis.

Si no está familiarizado con los patrones del sistema de ArcGIS, revise primero la introducción.

Roles de usuario y flujos de trabajo

Entre los roles de usuario que suelen interactuar con los sistemas de transmisión streaming y análisis de datos en tiempo real, junto con los tipos de flujos de trabajo y tareas que suelen realizar utilizando este sistema, están:

• Analista, científico e ingeniero de datos. Los analistas, científicos e ingenieros de datos trabajan con este sistema, que incluye tanto feeds de datos en tiempo real como datos históricos almacenados en tiempo real, para diseñar, desarrollar y llevar a cabo rutinas de análisis. Al trabajar con feeds de datos en tiempo real, estas personas suelen diseñar modelos analíticos que se publican en el sistema de transmisión streaming y análisis de datos en tiempo real, lo que da lugar a nuevas salidas derivadas que pueden incluir nuevos feeds o alertas desencadenadas. Al trabajar con datos históricos en reposo en tiempo real, estos roles de usuario interactúan con este sistema de forma muy similar a como lo harían con un sistema de análisis de big data.
• Analistas SIG. Los analistas SIG trabajan con este sistema, con frecuencia junto a analistas, científicos e ingenieros de datos. Los analistas SIG suelen trabajar directamente con el sistema, configurando feeds, realizando flujos de trabajo analíticos, etc., pero también pueden desempeñar un rol de soporte a los analistas, científicos e ingenieros de datos mencionados anteriormente para garantizar que se entienden los conceptos espaciales importantes y que se aplican las prácticas recomendadas para trabajar con datos geoespaciales y métodos y herramientas de análisis.
• Propietarios de datos. Los propietarios de datos son responsables de los feeds y datasets utilizados en los sistemas de transmisión streaming y análisis de datos en tiempo real. Se podrá consultar a los propietarios de datos de los feeds a medida que estos se incorporen al sistema. Al almacenar datos históricos en tiempo real, los propietarios de datos suelen participar en los aspectos de diseño y supervisión de la administración de datos, incluidos el modelado de datos, el control de calidad y la gobernanza.
• Administradores de datos. Los administradores de datos suelen ser responsables de la administración diaria de los feeds y los conjuntos de datos utilizados en los sistemas de transmisión streaming y análisis de datos en tiempo real. Los flujos de trabajo y las actividades comunes pueden incluir la carga e importación de datos, la auditoría de actualizaciones de datos, así como la estructuración y el control de los flujos de trabajo de administración de datos.

Para obtener el máximo valor de un sistema de transmisión streaming y análisis de datos en tiempo real, considere la posibilidad de involucrar a analistas SIG además de a analistas, científicos e ingenieros de datos, o a personas que posean habilidades de ambos roles.

Aplicaciones

Los sistemas de transmisión streaming y análisis de datos en tiempo real exponen API y herramientas, junto con interfaces de diseño, modelado y administración familiares para analistas, científicos e ingenieros de datos. Estas interfaces difieren entre patrones de implementación, pero ambos modelos de implementación incluyen una interfaz web para que los roles de usuario descritos anteriormente administren feeds de datos en tiempo real, así como diseñen, publiquen y lleven a cabo análisis de datos en tiempo real.

ArcGIS proporciona un amplio rango de aplicaciones que incluyen cuadros de mando, creadores de aplicaciones web, aplicaciones móviles nativas y aplicaciones de escritorio que pueden trabajar con feeds y datos en tiempo real emitidos a partir de un sistema de transmisión streaming y análisis de datos en tiempo real. Estas aplicaciones suelen proporcionarse en combinación con (o mediante integración con) un sistema de autoservicio de representación cartográfica, análisis y uso compartido u otros patrones de sistema de ArcGIS. Más información sobre el uso, la integración y la composición de patrones de sistema.

Este sistema también incluye un sitio web del portal, que sirve como interfaz web general a los sistemas ArcGIS. En los sistemas de transmisión streaming y análisis de datos en tiempo real, el sitio web del portal se utiliza para administrar usuarios y contenido, así como para administrar los componentes del sistema. ArcGIS Pro, la aplicación de escritorio diseñada para profesionales de SIG, también se utiliza habitualmente para trabajos de análisis espacial y SIG más avanzados.

Las aplicaciones personalizadas creadas con ArcGIS Maps SDKs, que incluyen experiencias inmersivas (XR), también se utilizan habitualmente con sistemas de transmisión streaming y análisis de datos en tiempo real.

Para obtener más información acerca de la gama completa de aplicaciones que ofrece ArcGIS, consulte la arquitectura de aplicaciones en la descripción general de ArcGIS.

Capacidades

A continuación, se presentan las principales funcionalidades que ofrece un sistema de transmisión streaming y análisis de datos en tiempo real. No se enumeran a continuación las funcionalidades utilizadas en flujos de trabajo de transmisión streaming y análisis de datos en tiempo real, pero que suelen proporcionar otros sistemas, como los mapas base y otros servicios de ubicación proporcionados por un sistema de servicios de ubicación. Más información sobre los patrones de sistema relacionados.

• El procesamiento de feeds conecta el sistema con fuentes externas de datos de observación en tiempo real, como el Internet de las Cosas (IdC), agentes de mensajes y API de terceros. Estos orígenes externos se denominan feeds y pueden configurarse como entrada al sistema de transmisión streaming y análisis en tiempo real. Los tipos de feed admitidos difieren según los patrones de implementación.
• El procesamiento de datos permite cargarlos en el sistema para su análisis y procesamiento por lotes. Este patrón de sistema no admite la realización de análisis de big data directamente en ubicaciones de fuentes de datos externas a ArcGIS. Todo el análisis y procesamiento por lotes de los datos almacenados que se realiza en el sistema de transmisión streaming y análisis de datos en tiempo real se lleva a cabo dentro del sistema. Más información sobre los sistemas de análisis de big data.
• Las uniones y relaciones espaciales permiten combinar filas de dos feeds o datasets basándose en una relación espacial. Se pueden aplicar diversas relaciones espaciales, como intersección, borrado, unión, identidad y diferencia simétrica, aunque las funcionalidades varían en función del patrón de implementación seleccionado.
• El análisis de patrones identifica patrones espaciales y temporales en los datos. Incluye herramientas como encontrar puntos calientes, encontrar ubicaciones similares y diversos métodos de análisis basados en la regresión para modelar tendencias y generar predicciones. El análisis de patrones suele realizarse sobre big data, no sobre feeds en tiempo real.
• El análisis de proximidad examina la proximidad de los datos espaciales con respecto a otros datos espaciales. Esto incluye herramientas como la creación de zonas de influencia y el cálculo de distancias.
• El análisis de resumen agrega o resume datos en estructuras de datos de orden superior. Incluye herramientas como agregar puntos, calcular densidad y resumir dentro de. El análisis de resumen suele realizarse sobre datos almacenados, no sobre feeds en tiempo real.
• El análisis de recorridos funciona con observaciones con el tiempo habilitado correlacionadas con entidades distintas, normalmente objetos en movimiento. Incluye herramientas como la reconstrucción de recorridos, la alineación con la red y herramientas para analizar los trayectos y las ubicaciones de permanencia.
• El uso de barreras geográficas es una forma de análisis espacial en tiempo real en el que las entidades (con frecuencia, puntos de rastreo) se evalúan mediante áreas de interés (con frecuencia, áreas de polígono). Lo más habitual es analizar observaciones basadas en puntos para determinar si han entrado o salido de un perímetro virtual.
• La administración de datos admite operar sobre geometrías y otros campos en feeds en tiempo real y big data. Incluye herramientas como calcular campos, proyectos y correlacionar campos.
• Los conectores de entrada personalizados permiten desarrollar nuevos conectores de entrada mediante código. Las opciones para personalizar los conectores de entrada difieren sustancialmente entre los patrones de implementación; consulte Selección de un patrón de implementación para obtener más información.
• Las herramientas de análisis personalizadas permiten desarrollar nuevas herramientas de análisis mediante código. Las opciones para personalizar herramientas de análisis difieren sustancialmente entre los patrones de implementación; consulte Selección de un patrón de implementación para obtener más información.
• Los conectores de salida personalizados permiten desarrollar nuevos conectores de salida mediante código. Las opciones para personalizar los conectores de salida difieren sustancialmente entre los patrones de implementación; consulte Selección de un patrón de implementación para obtener más información.
• La representación cartográfica y la visualización de la salida de análisis y datos en tiempo real es un paso potente para proporcionar contexto y ayudar a descubrir patrones, tendencias y relaciones en los datos. La visualización y la representación cartográfica son análogas a los gráficos y trazados con datos no espaciales; permiten a los analistas verificar sus análisis, iterar y crear resultados compartibles y atractivos.
• La publicación y el alojamiento de datos permiten almacenar, administrar y acceder de forma segura a los datos como un servicio para los datos procesados en el sistema o persistidos a partir de feeds en tiempo real. Los datos alojados en el sistema suelen estar disponibles como servicios de entidades o capas de entidades.
• La publicación y alojamiento de feeds permite publicar y alojar nuevos feeds en el sistema. Los feeds alojados en el sistema suelen estar disponibles como servicios de transmisión streaming o capas de transmisión streaming.
• Enviar o almacenar mensajes es un resultado del análisis en tiempo real que envía o almacena datos de feed procesados (mensajes) en sistemas externos, incluidos agentes de mensajes, almacenes de objetos y otros sistemas de mensajería como el correo electrónico y los SMS. Los tipos de salida admitidos para enviar y almacenar mensajes difieren según los patrones de implementación.
• ArcGIS admite el uso compartido de los resultados de los análisis, pero se considera fuera del ámbito del sistema de transmisión streaming y análisis de datos en tiempo real. Consulte los patrones de sistema relacionados para obtener más información.

Consideraciones de arquitectura

Los sistemas de transmisión streaming y análisis de datos en tiempo real se construyen utilizando ArcGIS. En esta sección, se describe con más detalle cómo los sistemas de transmisión streaming y análisis de datos en tiempo real se alinean con aspectos específicos de la arquitectura de ArcGIS y se centran en ellos.

Para obtener información más detallada sobre la arquitectura, consulte selección de un patrón de implementación.

Datos (persistencia)

Los sistemas de transmisión streaming y análisis de datos en tiempo real funcionan con feeds en tiempo real, así como con fuentes de big data.

Los feeds en tiempo real emiten rápidamente fuentes externas de datos de observación en tiempo real, como el Internet de las Cosas (IdC), agentes de mensajes y API de terceros. Los feeds en tiempo real pueden procesarse en el sistema de transmisión streaming y análisis de datos en tiempo real, permitiendo que los datos de observación en tiempo real se procesen, analicen y emitan desde el sistema. Los tipos de salida incluyen almacenes de objetos, así como feeds y otros agentes de mensajes y sistemas. Los tipos de feed y salida admitidos difieren según los patrones de implementación.

El sistema de transmisión streaming y análisis de datos en tiempo real incluye un big data store NoSQL administrado, basado en documentos, para administrar big data persistentes de feeds en tiempo real. Más información sobre los data store administrados por ArcGIS.

Servicios (lógica)

Los sistemas de transmisión streaming y análisis de datos en tiempo real proporcionan los servicios de análisis en tiempo real para ArcGIS y, en el patrón de implementación SaaS específicamente, los servicios analíticos de big data.

El sistema de transmisión streaming y análisis de datos en tiempo real también puede utilizarse para consultar, acceder, referenciar espacialmente, enriquecer y administrar big data almacenados en el sistema. También es habitual utilizar este sistema para los flujos de trabajo de extracción, transformación y carga (ETL). El sistema de transmisión streaming y análisis de datos en tiempo real hace uso de la representación cartográfica interactiva con mapas base y capas de referencia para visualizar los resultados del análisis. Es habitual compartir los resultados de los análisis y otros contenidos a través de los servicios del portal, aunque se suele llevar a cabo mediante otro sistema de ArcGIS. Consulte los patrones de sistema relacionados para obtener más información.

Aplicaciones (presentación)

Las principales salidas del sistema de transmisión streaming y análisis de datos en tiempo real son mensajes, feeds y otros servicios consumidos por otros sistemas y aplicaciones fuera del ámbito de este patrón de sistema. Este sistema suele exponer solo interfaces de usuario de bajo nivel familiares para analistas, científicos e ingenieros de datos. Estas interfaces de usuario, o aplicaciones, varían en función del patrón de implementación seleccionado. Consulte las aplicaciones para obtener más información.

Soporte

Los sistemas de transmisión streaming y análisis de datos en tiempo real pueden variar en cuanto a las necesidades de soporte.

Cuando se utiliza principalmente para la transmisión streaming de datos en tiempo real, a menudo junto con el análisis en tiempo real, es habitual que los feeds y mensajes emitidos por el sistema se utilicen en flujos de trabajo empresariales o de misión crítica. En estos casos, los sistemas deben diseñarse y funcionar teniendo en cuenta altos niveles de fiabilidad, seguridad, observabilidad, rendimiento y escalabilidad. Unas prácticas y normas de gobierno sólidas también pueden ayudar a garantizar que el sistema de transmisión streaming y análisis de datos en tiempo real sea capaz de madurar, expandirse y evolucionar según las necesidades de la empresa, al tiempo que se adhiere a los requisitos informáticos no funcionales.

Cuando se utiliza principalmente para el análisis y el procesamiento por lotes de datos históricos y de observación, este sistema puede tener requisitos técnicos menos rigurosos relacionados con áreas como la fiabilidad. Sin embargo, para estos casos de uso, la escalabilidad, así como el rendimiento y la seguridad, pueden ser motivo de preocupación para un big data store administrado por el sistema.

La integración con otros sistemas puede adoptar la forma de feed en tiempo real y el procesamiento de big data en el sistema de transmisión streaming y análisis de datos en tiempo real. Las salidas del sistema de transmisión streaming y análisis de datos en tiempo real también suelen integrarse en otros sistemas de la empresa de una organización y, por lo tanto, también pueden admitir operaciones comerciales desconocidas o no disponibles para los administradores de sistemas. Suele exigir el uso de metadatos, la monitorización y acuerdos de nivel de servicio (SLA).

Para obtener asistencia general y consideraciones sobre la arquitectura, consulte las prácticas de arquitectura, así como los pilares de la arquitectura del marco ArcGIS Well-Architected Framework.

Patrones de sistema relacionados

Los sistemas de transmisión streaming y análisis de datos en tiempo real pueden integrarse o combinarse con otros patrones de sistema de ArcGIS. Estos son algunos ejemplos habituales:

• Compartir feeds en tiempo real y resultados de análisis de big data con una amplia base de usuarios, ya sea para flujos de trabajo de autoservicio de mapas, análisis y uso compartido o para aplicaciones empresariales a través del patrón de sistema de administración y alojamiento de aplicaciones empresariales.
• Expandir el alcance del análisis de big data utilizando el patrón de sistema de análisis de big data o el análisis y procesamiento de imágenes utilizando el patrón de sistema de análisis y administración de datos de imágenes.
• Realizar análisis sobre ubicaciones en tiempo real de personas y activos compartidos a través del sistema de operaciones móviles y administración de datos sin conexión.

Para obtener más información acerca de la integración o composición de patrones de sistema, consulte uso de patrones de sistema.

Ejemplos

Entre los ejemplos de sistemas sectoriales para este patrón de sistema se incluyen:

• Recursos naturales. Las empresas petroleras y de canalizaciones pueden utilizar este patrón para integrar los datos de alta velocidad de los sistemas SCADA en una imagen en tiempo real de sus activos. También pueden estar interesados en utilizar este patrón para realizar el recorrido de los vehículos, analizar las actividades móviles, monitorizar el tiempo y el entorno y desencadenar automáticamente órdenes de trabajo basadas en los resultados de las inspecciones.
• Servicios públicos. Las compañías eléctricas pueden utilizar este patrón para monitorizar peligros como rayos, inundaciones e incendios forestales y evaluar si suponen una amenaza para las infraestructuras. Las empresas de suministro de gas pueden utilizar este patrón para monitorizar las lecturas de los contadores inteligentes, realizar el recorrido de vehículos y equipos y analizar las actividades y la seguridad del personal móvil. Los proveedores de telecomunicaciones pueden monitorizar el rendimiento de las antenas y consultar los patrones de llamadas perdidas para poner de relieve las áreas en las que podría ser necesario mejorar la red.
• Agua y aguas residuales. Este patrón permite a las empresas de suministro de agua visualizar y analizar los datos de transmisión streaming de los contadores de agua inteligentes y los sistemas SCADA. Con estos datos, pueden monitorizar el caudal en tiempo real, detectar fugas e identificar sus ubicaciones y analizar las tendencias de consumo para identificar las pérdidas de agua.
• Transporte. Las organizaciones de transporte pueden utilizar este patrón para monitorizar y analizar la ubicación automática de los vehículos (AVL) y los datos de los activos de tránsito para hacer un seguimiento de la actividad del área de trabajo y las desviaciones de ruta de los vehículos de servicio. También pueden realizar el recorrido de activos y equipos, detectar anomalías en el tráfico y comunicar las condiciones meteorológicas y la disponibilidad de aparcamiento. Además, pueden consumir feeds del Sistema de Identificación Automática (AIS) y otros datos telemétricos de barcos y aeronaves para monitorizar el cumplimiento normativo y optimizar la programación de puertos y aeropuertos. Los aeropuertos pueden analizar los movimientos de los pasajeros en las colas de espera y en las terminales, y pueden monitorizar las ubicaciones de las aeronaves en tierra para coordinar mejor el combustible, el equipaje y los vehículos de mantenimiento.
• Seguridad pública. Las organizaciones de seguridad pública pueden utilizar este patrón para rastrear y archivar las ubicaciones del personal, identificar vehículos y trazar sus ubicaciones mediante matrículas, detectar disparos utilizando datos de ShotSpotter y API similares, además de monitorizar posibles amenazas para la seguridad. Las organizaciones de seguridad pública también pueden utilizar este patrón para la detección de incidentes y la monitorización de infraestructuras críticas.
• Gobierno local. Las ciudades inteligentes están interesadas en utilizar los datos de sensores, vehículos, contadores y otros dispositivos conectados para realizar un recorrido por los activos de obras públicas, monitorizar las actividades policiales y tomar decisiones basadas en datos. Con este patrón, pueden hacer un recorrido de los feeds por toda la ciudad o el condado, enviar personal allí donde sea necesario y automatizar el comportamiento de los sistemas y los activos de servidumbres de paso.
• Gobierno nacional. Al igual que los gobiernos locales, los organismos gubernamentales nacionales pueden utilizar este patrón para monitorizar y administrar infraestructuras, activos, personal e instalaciones. También pueden sintetizar feeds de datos relacionados con la agricultura, la meteorología, las ubicaciones de buques, las catástrofes, la actividad sísmica, la calidad del aire y otros fenómenos, para aplicar, a continuación, esos datos en la investigación, las previsiones y las decisiones.