Système de diffusion en continu et d’analyse de données

Un système de diffusion en continu et d’analyse de données en temps réel permet aux organisations d’ingérer, de visualiser et d’analyser des données à partir de flux en temps réel, issus de capteurs, d’actifs et d’autres sources de données dynamiques. Les données peuvent être utilisées pour la cartographie en temps réel, stockées sous forme de Spatiotemporal Big Data pour une analyse plus approfondie, et exploitées pour déclencher des actions et des alertes basées sur des événements. Ce modèle se connecte à des flux de données en direct et à d’autres sources de données à émission rapide telles que l’Internet des objets (IoT). Les flux et autres sources de données en continu peuvent être en mouvement ou stationnaires, analysés en temps réel et distribués à des systèmes et des applications sortants.

Un modèle de système de diffusion en continu et d’analyse de données en temps réel crée de la valeur pour une organisation grâce à diverses caractéristiques, telles que les suivantes :

• Intégration et connexion à des sources de données en temps réel telles que la localisation des véhicules, les capteurs, le personnel et d’autres sources (y compris les services conçus pour le cloud et les files d’attente) pour une meilleure prise de décision, en temps réel et basée sur des données géographiques.
• Exécution d’analyses en temps réel sur des données à grande vitesse, mise en œuvre d’actions automatisées, notifications push en temps réel et envoi d’alertes lorsque certains modèles sont détectés.
• Stockage d’observations selon diverses fréquences, d’intermittentes à très fréquentes, pour des visualisations et des analyses futures.

Si vous débutez avec les modèles de système ArcGIS, consultez d’abord l’introduction.

Personas d’utilisateurs et processus

Les personas d’utilisateurs qui interagissent le plus souvent avec les systèmes de diffusion en continu et d’analyse de données en temps réel, ainsi que les types de processus et de tâches qu’ils effectuent généralement à l’aide de ce système, sont les suivants :

• Analyste, spécialiste et ingénieur de données. Les analystes, spécialistes et ingénieurs de données utilisent ce système, notamment des flux de données en temps réel et des données en temps réel historiques stockées, pour concevoir, développer et exécuter des procédures d’analyse. Lorsqu’ils travaillent avec des flux de données en temps réel, ces personas conçoivent souvent des modèles analytiques qui sont publiés dans le système de diffusion en continu et d’analyse de données en temps réel, ce qui donne lieu à de nouvelles sorties dérivées qui peuvent inclure de nouveaux flux ou des alertes déclenchées. Lorsqu’ils travaillent avec des données en temps réel historiques au repos, ces personas interagissent avec ce système comme avec un système d’analyse de Big Data.
• Analystes SIG. Les analystes SIG travaillent avec ce système, souvent aux côtés d’analystes, de spécialistes et d’ingénieurs de données. Les analystes SIG travaillent directement sur le système, en configurant des flux, en exécutant des processus d’analyse, etc., mais ils peuvent également jouer un rôle de soutien auprès des analystes, spécialistes et ingénieurs de données, pour s’assurer de la bonne compréhension des concepts spatiaux importants et de l’application des pratiques recommandées en matière d’utilisation des données géospatiales, des méthodes et outils d’analyse.
• Propriétaires de données. Les propriétaires de données sont responsables des flux et des jeux de données utilisés dans les systèmes de diffusion en continu et d’analyse de données en temps réel. Les propriétaires des données de flux peuvent être consultés à mesure que les flux sont intégrés au système. Lorsqu’ils stockent des données en temps réel historiques, les propriétaires de données sont généralement impliqués dans la conception et la supervision de la gestion des données, y compris la modélisation, le contrôle de la qualité et la gouvernance des données.
• Intendants de données. Les intendants de données sont généralement responsables de la gestion quotidienne des flux et des jeux de données utilisés dans les systèmes de diffusion en continu et d’analyse de données en temps réel. Les processus et les activités courants peuvent inclure le chargement et l’importation de données, l’audit des mises à jour de données, ainsi que l’organisation et la gouvernance des processus de gestion des données.

Pour tirer le meilleur parti d’un système de diffusion en continu et d’analyse de données en temps réel, envisagez de faire appel à des analystes SIG en plus des analystes, spécialistes et ingénieurs de données, ou à des personnes possédant les compétences de ces deux personas.

Applications

Les systèmes de diffusion en continu et d’analyse de données en temps réel fournissent des API et des outils, ainsi que des interfaces de conception, de modélisation et de gestion familières aux analystes, spécialistes et ingénieurs de données. Ces interfaces diffèrent entre les modèles de déploiement, mais les deux modèles de déploiement incluent une interface Web permettant aux personas d’utilisateurs ci-dessus de gérer les flux de données en temps réel, ainsi que de concevoir, publier et exécuter des analyses de données en temps réel.

ArcGIS fournit un large éventail d’applications, notamment des tableaux de bord, des générateurs d’applications Web, des applications mobiles natives et des applications de bureau qui peuvent fonctionner avec des flux et des données en temps réel émis par un système de diffusion en continu et d’analyse de données en temps réel. Ces applications sont généralement fournies en combinaison (ou au moyen d’une intégration) avec un système de cartographie, d’analyse et de partage en libre-service ou d’autres modèles de système ArcGIS. En savoir plus sur l’utilisation, l’intégration et la composition de modèles de système.

Ce système comprend également un site Web portail, qui sert d’interface Web générale avec les systèmes ArcGIS. Dans les systèmes de diffusion en continu et d’analyse de données en temps réel, le site Web portail est utilisé pour gérer les utilisateurs et le contenu, ainsi que pour administrer les composants du système. ArcGIS Pro, l’application de bureau conçue pour les professionnels des SIG, est également couramment utilisée pour des tâches d’analyse spatiale et SIG plus avancées.

Les applications personnalisées créées avec les SDK ArcGIS Maps, qui incluent des expériences immersives (XR), sont également couramment utilisées avec les systèmes de diffusion en continu et d’analyse de données en temps réel.

Pour plus d’informations sur l’éventail d’applications fournies par ArcGIS, reportez-vous à la rubrique Architecture des applications dans la vue d’ensemble d’ArcGIS.

Fonctionnalités

Les principales fonctionnalités fournies par un système de diffusion en continu et d’analyse de données en temps réel sont présentées ci-dessous. Les fonctionnalités utilisées dans les processus de diffusion en continu et d’analyse de données en temps réel, mais généralement fournies par d’autres systèmes, telles que les fonds de carte et d’autres services de localisation fournis par un système de services de localisation, ne sont pas répertoriées ci-dessous. En savoir plus sur les modèles de système associés.

• L’ingestion de flux connecte le système à des sources externes de données d’observation, telles que l’Internet des objets (IoT), des agents de messages et des API tierces. Ces sources externes sont appelées flux et peuvent être configurées en tant qu’entrée dans le système de diffusion en continu et d’analyse en temps réel. Les types de flux pris en charge diffèrent selon les modèles de déploiement.
• L’ingestion de données permet de charger des données dans le système pour l’analyse et le traitement par lots. Ce modèle de système ne prend pas en charge l’exécution d’analyses de Big Data directement dans les emplacements de sources de données externes à ArcGIS. Les analyses et traitements par lots des données stockées effectués dans le système de diffusion en continu et d’analyse de données en temps réel sont effectués au sein du système. En savoir plus sur les systèmes d’analyse de Big Data.
• Les jointures et relations spatiales permettent de combiner les lignes de deux flux ou jeux de données en fonction d’une relation spatiale. Diverses relations spatiales, notamment l’intersection, l’effacement, l’union, l’identité et la différence symétrique, peuvent être appliquées, bien que les fonctionnalités varient en fonction du modèle de déploiement sélectionné.
• L’analyse de modèles identifie les modèles spatiaux et temporels dans les données. Elle fait appel à des outils tels que la recherche de points chauds, la recherche des localisations similaires et diverses méthodes d’analyse basées sur la régression pour modéliser les tendances et générer des prévisions. L’analyse de modèles est généralement appliquée à des Big Data, et non à des flux en temps réel.
• L’analyse de proximité examine la proximité de données spatiales par rapport à d’autres données spatiales. Elle fait appel à des outils tels que Créer des zones tampons et Calculer la distance.
• L’analyse de synthèse agrège ou synthétise les données dans des structures de données d’ordre supérieur. Elle fait appel à des outils tels que Agréger les points, Calculer la densité et Synthétiser - À l’intérieur. L’analyse de synthèse est généralement appliquée à des données stockées, et non à des flux en temps réel.
• L’analyse de traces fonctionne avec des observations temporelles corrélées à des entités distinctes, généralement des objets en mouvement. Elle fait appel à des outils tels que Reconstruire les traces et Capturer sur le réseau, ainsi qu’à des outils permettant d’analyser les trajets et les localisations d’arrêt.
• Le geofencing est une forme d’analyse spatiale en temps réel, où les entités (souvent, des points de suivi) sont évaluées en fonction de zones d’intérêt (souvent, des zones surfaciques). Plus généralement, les observations reposant sur des points sont analysées afin de déterminer l’entrée dans un périmètre virtuel ou la sortie d’un périmètre virtuel.
• La gestion des données prend en charge l’exploitation des géométries et d’autres aspects des flux en temps réel et des Big Data. Elle fait appel à des outils tels que Calculer un champ, Projeter et Apparier les champs.
• Les connecteurs d’entrée personnalisés permettent de développer de nouveaux connecteurs d’entrée à l’aide de code. Les options de connecteurs d’entrée personnalisés diffèrent considérablement entre les modèles de déploiement. Pour plus d’informations, consultez la section Sélection d’un modèle de déploiement.
• Les outils d’analyse personnalisés permettent de développer de nouveaux outils d’analyse à l’aide de code. Les options des outils d’analyse personnalisés diffèrent considérablement entre les modèles de déploiement. Pour plus d’informations, consultez la section Sélection d’un modèle de déploiement.
• Les connecteurs de sortie personnalisés permettent de développer de nouveaux connecteurs de sortie à l’aide de code. Les options de connecteurs de sortie personnalisés diffèrent considérablement entre les modèles de déploiement. Pour plus d’informations, consultez la section Sélection d’un modèle de déploiement.
• La cartographie et la visualisation des données en temps réel et des résultats d’analyse représentent un moyen efficace pour fournir un contexte et aider à découvrir des modèles, des tendances et des relations dans les données. La visualisation et la cartographie sont semblables à la création de diagrammes et au traçage avec des données non spatiales ; elles permettent aux analystes de vérifier leur analyse, d’effectuer des itérations et de créer des résultats partageables et attrayants.
• La publication et l’hébergement de données permettent le stockage, la gestion et l’accès sécurisés aux données en tant que service pour les données ingérées dans le système ou conservées à partir de flux en temps réel. Les données hébergées dans le système sont généralement mises à disposition sous forme de services d’entités ou de couches d’entités.
• La publication et l’hébergement de flux permettent de publier et d’héberger de nouveaux flux dans le système. Les flux hébergés par le système sont généralement mis à disposition sous forme de services de flux ou de couches de flux.
• L’envoi ou le stockage de messages est une sortie d’analyse en temps réel qui envoie ou stocke des données de flux traitées (messages) à des systèmes externes, notamment des agents de messages, des magasins d’objets et d’autres systèmes de messagerie tels que les e-mails et les SMS. Les types de sortie pris en charge pour l’envoi et le stockage des messages diffèrent selon les modèles de déploiement.
• Le partage des résultats d’analyse est pris en charge par ArcGIS, mais il est considéré comme hors du champ d’application du système de diffusion en continu et d’analyse de données en temps réel. Pour plus d’informations, consultez la section Modèles de système associés.

Considérations relatives à l’architecture

Les systèmes de diffusion en continu et d’analyse de données en temps réel sont créés à l’aide d’ArcGIS. Cette section décrit plus en détail certains aspects de l’architecture ArcGIS et la façon dont les systèmes d’analyse de diffusion en continu et d’analyse de données en temps réel s’y conforment.

Pour plus d’informations sur l’architecture, consultez la section Sélection d’un modèle de déploiement.

Données (persistance)

Les systèmes de diffusion en continu et d’analyse de données en temps réel fonctionnent avec des flux en temps réel ainsi qu’avec des sources de Big Data.

Les flux en temps réel émettent rapidement des sources externes de données d’observation, telles que l’Internet des objets (IoT), des agents de messages et des API tierces. Les flux en temps réel peuvent être ingérés dans le système de diffusion en continu et d’analyse de données en temps réel, ce qui permet de traiter, d’analyser et de produire des données d’observation en temps réel. Les types de sortie peuvent être des magasins d’objets ainsi que des flux et d’autres agents et systèmes de messages. Les types de flux et de sortie pris en charge diffèrent selon les modèles de déploiement.

Le système de diffusion en continu et d’analyse de données en temps réel comprend un Big Data Store NoSQL géré basé sur des documents permettant de gérer les Big Data persistantes à partir de flux en temps réel. En savoir plus sur les Data Stores gérés par ArcGIS.

Services (logique)

Les systèmes de diffusion en continu et d’analyse de données en temps réel fournissent les services d’analyse en temps réel pour ArcGIS et, dans le modèle de déploiement SaaS, les services d’analyse de Big Data.

Le système de diffusion en continu et d’analyse de données en temps réel peut également être utilisé pour l’interrogation, l’accès, le référencement spatial, l’enrichissement et la gestion des Big Data stockées dans le système. L’utilisation de ce système pour les processus d’extraction, de transformation et de chargement (ETL) est également courante. Le système de diffusion en continu et d’analyse de données en temps réel utilise la cartographie interactive avec des fonds de carte et des couches de référence pour visualiser les résultats de l’analyse. Le partage des résultats d’analyse et d’autres contenus par le biais de services de portail est courant, mais généralement réalisé par le biais d’un autre système ArcGIS. Pour plus d’informations, consultez la section Modèles de système associés.

Applications (présentation)

Les principales sorties du système de diffusion en continu et d’analyse de données en temps réel sont des messages, des flux et d’autres services consommés par d’autres systèmes et applications en dehors du champ d’application de ce modèle de système. En général, ce système présente uniquement des interfaces de niveau inférieur que les analystes, spécialistes et ingénieurs de données connaissent. Ces interfaces utilisateur, ou applications, varient en fonction du modèle de déploiement sélectionné. Pour plus d’informations, reportez-vous à la section Applications.

Support

Les systèmes de diffusion en continu et d’analyse de données en temps réel présentent des besoins différents en termes de soutien.

Lorsqu’ils sont utilisés principalement pour la diffusion en continu de données en temps réel, souvent associée à l’analyse en temps réel, les flux et les messages générés par le système sont fréquemment utilisés dans des processus critiques pour l’entreprise. Dans cette optique, les systèmes doivent être conçus et exploités avec des niveaux élevés de fiabilité, de sécurité, d’observabilité, de performances et d’évolutivité. Des pratiques et des normes de gouvernance strictes peuvent également contribuer à garantir que le système de diffusion en continu et d’analyse de données en temps réel puisse se développer et évoluer en fonction des besoins de l’entreprise tout en respectant les exigences informatiques non fonctionnelles.

Lorsqu’il est utilisé principalement pour l’analyse et le traitement par lots de données historiques et d’observation, ce système peut présenter des exigences techniques moins rigoureuses dans certains domaines, tels que la fiabilité. Dans ce type de situation, l’évolutivité, les performances et la sécurité du Big Data Store géré par le système doivent faire l’objet d’une attention particulière.

L’intégration avec d’autres systèmes peut prendre la forme d’un flux en temps réel et d’une ingestion de Big Data dans le système de diffusion en continu et d’analyse de données en temps réel. Les sorties des systèmes de diffusion en continu et d’analyse de données en temps réel sont fréquemment intégrées à d’autres systèmes d’entreprise. Elles peuvent donc également prendre en charge des opérations commerciales que les administrateurs système ne connaissent pas ou auxquelles ils n’ont pas accès. Cela nécessite généralement l’utilisation de métadonnées, de fonctions de surveillance et de contrats de niveau de service.

Pour plus d’informations sur le support général et l’architecture, consultez les pratiques en matière d’architecture ainsi que les piliers de l’architecture de l’ArcGIS Well-Architected Framework.

Modèles de système associés

Les systèmes de diffusion en continu et d’analyse de données en temps réel peuvent être intégrés ou combinés à d’autres modèles de système ArcGIS. Voici quelques exemples courants :

• Partage des flux en temps réel et des résultats d’analyse de Big Data avec une large base d’utilisateurs pour les processus de cartographie, d’analyse et de partage en libre-service ou les applications d’entreprise via le modèle de système d’hébergement et de gestion d’applications d’entreprise.
• Élargissement du champ d’application de l’analyse de Big Data à l’aide du modèle de système d’analyse de Big Data ou de l’analyse et du traitement de l’imagerie à l’aide du modèle de système de gestion des données d’imagerie et d’analyse.
• Exécution d’analyses sur les localisations en temps réel des personnes et des actifs partagés via le système de gestion d’opérations mobiles et de données hors connexion.

Pour plus d’informations sur l’intégration ou la composition de modèles de système, consultez la section Utilisation des modèles de système.

Exemples

Voici des exemples de systèmes propres à certains secteurs d’activité pour ce modèle de système :

• Ressources naturelles. Les sociétés pétrolières et pipelinières peuvent utiliser ce modèle pour intégrer des données à grande vitesse provenant de systèmes SCADA dans une vue en temps réel de leurs actifs. Elles peuvent également tirer parti de ce modèle pour assurer le suivi des véhicules, analyser les activités mobiles, surveiller la météo et l’environnement, et déclencher automatiquement des ordres de travail en fonction des résultats d’inspection.
• Exploitation de réseaux. Les services d’électricité peuvent utiliser ce modèle pour surveiller les dangers tels que la foudre, les inondations et les incendies de forêt et déterminer s’ils menacent les infrastructures. Les services de gaz peuvent utiliser ce modèle pour surveiller les relevés de compteurs intelligents, assurer le suivi des véhicules et de l’équipement, et analyser les activités et la sécurité des équipes mobiles. Les fournisseurs de télécommunications peuvent surveiller les performances des antennes et examiner les modèles d’appels interrompus pour mettre en évidence les parties du réseau où des améliorations peuvent être nécessaire.
• Eau et eaux usées. Ce modèle permet aux services d’eau de visualiser et d’analyser les données diffusées en continu par les compteurs d’eau intelligents et des systèmes SCADA. Grâce à ces données, ils peuvent surveiller le débit en temps réel, détecter les fuites et identifier leur emplacement, et analyser les tendances de consommation pour identifier les pertes d’eau.
• Transport. Les organisations de transport peuvent utiliser ce modèle pour surveiller et analyser la localisation automatique des véhicules (AVL) et les données des actifs de transport en commun afin d’effectuer le suivi de l’activité dans la zone de travail et des déviations d’itinéraire pour les véhicules de service. Elles peuvent également assurer le suivi des actifs et des équipements, détecter les anomalies de circulation et communiquer les conditions météorologiques et la disponibilité des places de stationnement. Enfin, elles peuvent utiliser les flux du système d’identification automatique (AIS) et d’autres données de télémétrie des navires et des avions pour surveiller la conformité et optimiser la planification des ports et des aéroports. Les aéroports peuvent analyser les déplacements des passagers dans les files d’attente et les terminaux, et surveiller l’emplacement des avions au sol pour mieux coordonner les activités liées au carburant, aux bagages et à la maintenance.
• Sécurité publique. Les organisations de sécurité publique peuvent utiliser ce modèle pour suivre et archiver la localisation du personnel, identifier les véhicules et tracer leur localisation à l’aide de plaques d’immatriculation, détecter les coups de feu à l’aide des données de ShotSpotter et d’API similaires, et surveiller les menaces potentielles pour la sécurité. Les organisations de sécurité publique peuvent également faire appel à ce modèle pour la détection des incidents et la surveillance des infrastructures critiques.
• Administration locale. Les villes intelligentes peuvent utiliser les données des capteurs, des véhicules, des compteurs et d’autres appareils connectés pour suivre les actifs de travaux publics, surveiller les activités des services de police et prendre des décisions fondées sur des données. Grâce à ce modèle, elles peuvent suivre les flux à travers la ville ou le comté, envoyer du personnel là où cela est nécessaire et automatiser le comportement des systèmes et des actifs de droit de passage.
• Administration nationale. Comme les administrations locales, les agences gouvernementales nationales peuvent utiliser ce modèle pour surveiller et gérer les infrastructures, les actifs, le personnel et les installations. Elles peuvent également synthétiser les flux de données liés à l’agriculture, à la météo, à l’emplacement des navires, aux catastrophes, à l’activité sismique, à la qualité de l’air et à d’autres phénomènes, puis appliquer ces données à la recherche, aux prévisions et aux décisions.