Echtzeit-Datenstreaming- und -Analysesystem

Ein Echtzeit-Datenstreaming- und -Analysesystem ermöglicht es Organisationen, Daten aus Echtzeit-Feeds wie Sensoren, Assets und anderen dynamischen Datenquellen, zu erfassen, zu visualisieren und zu analysieren. Daten können für die Kartenerstellung in Echtzeit verwendet, als spatiotemporale Big Data für weitere Analysen gespeichert und genutzt werden, um Aktionen und Warnungen basierend auf auftretenden Ereignissen auszulösen. Dieses Muster stellt eine Verbindung mit Live-Daten-Feeds und anderen schnell emittierenden Datenquellen her, z. B. dem Internet der Dinge (Internet of Things, IoT). Feeds und andere Streaming-Datenquellen können beweglich oder stationär sein, in Echtzeit analysiert und an ausgehende Systeme und Anwendungen weitergegeben werden.

Ein Muster für ein Echtzeit-Datenstreaming- und -Analysesystem bietet Organisationen einen Mehrwert durch verschiedene Eigenschaften, z. B.:

• Integration und Verbindung mit Echtzeit-Datenquellen wie Fahrzeugstandorten, Sensoren, Personal und anderen Quellen (einschließlich cloudnativer Dienste und Warteschlangen) für eine verbesserte geographisch informierte Entscheidungsfindung in Echtzeit.
• Durchführung von Echtzeitanalysen von Hochgeschwindigkeitsdaten, Steuerung automatisierter Aktionen sowie Push-Benachrichtigungen in Echtzeit und Warnungen, wenn interessante Muster erkannt werden.
• Speicherung von Beobachtungen jeder Häufigkeit, von intermittierend bis hochfrequent, für zukünftige Visualisierungen und Analysen.

Wenn Sie noch nicht mit ArcGIS-Systemmustern vertraut sind, lesen Sie zuerst die Einführung.

Benutzerrollen und Workflows

Die Interaktion mit Echtzeit-Datenstreaming- und -Analysesystemen erfolgt am häufigsten durch die nachfolgend genannten Benutzerrollen. Bei der Verwendung das Systems kommen normalerweise die folgenden Workflow- und Task-Typen zum Einsatz:

• Data Analyst, Scientist und Engineer. Datenanalytiker, Wissenschaftler und Ingenieure arbeiten mit diesem System, das sowohl Echtzeit-Datenfeeds als auch historische, gespeicherte Echtzeitdaten umfasst, um Analyseroutinen zu entwerfen, zu entwickeln und durchzuführen. Bei der Arbeit mit Echtzeit-Datenfeeds entwerfen diese Benutzerrollen häufig Analysemodelle, die im Echtzeit-Datenstreaming- und -Analysesystem veröffentlicht werden, was zu neuen, abgeleiteten Ausgaben führt, die neue Feeds oder ausgelöste Warnungen enthalten können. Bei der Arbeit mit historischen Echtzeitdaten im Ruhezustand interagieren diese Benutzerrollen mit diesem System ähnlich wie mit einem Big-Data-Analysesystem.
• GIS-Analysten. GIS-Analysten arbeiten mit diesem System, und zwar häufig zusammen mit Datenanalytikern, Wissenschaftlern und Ingenieuren. GIS-Analysten arbeiten häufig praktisch mit dem System, richten Feeds ein, führen Analyse-Workflows durch und vieles mehr. Sie können aber auch eine unterstützende Rolle für die oben genannten Benutzerrollen der Datenanalytiker, Wissenschaftler und Ingenieure spielen, um sicherzustellen, dass wichtige räumliche Konzepte verstanden und Empfehlungen für die Arbeit mit räumlichen Daten sowie Analysemethoden und -werkzeugen angewendet werden.
• Datenbesitzer. Datenbesitzer sind für die Feeds und Datasets verantwortlich, die in Echtzeit-Datenstreaming- und -Analysesystemen verwendet werden. Die Besitzer der Feed-Daten können konsultiert werden, wenn die Feeds in das System integriert werden. Beim Speichern historischer Echtzeitdaten sind Datenbesitzer in der Regel an den Design- und Aufsichtsaspekten des Datenmanagements beteiligt, einschließlich Datenmodellierung, Qualitätskontrolle und Governance.
• Datenverwalter. Datenverwalter sind in der Regel für die tägliche Verwaltung von Feeds und Datasets verantwortlich, die in Echtzeit-Datenstreaming- und -Analysesystemen verwendet werden. Zu den gängigen Workflows und Aktivitäten gehören das Laden und Importieren von Daten, das Überprüfen von Datenaktualisierungen sowie das Strukturieren und Steuern von Datenverwaltungs-Workflows.

Um den größtmöglichen Nutzen aus einem Echtzeit-Datenstreaming- und -Analysesystem zu ziehen, sollten Sie GIS-Analysten zusätzlich zu Datenanalytikern, Wissenschaftlern und Ingenieuren oder Personen mit Fähigkeiten aus beiden Benutzerrollen einbeziehen.

Anwendungen

Echtzeit-Datenstreaming- und -Analysesysteme stellen APIs und Tools sowie Design-, Modellierungs- und Verwaltungsschnittstellen bereit, die Datenanalytikern, Wissenschaftlern und Ingenieuren vertraut sind. Diese Schnittstellen unterscheiden sich je nach Bereitstellungsmustern, aber beide Bereitstellungsmodelle enthalten eine Webschnittstelle für die oben beschriebenen Benutzerrollen zum Verwalten von Echtzeit-Datenfeeds sowie zum Entwerfen, Veröffentlichen und Durchführen von Echtzeit-Datenanalysen.

ArcGIS bietet eine breite Palette von Anwendungen, darunter Dashboards, Web-App-Builder, native mobile Anwendungen und Desktop-Anwendungen, die mit Echtzeit-Feeds und -daten arbeiten können, die von einem Echtzeit-Datenstreaming- und -Analysesystem ausgegeben werden. Diese Anwendungen werden in der Regel in Kombination mit einem Self-Service-Kartenerstellungs-, Analyse- und Freigabesystem oder anderen ArcGIS-Systemmustern (oder durch Integration) bereitgestellt. Weitere Informationen zum Verwenden, Integrieren und Zusammenstellen von Systemmustern.

Dieses System umfasst auch eine Portal-Website, die als allgemeine Webschnittstelle zu ArcGIS-Systemen dient. In Echtzeit-Datenstreaming- und -Analysesystemen wird die Portal-Website zur Verwaltung von Benutzern und Inhalten sowie zur Verwaltung von Systemkomponenten verwendet. ArcGIS Pro, die Desktop-Anwendung für GIS-Experten, wird auch häufig für komplexere räumliche und GIS-Analysen verwendet.

Benutzerdefinierte Anwendungen, die mit ArcGIS Maps SDKs erstellt wurden und immersive Erlebnisse (XR) enthalten, werden auch oft mit Echtzeit-Datenstreaming- und -Analysesystemen eingesetzt.

Weitere Informationen zum gesamten Spektrum der von ArcGIS bereitgestellten Anwendungen finden Sie unter Architektur der Anwendungen in der ArcGIS-Übersicht.

Funktionen

Im Folgenden werden die wichtigsten Funktionen eines Echtzeit-Datenstreaming- und -Analysesystems vorgestellt. Funktionen, die in Echtzeit-Datenstreaming- und -Analyse-Workflows verwendet, aber in der Regel von anderen Systemen bereitgestellt werden, wie z. B. Grundkarten, Geokodierung und andere Positionsservices, die von einem Location-Services-System bereitgestellt werden, sind unten nicht aufgeführt. Weitere Informationen über zugehörige Systemmuster.

• Die Feed-Erfassung verbindet das System mit externen Quellen von Echtzeit- und Beobachtungsdaten, z. B. IoT (Internet of Things, Internet der Dinge), Message Broker und Drittanbieter-APIs. Diese externen Quellen werden als Feeds bezeichnet und können als Eingabe für das Echtzeit-Streaming- und -Analysesystem konfiguriert werden. Die unterstützten Feedtypen unterscheiden sich je nach Bereitstellungsmuster.
• Die Datenaufnahme ermöglicht das Laden von Daten in das System zur Batch-Analyse und -Verarbeitung. Dieses Systemmuster unterstützt nicht die direkte Durchführung von Big-Data-Analysen an Datenquellenspeicherorten außerhalb von ArcGIS. Die gesamte Batch-Analyse und -Verarbeitung gespeicherter Daten, die im Echtzeit-Datenstreaming- und -Analysesystem durchgeführt wird, erfolgt innerhalb des Systems. Weitere Informationen zu Big-Data-Analysesystemen
• Räumliche Verbindungen und Beziehungen ermöglichen die Kombination von Zeilen aus zwei Feeds oder Datasets auf der Grundlage einer räumlichen Beziehung. Eine Vielzahl von räumlichen Beziehungen, einschließlich Überschneiden, Löschen, Vereinigung, Identität und symmetrische Differenz, können angewendet werden, obwohl die Funktionen je nach ausgewähltem Bereitstellungsmuster variieren.
• Bei der Musteranalyse werden räumliche und zeitliche Muster in Daten identifiziert. Dazu gehören Werkzeuge wie “Hot-Spots suchen”, “Ähnliche Positionen suchen” und verschiedene regressionsbasierte Analysemethoden zur Modellierung von Trends und zum Generieren von Vorhersagen. Die Musteranalyse wird in der Regel für Big-Data- und nicht für Echtzeit-Feeds durchgeführt.
• Bei der Nachbarschaftsanalyse wird die Nähe von Geodaten zu anderen Geodaten untersucht. Dazu gehören Werkzeuge wie das Erstellen von Puffern und das Berechnen der Entfernung.
• Bei der Zusammenfassungsanalyse werden Daten in Datenstrukturen höherer Ordnung aggregiert oder zusammengefasst. Dazu gehören Werkzeuge wie “Punkte aggregieren”, “Dichte berechnen” und “Zusammenfassen (innerhalb)”. Die Zusammenfassungsanalyse wird in der Regel für gespeicherte Daten und nicht für Echtzeit-Feeds durchgeführt.
• Die Track-Analyse funktioniert mit Beobachtungen mit aktivierten Zeiteigenschaften, die mit unterschiedlichen Entitäten korreliert sind, in der Regel bewegten Objekten. Dazu gehören Werkzeuge wie “Tracks rekonstruieren”, “An Netzwerk fangen” sowie Werkzeuge zum Analysieren von Reisen und Verweilorten.
• Geofencing ist eine Form der räumlichen Echtzeit-Analyse, in der Features (häufig Track-Punkte) mithilfe von Interessenbereichen (häufig Polygonflächen) analysiert werden. Gewöhnlich werden punktbasierte Beobachtungen analysiert, um zu bestimmen, ob sie einen virtuellen Umkreis betreten oder verlassen haben.
• Das Datenmanagement unterstützt die Bearbeitung von Geometrien und anderen Feldern in Echtzeit-Feeds und Big Data. Dazu gehören Werkzeuge wie “Feld berechnen”, “projizieren” und “Felder zuordnen”.
• Benutzerdefinierte Eingabe-Konnektoren ermöglichen die Entwicklung neuer Eingabe-Konnektoren mithilfe von Code. Die Optionen für benutzerdefinierte Eingabe-Konnektoren unterscheiden sich je nach Bereitstellungsmuster erheblich. Weitere Informationen finden Sie unter Auswählen eines Bereitstellungsmusters.
• Benutzerdefinierte Analysewerkzeuge ermöglichen die Entwicklung neuer Analysewerkzeuge mithilfe von Code. Die Optionen für benutzerdefinierte Analysewerkzeuge unterscheiden sich je nach Bereitstellungsmuster erheblich. Weitere Informationen finden Sie unter Auswählen eines Bereitstellungsmusters.
• Benutzerdefinierte Ausgabe-Konnektoren ermöglichen die Entwicklung neuer Ausgabe-Konnektoren mithilfe von Code. Die Optionen für benutzerdefinierte Ausgabe-Konnektoren unterscheiden sich je nach Bereitstellungsmuster erheblich. Weitere Informationen finden Sie unter Auswählen eines Bereitstellungsmusters.
• Die Kartenerstellung und Visualisierung von Echtzeitdaten und Analyseergebnissen ist ein leistungsstarker Schritt, um Kontext bereitzustellen und Muster, Trends und Beziehungen in Daten aufzudecken. Die Visualisierung und Kartenerstellung erfolgen analog zur Darstellung von nicht räumlichen Daten und ermöglichen Analysten das Überprüfen ihrer Analysen, die Iteration und das Erstellen von gemeinsam nutzbaren und ansprechenden Ergebnissen.
• Die Datenveröffentlichung und das Hosting ermöglichen das sichere Speichern, Verwalten und den Zugriff auf Daten als Service für Daten, die in das System aufgenommen oder aus Echtzeit-Feeds beibehalten werden. Im System gehostete Daten werden in der Regel als Feature-Services oder Feature-Layer zur Verfügung gestellt.
• Die Veröffentlichung und das Hosting von Feeds ermöglicht die Veröffentlichung und das Hosting neuer Feeds, die im System veröffentlicht und gehostet werden. Vom System gehostete Feeds werden in der Regel als Stream-Services oder Stream-Layer zur Verfügung gestellt.
• Das Senden oder Speichern von Nachrichten ist eine Ausgabe von Echtzeit-Analysen, die verarbeitete Feed-Daten (Nachrichten) an externe Systeme sendet oder speichert. Zu den externen Systemen zählen Message Broker, Objektspeicher und andere Messaging-Systeme wie E-Mail und SMS. Die unterstützten Ausgabetypen zum Senden und Speichern von Nachrichten unterscheiden sich je nach Bereitstellungsmustern.
• Die Freigabe von Analyseergebnissen wird zwar von ArcGIS unterstützt, aber nicht zum Bereich des Echtzeit-Datenstreaming- und -Analysesystems gezählt. Weitere Informationen finden Sie unter Zugehörige Systemmuster.

Überlegungen zur Architektur

Echtzeit-Datenstreaming- und -Analysesysteme werden mit ArcGIS erstellt. In diesem Abschnitt wird näher beschrieben, wie Echtzeit-Datenstreaming- und -Analysesysteme auf bestimmte Aspekte der ArcGIS-Architektur mit welchen Schwerpunkten abgestimmt sind.

Ausführlichere Überlegungen zur Architektur finden Sie unter Auswählen eines Bereitstellungsmusters.

Daten (Persistenz)

Echtzeit-Datenstreaming- und -Analysesysteme arbeiten sowohl mit Echtzeit-Feeds als auch mit Big-Data-Quellen.

Echtzeit-Feeds sind schnell emittierende Quellen für Echtzeit-Beobachtungsdaten, z. B. das Internet der Dinge (Internet of Things, IoT), Message Broker und APIs von Drittanbietern. Echtzeit-Feeds können in das Echtzeit-Datenstreaming- und -Analysesystem aufgenommen werden, sodass Echtzeit-Beobachtungsdaten verarbeitet, analysiert und vom System ausgegeben werden können. Zu den Ausgabetypen gehören Objektspeicher sowie Feeds und andere Message Broker und Messaging-Systeme. Die unterstützten Feed- und Ausgabetypen unterscheiden sich je nach Bereitstellungsmuster.

Das Echtzeit-Datenstreaming- und -Analysesystem umfasst einen verwalteten dokumentenbasierten NoSQL-Big-Data-Store für die Verwaltung von Big Data, die aus Echtzeit-Feeds beibehalten werden. Weitere Informationen zu von ArcGIS verwalteten Data Stores.

Services (Logik)

Echtzeit-Datenstreaming- und -Analysesysteme stellen die Echtzeitanalyse-Services für ArcGIS und – speziell im SaaS-Bereitstellungsmuster – Big-Data-Analyse-Services bereit.

Das Echtzeit-Datenstreaming- und -Analysesystem kann auch für die Abfrage, den Zugriff, die räumliche Referenzierung, die Anreicherung und die Verwaltung von Big Data verwendet werden, die im System gespeichert sind. Die Verwendung dieses Systems für ETL-Workflows (Extrahieren, Transformieren und Laden) ist ebenfalls üblich. Das Echtzeit-Datenstreaming- und -Analysesystem nutzt die interaktive Kartenerstellung mit Grundkarten und Referenz-Layern zur Visualisierung von Analyseergebnissen. Die Freigabe von Analyseergebnissen und anderen Inhalten über Portal-Services ist üblich, erfolgt jedoch in der Regel über ein anderes ArcGIS-System. Weitere Informationen finden Sie unter Zugehörige Systemmuster.

Anwendungen (Präsentation)

Die primären Ausgaben des Echtzeit-Datenstreaming- und -Analysesystems sind Nachrichten, Feeds und andere Services, die von anderen Systemen und Anwendungen außerhalb des Bereichs dieses Systemmusters genutzt werden. Dieses System stellt in der Regel nur Bedienoberflächen auf niedrigerer Ebene bereit, die Datenanalysten, Wissenschaftlern und Ingenieuren vertraut sind. Diese Bedienoberflächen oder Anwendungen variieren je nach ausgewähltem Bereitstellungsmuster. Weitere Informationen finden Sie unter Anwendungen.

Support

Echtzeit-Datenstreaming- und -Analysesysteme können in Bezug auf den Supportbedarf unterschiedlich sein.

Wenn sie hauptsächlich für Echtzeit-Daten-Streaming verwendet werden, häufig in Verbindung mit Echtzeitanalysen, ist es üblich, dass vom System ausgegebene Feeds und Nachrichten in geschäfts- oder unternehmenskritischen Workflows verwendet werden. In diesen Fällen sollten Systeme mit einem hohen Maß an Zuverlässigkeit, Sicherheit, Observability, Leistung und Skalierbarkeit entworfen und betrieben werden. Solide Governance-Empfehlungen und -Standards können auch dazu beitragen, dass das Echtzeit-Datenstreaming- und -Analysesystem entsprechend den Anforderungen des Unternehmens und unter Einhaltung der nicht-funktionalen IT-Anforderungen ausgebaut, erweitert und weiterentwickelt werden kann.

Wenn dieses System hauptsächlich für die Chargenanalyse und die Verarbeitung historischer Beobachtungsdaten verwendet wird, gelten möglicherweise weniger strenge technische Anforderungen in Bezug auf Bereiche wie Zuverlässigkeit. Bei diesen Anwendungsfällen können jedoch sowohl die Skalierbarkeit als auch die Leistung und Sicherheit für den vom System verwalteten Big Data Store von Bedeutung sein.

Die Integration mit anderen Systemen kann in Form von Echtzeit-Feeds und Big-Data-Erfassung in das Echtzeit-Datenstreaming- und -Analysesystem erfolgen. Die Ausgaben von Echtzeit-Datenstreaming- und -Analysesystemen werden in der Regel auch in andere Systeme im gesamten Unternehmen einer Organisation integriert und können daher auch Geschäftsvorgänge unterstützen, die Systemadministratoren unbekannt oder nicht verfügbar sind. Dies erfordert in der Regel die Verwendung von Metadaten, Überwachung und Service Level Agreements (SLAs).

Allgemeine Informationen zum Support und zur Architektur finden Sie unter Empfehlungen zur Architektur sowie unter Grundpfeiler der Architektur des ArcGIS Well-Architected Framework.

Zugehörige Systemmuster

Echtzeit-Datenstreaming- und -Analysesysteme können in andere ArcGIS-Systemmuster integriert oder mit diesen kombiniert werden. Einige gängige Beispiele sind folgende:

• Freigabe von Echtzeit-Feeds und Big-Data-Analyseergebnisse für eine breite Basis von Benutzern von Workflows für die selbstständige Kartenerstellung, Analyse und Freigabe oder von Unternehmensanwendungen nach dem Muster Hosting- und Managementsystem für Unternehmensanwendungen.
• Erweitern des Umfangs der Big-Data-Analyse mithilfe des Musters Big-Data-Analysesystem oder der Bilddatenanalyse und -verarbeitung mithilfe des Musters Bilddatenmanagement- und Analysesystem.
• Durchführung von Analysen der Echtzeit-Standorte von Personen und Anlagen, die über das mobile Betriebs- und Offline-Datenmanagementsystem freigegeben werden.

Weitere Informationen zum Integrieren oder Kombinieren von Systemmustern finden Sie unter Verwenden von Systemmustern.

Beispiele

Branchenspezifische Systembeispiele für dieses Systemmuster sind:

• Natürliche Ressourcen. Erdöl- und Pipeline-Unternehmen können dieses Muster nutzen, um Hochgeschwindigkeitsdaten von SCADA-Systemen in ein Echtzeitbild ihrer Assets zu integrieren. Sie könnten auch daran interessiert sein, dieses Muster zu verwenden, um Fahrzeuge zu verfolgen, mobile Aktivitäten zu analysieren, Wetter und Umwelt zu überwachen und automatisch Arbeitsaufträge auf der Grundlage von Inspektionsergebnissen auszulösen.
• Versorgungsunternehmen. Energieversorger können dieses Muster nutzen, um Gefahren wie Blitzeinschläge, Überschwemmungen und Waldbrände zu überwachen und zu beurteilen, ob sie die Infrastruktur bedrohen. Gasversorger können dieses Muster verwenden, um die Messwerte von intelligenten Zählern zu überwachen, Fahrzeuge und Ausrüstung zu verfolgen und die Aktivitäten und die Sicherheit mobiler Teams zu analysieren. Telekommunikationsanbieter sind in der Lage, die Antennenleistung zu überwachen und abgebrochene Telefonanrufe zu überprüfen, um Bereiche hervorzuheben, in denen Netzwerkverbesserungen erforderlich sein könnten.
• Wasser und Abwasser. Dieses Muster ermöglicht es Wasserversorgern, Streaming-Daten von intelligenten Wasserzählern und SCADA-Systemen zu visualisieren und zu analysieren. Mit diesen Daten können sie den Durchfluss in Echtzeit überwachen, Lecks erkennen und deren Standorte identifizieren sowie Verbrauchstrends analysieren, um Wasserverluste zu identifizieren.
• Verkehrswesen. Transportorganisationen können dieses Muster verwenden, um die automatische Ortung von Fahrzeugen (Automatic Vehicle Location, AVL) und Asset-Daten zum öffentlichen Verkehr zu überwachen und zu analysieren, um die Aktivität im Arbeitsbereich und Routenabweichungen für Servicefahrzeuge zu verfolgen. Zudem sind sie in der Lage, Anlagen und Geräte zu verfolgen, Verkehrsanomalien zu erkennen und Wetterbedingungen sowie die Verfügbarkeit von Parkplätzen zu kommunizieren. Darüber hinaus können sie AIS-Feeds (Automatic Identification System) und andere Telemetriedaten von Schiffen und Luftfahrzeugen nutzen, um die Einhaltung der Vorschriften zu überwachen und die Hafen- und Flughafenplanung zu optimieren. Flughäfen sind in der Lage, Passagierbewegungen in Warteschlangen und Terminals zu analysieren und die Positionen von Luftfahrzeugen am Boden zu überwachen, um Treibstoff, Gepäck und Wartungsfahrzeuge besser koordinieren zu können.
• Öffentliche Sicherheit. Organisationen für öffentliche Sicherheit können dieses Muster nutzen, um die Standorte von Mitarbeitern zu verfolgen und zu archivieren, Fahrzeuge zu identifizieren und ihre Positionen anhand von Nummernschildern zu verfolgen, Schüsse anhand von Daten aus ShotSpotter und ähnlichen APIs zu erkennen und potenzielle Sicherheitsbedrohungen zu überwachen. Sie sind darüber hinaus in der Lage, mit diesem Muster Vorfälle zu erkennen und kritische Infrastrukturen zu überwachen.
• Kommunale Behörden. Smarte Städte sind daran interessiert, Daten von vernetzten Sensoren, Fahrzeugen, Zählern und anderen Geräten zu nutzen, um Assets des öffentlichen Bauwesens zu verfolgen, Polizeiaktivitäten zu überwachen und datengesteuerte Entscheidungen zu treffen. Mit diesem Muster können sie Feeds in der gesamten Stadt oder im gesamten Landkreis verfolgen, Mitarbeiter dorthin entsenden, wo sie benötigt werden, und das Verhalten von Systemen und Wegerechts-Assets automatisieren.
• Regierungsbehörden. Wie kommunale Behörden können auch Regierungsbehörden dieses Muster nutzen, um Infrastruktur, Assets, Personal und Einrichtungen zu überwachen und zu verwalten. Sie können auch Datenfeeds zu Landwirtschaft, Wetter, Positionen von Wasserfahrzeugen, Katastrophen, seismischen Aktivitäten, Luftqualität und anderen Phänomenen synthetisieren und diese Daten dann in Forschung, Prognosen und Entscheidungen anwenden.