Spark-Umgebungen mit GeoAnalytics Engine

Viele Organisationen nutzen ein einheitliches Datensystem oder eine konvergierte Analyseplattform, um Unternehmensdatenbestände zu verwalten und mit ihnen zu arbeiten. Dieser Trend zur Konsolidierung hat ein Bereitstellungs- und Architekturmuster eingeführt, das sich auf Rechenressourcen konzentriert, die sich neben Datenquellen befinden und häufig über eine mit Apache Spark entwickelte Data-Engineering- und Analyseumgebung zugänglich sind. Ähnlich wie das Big-Data-Analysesystemmuster werden räumliche und zeitliche Big-Data-Analyseergebnisse typischerweise für weitere nachgelagerte Analysen oder für die Visualisierung und weitere geographische Analysen in die Data Stores zurückgeschrieben.

Als Integrationsmuster ermöglicht die Nutzung von GeoAnalytics Engine vorhandenen Systemen, die räumlichen Funktionen und Werkzeuge von GeoAnalytics Engine in bestehende vorhandene Datenverarbeitungs-Pipelines oder Engineering-Workflows zu integrieren. Ein weiterer gängiger Ansatz kombiniert Unternehmensdaten (gespeichert in einem System, das über Spark zugänglich ist) mit räumlichen Features, die aus einem ArcGIS-Dataset geladen werden, um Berichte oder Analysen auszuführen. GeoAnalytics Engine kann verschiedene Datenquellen wie CSVs, Parquet und GeoJSON lesen und Ergebnisse in ArcGIS-Feature-Services oder Datenstrukturen in einem Data Lake oder Big-Data-Dateisystem zurückschreiben.

Weitere Ressourcen finden Sie hier:

  • Technische Dokumentation von ArcGIS GeoAnalytics Engine.
  • Die API-Referenz für GeoAnalytics Engine beschreibt spezifische Funktionen und Werkzeuge, die mit dieser Bibliothek verfügbar sind.

Integrationsmuster in ArcGIS

ArcGIS GeoAnalytics Engine enthält dokumentierte Bereitstellungsmuster für mehrere spezifische Technologien, von denen jede Daten aus ArcGIS Enterprise- oder ArcGIS Online-Feature-Services lesen und zurückschreiben kann. Die GeoAnalytics-Toolbox für ArCGIS Pro enthält eine Teilmenge räumlicher Funktionen und Werkzeuge, die über Desktop-Analyse-Workflows verwendet werden können.

Funktion ArcGIS Online ArcGIS Enterprise ArcGIS Location Platform ArcGIS Pro
ArcGIS GeoAnalytics Engine N. z.

Volle Unterstützung Teilunterstützung


Best Practices

  • Nutzen Sie GeoAnalytics Engine-Werkzeuge, wenn ein geeignetes Werkzeug vorhanden ist. Diese Werkzeuge wurden entworfen und optimiert, um spezifische Geschäftsprobleme zu lösen, und bilden eine gute Grundlage für die weitere Entwicklung.

  • Im Allgemeinen eignet sich die Spark-Analyse gut für “MapReduce”-ähnliche Workloads, bei denen sehr große Datasets mit räumlichen Funktionen oder anderen Data-Engineering-Werkzeugen wie Verbindungen oder Zusammenfassungen zu spezifischen Ergebnissen destilliert werden.

  • Die meisten Spark-basierten Analysesysteme arbeiten mit festen Rechenressourcen, daher ist es wichtig, Abfragen und Operationen für eine effektive Analyse zu testen und zu optimieren. Es wird empfohlen, eine Abfrage oder ein Werkzeug mit einer Teilmenge von Daten zu testen, bevor eine Analyse ausgeführt wird, die Milliarden von Datenelementen oder -zeilen verarbeitet.

Top