AWS- und ArcGIS-Integrationen

ArcGIS-Software wird seit mehr als 15 Jahren auf Amazon Web Services (AWS) bereitgestellt und ist darin integriert, mit enger Zusammenarbeit und fortlaufender Einführung neuer Cloud-Services in ArcGIS.

Viele Organisationen entwickeln ArcGIS-Systeme auf AWS und nutzen verschiedene AWS-Services und -Konzepte, um Systeme in unterschiedlicher Komplexität zu erstellen. In diesem Abschnitt wird die Integration von AWS-Services kurz erläutert, mit Links zur relevanten Dokumentation oder zu Anleitungen, wo angebracht, sowie zu relevanten Best Practices.

Verarbeitung

Die Grundlage jedes AWS-basierten ArcGIS-Systems sind Rechenressourcen, die das Hosting von Softwarekomponenten bereitstellen. Beispiele dafür, wie AWS für verschiedene ArcGIS-Szenarien verwendet werden kann, werden angegeben.

  • AWS EC2-Instanzen werden verwendet, um ein Betriebssystem als virtuelle Maschine zu hosten. Sie können genutzt werden, um ArcGIS Enterprise-Komponenten, App-Hosting-Workflows, Datenbanken (wenn kein verwaltetes Angebot genutzt wird) und ArcGIS Pro-Client-Hosting zu hosten. EC2-Instanzen sind in einer Vielzahl von Konfigurationen verfügbar und sorgen für einen Ausgleich von Rechenleistung, Speicher, Netzwerk und anderen Überlegungen für Instanzklassen und -typen. Bei ArcGIS-Workflows beginnen die meisten Organisationen mit allgemeinen Instanztypen und spezialisieren sich dann basierend auf spezifischen Workflow-Anforderungen oder auf der beobachteten Nutzung von Systemressourcen.

  • AWS Lambda ist ein Service, der serverlose Rechenleistung in verschiedenen Mustern ermöglicht. ArcGIS-Bereitstellungen können mit Lambda in mehrere gängige Muster integriert werden:
    • Lambda-Python-Funktionen können die ArcGIS API for Python nutzen, die verwendet werden kann, um Befehle für ArcGIS-Komponenten basierend auf der Lambda-Ausführung auszuführen.

    • Lambda-Funktionen, die auf JavaScript basieren, können das Modul ArcGIS REST JS verwenden, um mit ArcGIS-Services zu interagieren, Daten abzufragen, auf Organisationsinhalte zuzugreifen oder mit Positionsservices zu arbeiten.

    • Lambda-Funktionen können in einer Umgebung (als interne Service-Endpunkte) extern ausgerichtet oder als Teil einer CDN-Bereitstellung über die Lambda Edge-Integration mit Amazon CloudFront bereitgestellt werden.

  • AWS EKS bietet einen verwalteten Kubernetes-Service, der eine der unterstützten Umgebungen für ArcGIS Enterprise on Kubernetes ist. Organisationen können ArcGIS Enterprise on Kubernetes in vorhandene EKS-Workloads integrieren, auf organisatorischer Erfahrung aufbauen und innerhalb bewährter Netzwerkstrukturen und Einschränkungen arbeiten.

  • AWS Batch-Verarbeitung bietet eine Option zum Ausführen asynchroner, skalierbarer Verarbeitungsaufträge. Dazu wird eine EC2-Instanzvorlage eingerichtet und das Image orchestriert, sodass es Auftragsparameter beim Start akzeptiert oder von einem Warteschlangensystem gelesen werden kann. Eine Instanzvorlage könnte für ArcGIS Pro oder ArcGIS Server konfiguriert und lizenziert werden und dann zur Verarbeitung räumlicher Daten oder Workflows mit der ArcGIS API for Python oder ArcPy verwendet werden.

Daten und Speicher

  • Amazon S3 ist ein stabiler, global verteilter Objektspeicherservice, der mit ArcGIS in verschiedenen Mustern verwendet wird. S3-Buckets unterstützen robuste Autorisierungsmuster, einschließlich IAM-Rollen für EC2-Instanzen, und können zur Speicherung von Dateien jeglicher Art verwendet werden.

    • S3-Speicher kann als Speicherort für ArcGIS Enterprise-Systemverzeichnisse verwendet werden, einschließlich des Portal-Inhaltsverzeichnisses, sowie für Konfigurationsspeicher und Verzeichnisspeicher für ArcGIS Server-Sites. S3-Speicher kann auch als Cache-Verzeichnis zur Speicherung von Karten- und Bild-Service-Caches verwendet werden.

    • Viele ArcGIS-Systeme interagieren mit Bilddaten, die in S3 gespeichert sind. Häufig erfolgt der Zugriff über eine Cloud-Speicherverbindung, und sie werden in ArcGIS Pro verwendet oder zu einem Mosaik-Dataset hinzugefügt und über ArcGIS Image Server veröffentlicht.

    • ArcGIS Data Pipelines können mit mehreren verschiedenen Datenformaten in S3 interagieren, um räumliche Features zu extrahieren, sie anzureichern oder zu transformieren und sie in einen Remote-Service zu schreiben, um die Integration in einen Workflow in ArcGIS zu ermöglichen.

    • In den meisten Szenarien wird das direkte Lesen von Vektordaten in S3 für Kartenerstellungs-Workflows nicht unterstützt. Die Verwendung dieser Vektor-Datasets in analytischen Eingaben ist für GeoAnalytics–Workflows mit ArcGIS Pro oder ArcGIS GeoAnalytics Engine in einer Spark-Umgebung innerhalb oder neben AWS üblich. ArcGIS Pro kann außerdem über Cloud-Speicherverbindungen eine Verbindung mit Apache Parquet-Dateien herstellen und diese lesen.

  • Der Amazon RDS-Service bietet eine verwaltete Hosting-Option für relationale Datenbanken, die oft mit ArcGIS-Systemen als Methode zum Hosten einer Enterprise-Geodatabase verwendet wird. Dabei wird auch die direkte Interaktion mit einer RDS-Datenbank über Abfrage-Layer unterstützt. ArcGIS unterstützt eine Reihe von RDS-Angeboten direkt. Der Unterschied ist, dass nur der räumliche Typ, der vom Datenbanksystem bereitgestellt wird, unterstützt wird. RDS-Datenbanken können auch als relationaler Speicher für ArcGIS Enterprise on Kubernetes konfiguriert werden.

  • Amazon Redshift ist ein Data Warehouse-Angebot, das skalierte Analysen großer Unternehmensdatensätze unterstützt. ArcGIS unterstützt die Verbindung mit Amazon Redshift als Cloud-Data-Warehouse, wobei Abfrage-Layer und veröffentlichte Kartenservices über ArcGIS Pro erstellt werden. Wie bei jeder anderen Cloud-Data-Warehouse-Verbindung sollten Sie die Best Practices in diesem Bereich befolgen und sich die Inhalte der Data Lakes und Data Warehouses ansehen.

  • Amazon EFS ist ein Dateisystemservice, der mit Linux EC2-Instanzen konfiguriert werden kann, um Dateien und Inhalte zu speichern. ArcGIS Enterprise-Systeme, die auf Linux basieren, können mit einer EFS-Konfiguration arbeiten, um gemeinsame Inhalte und Konfigurationen in einer hochverfügbaren Architektur zu speichern.

  • Amazon EC2-Instanzen sind mit bereitgestelltem Blockspeicher konfiguriert, der vom AWS EBS-Service bereitgestellt wird. Dieser Speicher wird typischerweise als Speicherlaufwerke auf EC2-Instanzen bereitgestellt und für die lokale Datenspeicherung sowie ArcGIS Enterprise-Konfigurationskomponenten verwendet.

Analysen

  • ArcGIS GeoAnalytics Engine kann im Amazon EMR-Service implementiert werden, um räumliche Analysefunktionen und -werkzeuge innerhalb der EMR-Umgebung bereitzustellen. Für Organisationen, die bereits in EMR arbeiten, ermöglicht dieses Softwareintegrationsmuster einen Data-Engineering- oder Analyse-Workflow, um die vertrauenswürdigen GeoAnalytics Engine-Werkzeuge in einer vertrauten Umgebung zu nutzen. Dieser Blogbeitrag bietet einen Überblick über einen Anwendungsfall mit diesem Integrationsmuster.

Vernetzen

  • AWS Elastic Load Balancer bieten leistungsstarke Funktionen für ArcGIS-Systeme, insbesondere solche in hochverfügbaren Konfigurationen. Load-Balancing und Reverse-Proxying sind auch in Nicht-HA-Systemen üblich und werden häufig verwendet, um Client-Datenverkehr vom Internet oder einer umfangreicheren Netzwerkzone an die Backend-Serverkomponenten von ArcGIS Enterprise weiterzuleiten.

  • Der Amazon API Gateway-Service bietet eine Methode zur Definition spezifischer HTTP-Endpunkte und -Methoden, die an Backend-Lambda-Funktionen, AWS-Service-Endpunkte oder andere softwarebasierte Web-Services wie einen ArcGIS Enterprise-Service weiterleiten. Für die Nutzung des API Gateway-Service gelten dieselben Empfehlungen wie für andere API-Management-Technologien.

  • Amazon CloudFront ist ein verwalteter CDN-Service, der globales Edge-Caching von Webseiten oder Web-Service-Antworten bereitstellen kann. Aufbauend auf dem umfangreichen AWS-Netzwerk von Zugangspunkten kann eine CloudFront-Verteilung den Zugriff der Benutzer auf Webanwendungen und statische Ressourcen erheblich verbessern, indem sie Antworten in der Nähe des Benutzers zwischenspeichert. Räumliche Web-Apps, die mit dem ArcGIS Maps SDK for JavaScript entwickelt wurden, sind gute Kandidaten für CDN-Verteilung und -Beschleunigung. Web-Services von ArcGIS Enterprise können in bestimmten Szenarien mit AWS CloudFront kompatibel sein, aber es ist wichtig, die Cache-Konfiguration und den Ablauf sorgfältig zu verwalten, um sicherzustellen, dass Benutzer die korrekte Antwort auf Anfragen erhalten und nicht auf veraltete Daten oder Konfigurationen zugreifen.

Virtuelle Desktop-Erfahrungen

Viele Organisationen nutzen virtuelle Desktop-Schnittstellen (VDI), um den Benutzern vielfältige Anwendungserfahrungen zu bieten. In einem ArcGIS-System bedeutet dies meist eine Konfiguration von ArcGIS Pro, die an einem zentralen Netzwerkstandort gehostet werden kann, aber von Benutzern an vielen Orten per Remote-Zugriff genutzt werden kann. Dieses Muster stellt sicher, dass die Kommunikation von der ArcGIS Pro-Sitzung zu Daten und Services optimiert ist, während die einzigen Interaktionen, die über größere Entfernungen zu einem Benutzer übertragen werden, das visuelle Feedback einer Remote-Sitzung und eine Reihe von Eingabesteuerelementen des Benutzers sind.

Zusätzliche AWS-Services

Für Organisationen, die Infrastruktur-as-Code und Automatisierung der Softwarebereitstellung erkunden, sind die ArcGIS CloudFormation-Vorlagen ein ausgezeichneter Ausgangspunkt, um einen umgebungsspezifischen Satz an Vorlagen zu erstellen, die zur Bereitstellung einer bestimmten Systemarchitektur verwendet werden können.

Durch die Kombination der Infrastrukturbereitstellung von Netzwerk-, Verarbeitungs- und Speicherressourcen mit Skriptausführung, um ArcGIS-Software mit ArcGIS PowerShell DSC oder Chef bereitzustellen, bieten die CloudFormation-Vorlagen ein wiederholbares, mit Code definiertes Bereitstellungsmuster, das Konsistenz, Zuverlässigkeit und die Ausrichtung der Unternehmens-IT fördert.

Cognito

AWS Cognito bietet eine Vielzahl von identitätsbezogenen Serviceangeboten und kann als OpenID Connect-Anbieter (OIDC) für ArcGIS Enterprise oder ArcGIS Online genutzt werden. Cognito-Identitätspools können mit verschiedenen Anmeldemustern eingerichtet werden, und anschließend können ArcGIS-Benutzerkonten erstellt werden, um die Anmeldung basierend auf der Cognito-Identität zu ermöglichen.

Top