リアルタイムデータストリーミングおよび解析システム

リアルタイムデータストリーミングおよび解析システムを使用すると、組織はセンサー、アセット、その他の動的データソースなどのリアルタイムフィードからデータを取り込み、視覚化して解析することができます。データは、リアルタイムのマッピングに使用するか、さらなる解析のためにビッグデータとして保存するか、発生したイベントに基づいてアクションやアラートをトリガーするために使用することができます。このパターンは、ライブデータフィードや、Internet of Things (IoT) などの迅速に出力するデータソースに接続されます。フィードやその他のストリーミングデータのソースは、移動するものと静止しているものがあり、リアルタイムで解析してアウトバウンドシステムやアプリケーションに配布することができます。

リアルタイムデータストリーミングおよび解析システムパターンは、次のようなさまざまな特性を通じて組織に価値をもたらします。

車両の位置、センサー、人員、その他のソース (クラウドネイティブなサービスやキューを含む) などのリアルタイムデータソースの統合や接続することで、地理的情報に基づいたリアルタイムの意思決定を支援します。
高速データに対してリアルタイム解析の実行し、自動アクションをトリガーしたり、関心のあるパターンが検出された際にリアルタイムのプッシュ通知やアラートを行います。
低頻度から高頻度まで、任意の頻度の観測値を保存して、将来の視覚化と解析に役立てます。

ArcGIS システムパターンを初めて使用する場合は、まずイントロダクションを確認してください。

ユーザーペルソナとワークフロー

リアルタイムデータストリーミングおよび解析システムを最もよく操作するユーザーペルソナと、このシステムを使用して通常実行するワークフローとタスクの種類を次に示します。

データアナリスト、データサイエンティスト、データエンジニア。データアナリスト、データサイエンティスト、データエンジニアは、リアルタイムデータフィードと保存された過去のリアルタイムデータの両方を含め、このシステムを使用して解析ルーチンを設計、開発、および実行します。リアルタイムデータフィードを使用する場合、これらのペルソナは通常、リアルタイムデータストリーミングおよび解析システムに公開される解析モデルを設計し、新しいフィードやトリガーされたアラートを含む新しい派生出力を生成します。保存された過去のリアルタイムデータを使用する場合、これらのユーザーペルソナは、ビッグデータ解析システムと同様にこのシステムを利用します。
GIS アナリスト。 GIS アナリストは通常、データアナリスト、データサイエンティスト、データエンジニアと一緒にこのシステムを使用します。 GIS アナリストは、フィードの設定、解析ワークフローの実行など、システムを実際に操作することが少なくありませんが、上記のデータアナリスト、データサイエンティスト、データエンジニアのペルソナをサポートする役割も果たし、重要な空間概念の理解や、地理空間データの操作や解析方法およびツールの使用のベストプラクティスの適用を確実にします。
データ所有者。データ所有者は、リアルタイムデータストリーミングおよび解析システムで使用されるフィードとデータセットに対して責任を負います。フィードがシステムに組み込まれる際、フィードデータの所有者は了解を求められる場合があります。過去のリアルタイムデータを保存する場合、データ所有者は通常、データモデリング、品質管理、ガバナンスなど、データ管理の設計面と監視面に関与します。
データ管理者。データ管理者は通常、リアルタイムデータストリーミングおよび解析システムで使用されるフィードとデータセットに対して日常的な管理の責任を負います。一般的なワークフローとアクティビティーには、データの読み込みとインポート、データ更新の監査、データ管理ワークフローの構造化と管理などがあります。

リアルタイムデータストリーミングおよび解析システムを最大限に活用するには、データアナリスト/サイエンティスト/エンジニアに加えて GIS アナリストを (もしくはその両方のペルソナのスキルを持つ個人を) 関与させることを検討します。

アプリケーション

リアルタイムデータストリーミングおよび解析システムは、データアナリスト、データサイエンティスト、データエンジニアにとってなじみのある設計、モデリング、管理インターフェイスに加え、API やツールを提供します。これらのインターフェイスはデプロイメントパターンによって異なりますが、どちらのデプロイメントモデルにも、上記のユーザーペルソナがリアルタイムデータフィードを管理し、リアルタイムデータ解析を設計、公開、実行できる Web インターフェイス用意されています。

ArcGIS は、ダッシュボード、Web アプリケーションビルダー、ネイティブモバイルアプリケーション、さらにはリアルタイムフィードとリアルタイムデータストリーミングおよび解析システムから出力されるデータを操作できるデスクトップアプリケーションなど、幅広いアプリケーションを提供します。これらのアプリケーションは通常、セルフサービスのマッピング、解析、および共有システム、またはその他の ArcGIS システムパターンと組み合わせて (または統合を通じて) 提供されます。システムパターンの使用、統合、および作成の詳細をご参照ください。

このシステムには、ArcGIS システムへの一般的な Web インターフェイスとして機能するポータル Web サイトも用意されています。リアルタイムデータストリーミングおよび解析システムでは、ポータル Web サイトを使用して、ユーザーとコンテンツ、さらにはシステムコンポーネントを管理します。 ArcGIS Pro は、GIS 専門家向けに設計されたデスクトップアプリケーションであり、より高度な空間解析作業や GIS 解析作業にもよく使用されます。

ArcGIS Maps SDK で構築されたカスタムアプリケーション (没入型エクスペリエンス (XR) を含む) は、リアルタイムデータストリーミングおよび解析システムでもよく使用されます。

ArcGIS が提供するすべてのアプリケーションの詳細については、ArcGIS の概要のアプリケーションアーキテクチャーをご参照ください。

機能

リアルタイムデータストリーミングおよび解析システムが提供する主な機能を以下に紹介します。リアルタイムデータストリーミングおよび解析ワークフローで使用される機能のうち、通常は他のシステムによって提供される機能 (ベースマップや位置情報サービスシステムによって提供されるその他の位置情報サービスなど) は、以下に示されていません。関連するシステムパターンの詳細をご覧ください。

注意:

次に示されたすべての機能をすべてのデプロイメントパターンで使用できるわけではありません。さまざまなデプロイメントコンテキストでどの機能が適用されるかの詳細については、デプロイメントパターンの選択とデプロイメントパターンに関するページをご参照ください。

フィードの取り込みは、IoT (Internet of Things)、メッセージブローカー、サードパーティー API など、リアルタイムの観測データの外部ソースにシステムを接続します。これらの外部ソースはフィードと呼ばれ、リアルタイムストリーミングおよび解析システムへの入力として構成できます。サポートされるフィードタイプは、デプロイメントパターンによって異なります。
データの取り込みにより、システムにデータを読み込んで、一括して解析および処理を行うことができます。このシステムパターンでは、ArcGIS の外部にあるデータソースの場所で直接ビッグデータ解析を実行することはできません。リアルタイムデータストリーミングおよび解析システムで実行される、保存済みデータに対するすべてのバッチ解析および処理は、システム内で行われます。ビッグデータ解析システムの詳細をご参照ください。
空間結合と空間リレーションシップを使用すると、2 つのフィードまたはデータセットの行を空間リレーションシップに基づいて結合できます。インターセクト、イレース、ユニオン、アイデンティティー、シンメトリカルディファレンスなど、さまざまな空間リレーションシップを適用できますが、機能は選択したデプロイメントパターンによって異なります。
パターン解析は、データ内の空間的および時間的なパターンを特定します。ホットスポットの検索、類似した場所の検索、トレンドのモデル化および予測の生成のための回帰ベースの各種解析手段などのツールが用意されています。パターン解析は通常、ビッグデータに対して行われ、リアルタイムフィードには通常適用されません。
近接解析では、空間データと他の空間データとの近接性を調べます。バッファーの作成や距離の計算などのツールがあります。
集計解析は、データを上位のデータ構造に集約または集計します。ポイントの集約、密度の計算、エリア内での集計などのツールがあります。集計解析は通常、リアルタイムのフィードではなく、保存されたデータに対して実行されます。
トラック解析は、個別のエンティティー (通常は移動するオブジェクト) に関連付けられた時間対応の観測データを処理します。トラックの再構築やネットワークへのスナップ、移動経路と滞在場所の解析ツールなどがあります。
ジオフェンシングは、リアルタイム空間解析の 1 つの方法で、対象地域 (多くの場合はポリゴンエリア) を使用して、フィーチャ (多くの場合はトラックポイント) を評価します。最も一般的な方法としては、ポイントに基づく観測データを解析し、仮想の境界への出入りを判断します。
データ管理は、リアルタイムフィードおよびビッグデータのジオメトリーやその他のフィールドでの操作をサポートします。フィールド演算、プロジェクト、マップフィールドなどのツールがあります。
カスタム入力コネクターを使用すると、コードで新しい入力コネクターを開発できます。カスタム入力コネクターのオプションは、デプロイメントパターンによって大きく異なります。詳細はデプロイメントパターンの選択をご参照ください。
カスタム解析ツールを使用すると、コードを使用して新しい解析ツールを開発できます。カスタム解析ツールのオプションは、デプロイメントパターンによって大きく異なります。詳細はデプロイメントパターンの選択をご参照ください。
カスタム出力コネクターを使用すると、コードを使用して新しい出力コネクターを開発できます。カスタム出力コネクターのオプションは、デプロイメントパターンによって大きく異なります。詳細はデプロイメントパターンの選択をご参照ください。
リアルタイムデータと解析出力のマッピングと視覚化は、コンテキストを提供し、データのパターン、傾向、関係を明らかにするのに役立つ強力なステップです。視覚化とマッピングは、非空間データを使用したチャート作成およびプロットと似ています。これにより、アナリストは解析を検証、反復し、魅力的で共有しやすい結果を作成できます。
データの公開とホスティングにより、システムに取り込まれたデータやリアルタイムフィードから保存されたデータに対し、セキュアなストレージ、管理、アクセスがサービスとして提供されます。システムでホストされているデータは通常、フィーチャサービスまたはフィーチャレイヤーとして利用できます。
フィードの公開とホスティングは、システムに新しいフィードを公開し、ホストできるようにします。システムによってホストされるフィードは通常、ストリームサービスまたはストリームレイヤーとして利用できるようになります。
メッセージの送信または保存は、処理済みのフィードデータ (メッセージ) をメッセージブローカー、オブジェクトストア、電子メールや SMS などの他のメッセージングシステムなどの外部システムに送信または保存するリアルタイム解析の出力です。メッセージの送信と保存でサポートされる出力タイプは、デプロイメントパターンによって異なります。
解析結果の共有は ArcGIS でサポートされていますが、リアルタイムデータストリーミングおよび解析システムの範囲外と見なされます。詳細については、関連するシステムパターンをご参照ください。

アーキテクチャーに関する検討事項

リアルタイムデータストリーミングおよび解析システムは、ArcGIS を使用して構築されます。このセクションでは、リアルタイムデータストリーミングおよび解析システムが ArcGIS アーキテクチャーの特定の側面とどのように連携し、特定の側面に焦点を当てているかを詳しく説明します。

アーキテクチャーに関する詳細な検討事項については、デプロイメントパターンの選択をご参照ください。

データ (永続性)

リアルタイムデータストリーミングおよび解析システムのデータアーキテクチャーに関する考慮事項

リアルタイムデータストリーミングおよび解析システムは、リアルタイムのフィードのほか、ビッグデータソースとも連携します。

リアルタイムフィードは、IoT (Internet of Things)、メッセージブローカー、サードパーティー API など、リアルタイムの観測データの外部ソースを継続的に取り込んでいます。リアルタイムフィードをリアルタイムデータストリーミングおよび解析システムに取り込むことができ、観測データのリアルタイム処理、解析、出力が可能になります。出力タイプには、オブジェクトストア、フィード、その他のメッセージブローカーやシステムがあります。サポートされるフィードや出力タイプは、デプロイメントパターンによって異なります。

リアルタイムデータストリーミングおよび解析システムには、リアルタイムフィードから保持されるビッグデータを管理するため、管理された NoSQL のドキュメントベースのビッグデータストアがあります。 ArcGIS が管理するデータストアの詳細をご参照ください。

サービス (ロジック)

リアルタイムデータストリーミングおよび解析システムのサービスアーキテクチャーに関する考慮事項

リアルタイムデータストリーミングおよび解析システムは、ArcGIS にリアルタイム解析サービスを提供し、特に SaaS デプロイメントパターンではビッグデータ解析サービスを提供します。

リアルタイムデータストリーミングおよび解析システムは、システムに格納されたビッグデータのクエリー、アクセス、空間参照、情報付加、および管理にも使用できます。このシステムは、ETL (抽出/変換/読み込み) ワークフローにもよく使用されます。リアルタイムデータストリーミングおよび解析システムは、ベースマップおよび参照レイヤーを使用した対話型マッピングを利用して、解析結果を視覚化します。解析結果やその他のコンテンツは一般的にはポータルサービスを通じて共有されるのが一般的ですが、通常は別の ArcGIS システムをよって実行されます。詳細については、関連するシステムパターンをご参照ください。

アプリケーション (プレゼンテーション層)

リアルタイムデータストリーミングおよび解析システムのアプリケーションアーキテクチャーに関する考慮事項

リアルタイムデータストリーミングおよび解析システムの主な出力は、このシステムパターンの範囲外の他のシステムやアプリケーションによって使用されるメッセージ、フィード、およびその他のサービスです。このシステムは通常、データアナリスト、データサイエンティスト、データエンジニアにとってなじみのある下位レベルのユーザーインターフェイスのみを公開します。これらのユーザーインターフェイス (アプリケーション) は、選択したデプロイメントパターンによって異なります。詳細についてはアプリケーションをご参照ください。

サポート

リアルタイムデータストリーミングおよび解析システムサポートの要件は、用途によって異なる場合があります。

主にリアルタイムデータストリーミングに使用される場合、通常はリアルタイム解析と組み合わせて使用されますが、システムから出力されるフィードとメッセージは、ビジネスクリティカルまたはミッションクリティカルなワークフローで使用されるのが一般的です。このような場合、システムは、高いレベルの信頼性、セキュリティー、可観測性、パフォーマンス、およびスケーラビリティーを念頭に置いて設計および運用する必要があります。また、強力なガバナンスの実践と標準は、リアルタイムデータストリーミングおよび解析システムがビジネスのニーズに応じて成長、拡張、進化すると同時に、非機能的な IT 要件に準拠するのにも役立ちます。

主に過去の観測データのバッチ解析や処理に使用する場合、このシステムは、信頼性などの領域に関する技術要件がそれほど厳密ではないことがあります。ただし、これらのユースケースでは、スケーラビリティーやパフォーマンス、セキュリティーがシステム管理ビッグデータストアにとって重要な要件となる可能性があります。

他のシステムとの統合は、リアルタイムフィードとビッグデータのリアルタイムストリーミングおよび解析システムへの取り込みという形で行うことができます。リアルタイムデータストリーミングおよび解析システムからの出力は通常、組織の企業全体の他のシステムとも統合されるため、システム管理者が把握していない、または関与していないビジネスオペレーションをサポートしていることもあります。これには通常、メタデータ、監視、およびサービスレベル契約 (SLA) の使用が必要です。

一般的なサポートとアーキテクチャーに関する検討事項については、アーキテクチャーの実践および ArcGIS Well-Architected Framework のアーキテクチャーの柱をご参照ください。

例

このシステムパターンにおける業界固有のシステムとして、次のような例があります。

天然資源。石油会社やパイプライン会社は、このパターンを使用して、SCADA システムからの高速データをアセットのリアルタイム画像に統合できます。また、このパターンを使用して、車両のトラッキング、モバイルアクティビティーの解析、天候および環境の監視、検査結果に基づく作業指示の自動トリガーなどに関心がある場合もあります。
公益事業。電力事業では、このパターンを使用して、落雷、洪水、山火事などの災害を監視し、それらがインフラストラクチャーに対する脅威となるかどうかを評価できます。ガス事業者は、このパターンを使用して、スマートメーターからのデータを監視し、車両や機器の追跡、移動作業員の活動や安全性の分析に活用できます。通信事業者はアンテナの性能を監視し、通話切断の傾向を把握して、ネットワークの改善が必要なエリアを特定できます。
上下水道。このパターンにより、水道事業者はスマート水道メーターや SCADA システムからのストリーミングデータを視覚化して解析できます。このデータにより、流量のリアルタイム監視、漏水の検出とその場所を特定、消費傾向の分析、水の損失の把握が可能になります。
交通。輸送関連組織はこのパターンを使用して、自動車両位置 (AVL) や輸送アセットデータを監視および分析し、サービス車両の作業エリアにおける活動状況やルートの逸脱を追跡できます。また、アセットや機器の追跡、交通異常の検知、気象状況や駐車場の空き状況の把握と通知も行うことができます。さらに、船舶や航空機からの自動識別システム (AIS) フィードやその他のテレメトリーデータを使用して、コンプライアンスを監視し、港湾や空港のスケジュールの最適化も行えます。空港では、待機列やターミナルでの乗客の動きの分析し、地上の航空機の位置を把握して、燃料補給や荷物処理、整備車両との連携を円滑に進めることができます。
公共安全。公安機関はこのパターンを使用して、人員の位置の追跡とアーカイブ、車両の識別、ナンバープレートを使った車両位置の追跡、ShotSpotter や同様の API からのデータを使用した銃声の検出、潜在的なセキュリティー脅威の監視などができます。また、公安機関はこのパターンを使用して、重要なインフラストラクチャーのインシデントを検出および監視できます。
地方自治体。スマートシティーは、接続されたセンサー、車両、メーター、およびその他のデバイスからのデータを使用して、公共事業の資産の追跡、警察活動の監視、データ主導の意思決定を行うことに関心を持っています。このパターンにより、市や郡全体のフィードのトラッキング、必要な場所へのスタッフの派遣、システムや公道用地アセットの動作の自動化ができます。
中央政府。地方自治体と同様に、中央政府機関もこのパターンを使用して、インフラストラクチャー、アセット、人員、施設を監視および管理できます。また、農業、気象、船舶の位置、災害、地震活動、大気質、その他の現象に関連するデータフィードを合成し、そのデータを研究、予測、意思決定に適用することもできます。

リアルタイム データ ストリーミングおよび解析システム

ユーザー ペルソナとワークフロー