「クラウドでデータ活用！データ基盤の設計パターン」を読んだ

クラウドでデータ活用！データ基盤の設計パターン

作者:川上明久,小泉篤史,大嶋和幸,石川大希,堀義洋,角林則和
発売日: 2020/08/01
メディア: Kindle版

データエンジニアと肩書につけてから1年8ヶ月が経った。
DockerやKubernetes *1の本が溜まっていたのでそのあたりの本を読むのを先に行い、ようやく今の仕事に関わる本にも手を出し始めた。

第1章データ基盤の現在
第2章データ基盤3パターン
第3章クラウドで作るデータ基盤
第4章データ基盤のこれからの課題
第5章データ管理の体制づくり

データ基盤として以下の3パターンが紹介されている。

データレイク型・・・すべてのデータを溜めて、用途に応じて取り出し加工
統合型・・・1つの製品に機能を集約
分散型・・・複数のデータベースが分散していて、それぞれ個別にデータ連携

それぞれのパターンについて、連携コスト、必要なスキルによってどれを選ぶのか良いかが説明されている。

集積・蓄積フェーズにおける考慮する6つのポイント

データレイクを構築する場所、利用するサービスや製品の選定
データレイクに蓄積するデータのフォーマットを決めるタイミング
データの収集と蓄積のタイミング
エージェントプログラムの有無
メッセージブローカーの有無
データの欠損や重複の扱い方

利用・加工フェーズの2つの設計パターンが紹介されている。本書ではトレンドは倉庫型、オススメは工場型と紹介されている。

データ倉庫型・・・データレイク内で加工せず利用者側で加工する
データ向上型・・・データレイク内で加工する

その後には架空の会社を設定して必要なデータ基盤の設計、そのデータ基盤をAWS、Azure、Oracle Cloud での構築例を説明している。
また、現在のデータ基盤を作る話だけではなく、データ基盤の未来像についても話がされている。
データを連携しやすいデータプラットフォームの構築、クラウドサービスごとの強みをうまく活用、対障害性を高めるためマルチクラウドでの切り分け、構築について説明がされている。

最後に、データ基盤の活用のための組織づくりについても軽く説明されている。本書では、データマネジメントを牛機を創設するための5つのポイントを説明している。