「AWSではじめるデータレイク」を読んだ

読むんだと決めて買ってから1年以上経ってしまったけどようやく読んだ。

作者:上原誠,志村誠,下佐粉昭,関山宜孝
テッキーメディア

序章データレイクを始めよう
第1章データレイクの構築
第2章データレイクの活用
第3章データレイクの運用
第4章データレイクのセキュリティ
第5章ハンズオンの概要 - ビジネスデータのデータレイク -
第6章データを可視化する
第7章サーバレスSQL によるデータ分析
第8章データを変換する
第9章データを分析する（データウェアハウス）
第10章システムの概要 - ログデータのデータレイク -
第11章ログを集める
第12章ログの保管とカタログ化
第13章ログを加工する
第14章ログを分析する

本書は3部構成になっている。1部ではデータレイクのコンセプトが解説されている。2部では基本的なデータレイクの構築を試すことができる。最後の3部では応用的なデータレイクの構築を試すことができる。基本的な内容としてはファイルからデータを取り込んで試している。応用編ではログを取り込んでのデータレイク作成、分析を試すことができた。タイトル通りなので構築はAWS 上でになる。

コンセプトについては以下の内容となっている。
1章では用語の説明やデータレイクのアーキテクチャの説明からそれぞれのレイヤで必要となるコンポーネントについてそれぞれ説明がされている。その中でもデータの保存先のストレージについての説明がされている。可用性や耐久性、スケーラビリティ、コスト、セキュリティや権限周りについて解説されている。またデータを貯めるだけでは使いにくいとの説明からデータカタログの重要性やデータを使いやすくするための変換ツールについての説明がされている。
2章では蓄積されたデータを活用するための方法として、BI、アドホック SQL 分析、定常的なSQL 分析、応用的な分析と4つが説明されている。また、それ以外にストリームデータの活用としてリアルタイムダッシュボードとストリーム分析アプリケーションが説明されている。利用者の区分によって適した活用方法が変わってくる。それ以外にもやりたいことにより使うべきシステムも変わることが解説されている。それぞれでうまく使えるものを使える基盤を作るのが良いのだろう。
3章では作ったデータレイクを運用していくために必要なことが説明されている。まずはデータレイクが正しく動いていることを保証するために「正常」の定義を行うことからはじめている。その後SLA を守るための監視、パフォーマンスのための監視と改善などが説明されている。あとは大事なデータをなくさないためのバックアップ、いらないデータの削除、アクセス履歴取得の必要性が書かれている。監視は目的に合わせてやるべきことを分ける必要があると思った。できてないことはやってみたいと思った。
4章ではセキュリティについて解説がされている。データレイクを1つのサービスと見立てのセキュリティについてまとめられている。具体的にはアクセス制御や暗号化、権限管理について解説されている。権限については異動の話など具体的な話も出てて面白かった。

このあとはAWS のサービスを使ってデータレイクの構築を試すことが続く。簡単に手軽にできたので面白かった。ただ、これから利用者やデータがどんどん大きくなっていったときはどうなるのかは気になった。