「実践的データ基盤への処方箋」の輪読会に参加した

データ基盤の活用についてまとまっている本の輪読会があることを見つけた。
どうせ読むんだしせっかくだから発表をしてみようと思って参加してきた。本についての感想はこのあと全部読んだら書こうと思う。

実践的データ基盤への処方箋〜ビジネス価値創出のためのデータ・システム・ヒトのノウハウ

作者:ゆずたそ,渡部徹太郎,伊藤徹郎
技術評論社

僕は2-5 〜 2-8 が担当でした。担当内容は以下。

2-5 SQL を利用したデータベース収集ではデータベースへの負荷を意識する
2-6 データベースの負荷を考慮したデータ収集では、エクスポートやダンプファイル活用を視野に入れる
2-7 更新ログ経由のデータベース収集はデータベースの負荷を最小限にしてリアルタイムに収集できる
2-8 各データベース収集の特徴と置かれた状況を把握して使い分ける

データソースのデータベースからデータ基盤へデータを連携する方法についての部分が担当でした。
実際に発表で使ったスライドは以下。

speakerdeck.com

普段行っている仕事との関わりもあり、素直にそうだよなと思いながら読んでまとめることができた。
触ったことのない更新ログなどについては試してみたいと思ってはいるが今の所チャンスには恵まれていない。
発表したあとに実際聞いている人の現場ではどうなのかやどういったツールを使っているか、試してみたことの共有、失敗談などを聞けてとても面白かった。

発表した場所は datatech-jp というコミュニティになる。
datatech-jp は418名もいる*1、データエンジニアリングやデータ活用の知見を共有できたり、今回みたいな輪読会を行ったりしていてとても活発に活動されているコミュニティである。
困っていることを相談できるし、雑談もできるしとても楽しい場所で作っていただいた方々に感謝しています。
気になる方は以下から参加できると思うのでぜひ入ると良いと思います。

join.slack.com

発表をしようと思うと真面目に内容を勉強するし、頭の中も整理されるので良かった。
また機会があったら参加してみようと思った。