2021-02-15

「[増補改訂]ビッグデータを支える技術」を読んだ

impression data bigdata

［増補改訂］ビッグデータを支える技術 ——ラップトップ1台で学ぶデータ基盤のしくみ WEB+DB PRESS plus

作者:西田圭介
発売日: 2021/02/10
メディア: Kindle版

2018年に読んだ本の改訂版が出ていたので読んでみた。 hihihiroro.hatenablog.com

第1章ビッグデータの基礎知識
第2章ビッグデータの探索
第3章ビッグデータの分散処理
第4章ビッグデータの蓄積
第5章ビッグデータのパイプライン
第6章ビッグデータと機械学習
第7章 [実践]ビッグデータ分析基盤の構築

大きく変わった点としては機械学習の章が増えていた。特徴量ストアやMLOps についての説明がされている。改訂前ではデータを集め、保存し、処理してマート化し、可視化をしていた。本書ではこれらのデータを用いた機械学習のフレームワークを実現するための方法が少しだけ書かれている。昔に比べてデータが使われるようになってきたということなのだろう。

改訂前を読んだときはデータを貯めてクエリを投げることだけをするシステムを作っていた時だったのでマート作成やデータフロー、ワークフローなどについてはそういうのを気にする必要があるのかと思いながら読んでいるだけだった。今はデータエンジニアとしてデータパイプラインの整備をしていることもあり自分の身にかかってくるものと思って今回は全章読み込めた。

改訂前と同じく用語や技術についての説明、それぞれの工程で気にするべきことその対策についてなどが細かく書かれている。データに関わっている人たちに読んでもらって用語の統一などが大事だなと思った。同じ話をしているはずなのに、話が噛み合わないときなどがあるので前提として用語についてはズレがないようにしたいと思うことが多い。本書のように説明する資料を社内で作ってあると良さそうだなと思った。

40を超えるコラムが載っておりそれぞれが面白かった。所々に参考資料のURLが載っているので調べたくなったらそのURLをたどっていけば詳しく調べることができそうで良かった。いくつかの事柄については知らないこともあったので辿らせてもらった。

またタイトルに有る「ラップトップ1台で学ぶデータ基盤のしくみ」は本書で紹介されている技術のいくつかを用いてローカルで試す7章によるものだと思う。ここで簡単なETL作成、クエリ実行、ダッシュボードによる可視化、ワークフローでの実行などが試すことができるので、読んだ内容について試すことができて良かった。

まとめ

データの取得から可視化まで図解込み、説明ありで紹介されていた
データパイプラインについての知識補完ができそう
支える技術がわかるのでちゃんとした勉強は他の本でもやっていこう

Google Cloudではじめる実践データエンジニアリング入門[業務で使えるデータ基盤構築]

作者:下田倫大,寳野雄太,饗庭秀一郎,吉田啓二
発売日: 2021/02/18
メディア: Kindle版

図解即戦力　ビッグデータ分析のシステムと開発がこれ1冊でしっかりわかる教科書

作者:渡部徹太郎
発売日: 2019/11/07
メディア: 単行本（ソフトカバー）

クラウドでデータ活用！データ基盤の設計パターン

作者:川上明久,小泉篤史,大嶋和幸,石川大希,堀義洋,角林則和
発売日: 2020/08/01
メディア: Kindle版

2021-02-09

「さわって学ぶクラウドインフラ docker基礎からのコンテナ構築」を読んだ

impression docker container

さわって学ぶクラウドインフラ　docker基礎からのコンテナ構築

作者:大澤文孝,浅居尚
発売日: 2020/06/11
メディア: Kindle版

色が黄色で目立っていたし、さわって学ぶというタイトルが気になったので読んでみた。

第1章コンテナの仕組みと利点
第2章 Docker を利用できるサーバーを作る
第3章 5分でWeb サーバを起動する
第4章 Docker の基本操作
第5章コンテナ内のファイルと永続化
第6章コンテナのネットワーク
第7章複数コンテナをまとめて起動するDocker Compose
第8章イメージを自作する
第9章 Kubernetes を用いたコンテナ運用

Docker のインストール方法から始まり、Docker を起動するためのWeb サーバの構築、Docker を使ってのWeb サーバ起動するところから、ファイルの永続化、ネットワーク、コンテナイメージについて順番に学ぶことができる。
ただのDocker だけではなく、複数コンテナをマネージドするためにDocker Compose やKubernetes についての説明までされている。それぞれについて、ただ読むだけではなくタイトル通りに自分の手を動かすことで順番に試していくことができる。

本書が他と違うのはDocker Desktop での作業をすすめるのではなく、AWS 上のEC2 を構築してその上で実行するようにしているのは珍しいなと思った。Kubernetes についてもAmazon EKS での始め方が書かれている。また、EKS のようにマネージドを紹介しているので試す際にも自分でインストール作業などあまり必要としない minikube での環境構築がされている。

まとめ

難しい部分に関しては省略されていたりコラム化されていたりで読みすすめやすかった
Docker の内容について思い出す人とかにちょうど良さそうだと思った
AWS を使っての話がでていたのが他の本との違いかなと思った

Kubernetes on AWS～アプリケーションエンジニア本番環境へ備える

作者:会澤康二,佐藤和彦
発売日: 2020/05/06
メディア: Kindle版

たった1日で基本が身に付く! Docker/Kubernetes超入門

作者:伊藤裕一
発売日: 2020/07/13
メディア: 単行本（ソフトカバー）

2021-02-07

「仕組みと使い方がわかる Docker&Kubernetesのきほんのきほん」を読んだ

impression docker kubernetes

【特典付き】仕組みと使い方がわかる Docker&Kubernetesのきほんのきほん

作者:小笠原種高
発売日: 2021/02/01
メディア: 単行本（ソフトカバー）

若手エンジニアやバックエンドに詳しくない人向けの本だとのこと。
内容としてはDocker について詳しくなるためのものではなく、概要がわかるところまでを目指しての本になっているみたい。

Chapter1 Docker とは何だろう
Chapter2 Docker が動くしくみ
Chapter3 Docker を使ってみよう
Chapter4 Docker にコンテナを入れて動かしてみよう
Chapter5 Docker に複数のコンテナを入れて動かしてみよう
Chapter6 応用的なコンテナの使い方を身につけよう
Chapter7 Docker Compose について学ぼう
Chapter8 Kubernetes について学ぼう

Docker のしくみの説明から始まりインストール方法と続き基本的なコマンドのハンズオンが始まる。本書では基本的なコマンドとして、コンテナの作成・削除と起動・停止、コンテナとの通信、コンテナ作成。イメージの削除をあげている。

Chapter6 より先ではボリュームのマウントやコンテナのイメージ化、Docker Compose、Kubernetes の話などが書かれている。この辺については読む人によって必要なもの、楽しめるものが違うので自分の状況にあわせて読んでくださいとなっている。特に、仕事で使わない場合は「自分の楽しさと相談してください」となっていたところが僕が本を選ぶ理由と一緒だなと思った。仕事で使うからやこの分野を知っておかないと困るから以外で技術本を読む場合は興味あるからの理由で買っている。今後もこの気持で本を買っていこうと思った*1。

まとめ

Docker って何？って人を対象になっている
ハンズオン形式なので読みすすめればコマンドを試せる
Kubernetes については簡易な説明なので興味あれば他の本を読むのが良い

さわって学ぶクラウドインフラ　docker基礎からのコンテナ構築

作者:大澤文孝,浅居尚
発売日: 2020/06/11
メディア: Kindle版

イラストでわかるDockerとKubernetes Software Design plus

作者:徳永航平
発売日: 2020/12/05
メディア: Kindle版

*1:積読をなくしている最中のはずだけど

2021-02-01

202101 振り返り

retrospect

在宅勤務が始まってそろそろ1年がたつ。
会社携帯と楽天モバイルのみでの生活にもそろそろ辛さを感じるようになってきた。インターネットをちゃんと引きたいと思ってきた。そのためにまずは引っ越しをすることを考えている。会社に行くこともなくなったので会社の近くへの引っ越しを考えることはなくなった。何を基準に選ぼうかを考えている最中になる。
最近は本を読むことが楽しくなってきた。ポッドキャストを聞きながら本を読むこともできるようになってきたのでこれからも続けていこうと思っている。今年は前半はインプットを後半はできればどこかで発表するようなことがあれば良いなと思っている。

ちなみに最近聞いているポッドキャストはこちら。 note.com

べんきょうかい

比較的大きいイベントが多かった。
去年のRSGT からチームで始めた、チーム内だけで見れるSlack チャンネルにその時の感情と一緒に思ったことを投稿するやりとりがまだ続いている。やったことは思い出せるけどその時どう感じていたかも思い出せるので面白い。
July Tech Festa は仕事内容に近い話が聞けるのでいつも楽しみにしている。聞けなかったけど気になるセッションもたくさんあるのでビデオが公開されたら見ていく。
www.youtube.com

ほん

本を読む週間が身についてきた気がする。
積読になっている本を読むとなんで買った時すぐに読まなかったのか、今だからわかるわってタイミングによって受け取り方が全然違うことが分かって面白い。
何回も読み直したいなって思っている本はちゃんと持っておこうと思った。
そしてとある人の影響で攻殻機動隊の本を読み漁っている。久しぶりでとても面白い。読みすすめていこうと思っている。

読み方はちょっと違ったけど買い方については似たようなもんだなと思った。

(続き)本は消耗品。濡れたり汚れても構わない。とりあえず買う。積読上等。最後まで無理に読まなくてOK。本屋は出会いの場なので気になったら即買い。
— Ryutaro YOSHIBA (@ryuzee) 2021年1月10日

えいが

今年は実家に帰ることがなかったので元旦から映画を見に行ってきた。
映画を見に行くのは出かけるモチベーションのひとつなので今年も見ていこうと思う。

ジョゼと虎と魚たち
天外者
燃えよデブゴン TOKYO MISSION
おとなの事情スマホをのぞいたら
さんかく窓の外側は夜
名も無き世界のエンドロール

ぶろぐ

イベントでスタッフやったのでその感想と、いつも通り読んで気になった本について少しだけ書くようなことをしていた。
今年の前半はインプットを今まで以上に頑張っていくぞ。
それによって積読を減らすことをやっていき。

hihihiroro.hatenablog.com

2021-01-24

「CircleCI実践入門」を読んだ

impression cicd

CircleCI実践入門──CI/CDがもたらす開発速度と品質の両立 (WEB+DB PRESS plus)

作者:浦井誠人,大竹智也,金洋国
発売日: 2020/09/14
メディア: 単行本（ソフトカバー）

CI/CD について興味が出てきている。
そのタイミングで発売されたので買ってはいたが読むのがこんなに遅くなってしまった。

CI/CD

CI ・・・Continuous Integration
CD ・・・Continuous Delivery または Continuous Deployment

事前に計画ができることが減って変化する速度が速くなっているため変化に対応しやすいアジャイル開発が重要視されている。
またシステムを安定稼働させつつ素早くリリースしたいという相反する考えを解消するためにDevOpsという考え方がうまれた。 DevOps が重要視するデリバリの自動化を実践する方法としてCI/CDが大切になってきている。CI/CD を用いることで以下が自動化でき、それぞれに得られる効果がある。

ビルド・・・手動ですることがないので、依存関係のミスなどが無くなるのでコードのプッシュ効率があがる
テスト・・・テストし忘れ防止、信頼性の向上
デプロイ・・積極的な機能リリース

これらができることで、品質と開発速度の向上が両方できるようになっていく。

DecOpsの効果を測る4つの指標

CI/CD を闇雲に導入しても役になっているのかわからないから最低限、以下の指標を測ることを勧めている。

リードタイム
デプロイ頻度
平均修復時間
失敗の頻度

ちなみにここまでは第1章の内容について書いただけである。
本書はこのあと12章 + Appendix までCircleCI の設定の仕方、他のアプリケーションとの連携方法、 config.yaml の詳しい説明が書かれている。それ以外にもワークフローの説明やテスト実行の最適化などCIを組むための例や説明がたくさん書いてあってとても勉強になった*1。

まとめ

CI/CD がなぜ必要なのか？が説明されているのが良かった
CircleCI の使い方がこれでもかと細かく書いてあるので初めての人でも悩まなかった
CI/CD 初心者だからこれ読めば良いよ、こんな勉強したら良いよを教えて欲しい

継続的デリバリー信頼できるソフトウェアリリースのためのビルド・テスト・デプロイメントの自動化

作者:Jez Humble,David Farley
発売日: 2017/07/31
メディア: 単行本

LeanとDevOpsの科学［Accelerate］テクノロジーの戦略的活用が組織変革を加速する impress top gearシリーズ

作者:Nicole Forsgren Ph.D.,Jez Humble,Gene Kim,武舎広幸,武舎るみ
発売日: 2018/11/22
メディア: Kindle版

インフラCI実践ガイド Ansible/GitLabを使ったインフラ改善サイクルの実現

作者:中島倫明,佐々木健太郎,北山晋吾,齊藤秀喜,羽深修
発売日: 2018/06/18
メディア: Kindle版

*1:自分はCI/CDとはが気になっているのでそこだけ集中的に読んでしまった

2021-01-24

「失敗から学ぶRDBの正しい歩き方」を読んだ

impression database

失敗から学ぶRDBの正しい歩き方 Software Design plus

作者:曽根壮大
発売日: 2019/02/27
メディア: Kindle版

最近はRDB をメインで使うことはなくなってきてしまったが、サブで使っていたり対外システムがRDB であったりするので読んでみた。
本書はRDB を使う上で踏み抜いてしまうアンチパターンが20個紹介されている。
それぞれの章の中で、

実際に起きているような会話で始まる「アンチパターンの解説」
修正するためにはが説明される「アンチパターンを生まないためには？」
まとめとしての「アンチパターンのポイント」

上記の３つにまとめられて説明されている。
1章につき１つのアンチパターンが紹介され、それぞれのパターンに対しての対策が書かれておりとてもわかりやすかった。書かれているアンチパターンについては、それ引っかかったことあるというものから、あれはそういうことだったのかというもの、知らないけどそんなことがありえるのかってものまであって楽しく読めた。
紹介されているアンチパターンは以下になる。

第1章データベースの迷宮
第2章失われた事実第3章やり過ぎたJOIN
第4章効かないINDEX
第5章フラグの闇
第6章ソートの依存
第7章隠された状態
第8章 JSONの甘い罠
第9章強すぎる制約
第10章転んだ後のバックアップ
第11章見られないエラーログ
第12章監視されないデータベース
第13章知らないロック
第14章ロックの功罪
第15章簡単すぎる不整合
第16章キャッシュ中毒
第17章複雑なクエリ
第18章ノーチェンジ・コンフィグ
第19章塩漬けのバージョン
第20章フレームワーク依存症

心に残ったのは本書の中でも何回か出てくる「RDBの寿命はアプリケーションよりも長い」という言葉。以前作っていたシステムにもこれらのうちのいくつかのアンチパターンを残してしまっている気がするので申し訳ない気持ちになった。こういう気持ちにならないためにも次回があれば、本書の内容には嵌まらないように気をつけようと思った。

まとめ

現在RDBを使っている人は自分たちのDBがアンチパターンにハマっていないかチェックするのにも使えそう
今触っていない場合は古傷をえぐられて悲しきもちになることがあるかも
途中途中にあるコラムや関連する要素についての説明がとても勉強になった
SQLアンチパターンも読まなくてはなー

SQLアンチパターン

作者:Bill Karwin
発売日: 2013/01/26
メディア: 大型本

理論から学ぶデータベース実践入門 ―― リレーショナルモデルによる効率的なSQL WEB+DB PRESS plus

作者:奥野幹也
発売日: 2018/11/14
メディア: Kindle版

達人に学ぶDB設計徹底指南書

作者:ミック
発売日: 2013/08/07
メディア: Kindle版

達人に学ぶSQL徹底指南書第2版初級者で終わりたくないあなたへ (CodeZine BOOKS)

作者:ミック
発売日: 2018/10/11
メディア: 単行本（ソフトカバー）

2021-01-17

「チームが機能するとはどういうことか」を読んだ

impression team

チームが機能するとはどういうことか――「学習力」と「実行力」を高める実践アプローチ

作者:エイミー・C・エドモンドソン,Amy C. Edmondson
発売日: 2014/05/24
メディア: 単行本

チームについての発表など見ると参考文献としてよく出ていたので気になって買ってはいたが積読になっていた。イベントに参加してやる気がでているので一気に読むことにした。

本書は様々な企業への調査を元に具体的なストーリーとして、機能するチームを作るためのリーダーシップとは何かが説明されている。
よく出てきたワードは「心理的安全」と「学習する」だったと思う。

心理的安全

心理的安全は反対意見が期待されたり歓迎される、率直にわからないと言える雰囲気なのだろうと思っている。別にメンバー全員が仲良しというわけでも、プレッシャーがないことでもないのだと説明されている。自分の意見を言えないと仕事に対して自分ごととして思っても言われたことしかしない環境になってしまうし、聞けばすぐに分かる直せるものに無駄な時間がかかってしまうと思う。
本書では職場で絵の心理的安全によって７つの明確なメリットがもたらされると紹介されている。

率直に話すことが推奨される
考えが明晰になる
意義ある対立が後押しされる
失敗が緩和される
イノベーションが促される
成功という目標を追求する上での障害が取り除かれる
責任が向上する

こういった環境であれば働きやすいのだろうと確かに思う。

学習する

求められているものは日々変わるし、新しい技術要望などは次々出てくる。そのためには学習し続けて成長していく必要がある。
それは個人としても成長しないといけないだろうし、グループとしても学習が必要になる。グループの学習では会話やドキュメントのやり取りを用いて情報の共有をすることが必要になる。
この時にもなんでも話し合えるために心理的安全が必要だろうと思う。