@hihihiroroのLog

ダラダラと。本ブログは、個人の意見であり、所属会社とは関係がありません。

202408 振り返り

最近は仕事の時間を減らす事があるので、自分の時間でやることを考えてみようと思っている。
趣味がこれといってないうえに、読書の時間も減ってしまっているので本当になにもせずにいる時間が増えている気がする。

そろそろ新しい知識も身につけたいしまた読書を徐々にしていこうと思う。

べんきょうかい

Google Cloud Next Tokyo に参加してきた。
なんか発表するようなこと何もしてないなーと思っていつも参加しているので、発表するために計画的な何かをしてみてもよいのかもしれない。

ほん

いろいろあってあまりというか全然本が読めなかった。
来月は少しずつでも読むことで何冊かを読み終えていきたい。

えいが

観たい映画がいくつかあることに気がついたので来月も観に行こうと思う。

202407 振り返り

今月は久々に連日休暇を取るほどの病気になった。
どうにか復帰をすることができたが、まだ本調子ではない気がしている。

最近はいろんな病気が流行っているらしいので気をつけないと調子悪くなってしまいそう。元気にやっていけるだけの体力をつけたいとは思っているので少しずつ運動をしていかなくては。

べんきょうかい

今月は何も参加しなかった。
ただ飲みに誘ってもらって言いたいことを言わしてもらえたのであとはやる気出してやっていくだけだな。

ほん

小説と漫画だけだったのは久しぶり。
データ関連の本を最近は買っているけど全く読めてないので御盆期間にはどうにかすこしでも消化したい。

また、最近はCI/CD 周りの本をまた読まなきゃなって思っている。

えいが

連続で観ていたので続きを観に行った。あいも変わらず面白かった。
観たい映画がいくつか出ているのでそろそろまた映画館にいっぱい行くか。

  • キングダム 大将軍の帰還

202406 振り返り

なんと気がついたら年の半分が終わってしまった。
気がついたらでどんどん日々が過ぎてしまっていて良くない気がする。これからやりたいことなどをちょっと考えながらそれに向かってやること決めて活動をしていきたいな。
最近は掃除の仕方を調べることが増えた。

べんきょうかい

久しぶりにAWS のイベントに参加した。何人か知り合いに会うことができたが、参加者の人数が多く疲れてしまった。
データ分析のところでRedshift って単語があまり言われてないような気がして今ってみんな何使っているんだろうなーと思った。

ほん

今月は疲れが溜まっていたのかあまり文字を読むことができなかった。
本を買うスピードは変わってないので積読が増えてしまってちょっと頭を抱えた月となった。

技術本よめてないから読んでいかないと取り残されてしまう。

えいが

あぶない刑事は世代なのか?という疑問もありつつずっと見ているので見に行ってしまった。
そのかいもあり8月のイベントの際にインターコンチネンタルホテルを予約してしまったがしょうがない。

  • 帰ってきた あぶない刑事
  • 碁盤斬り
  • ディア・ファミリー

202405 振り返り

飲み会が徐々に増えてきたのと管理される時期が終わってしまったのでゆるやかに体重がもとに戻り始めてしまっている。
少しずつ頂いた本を読みすすめている。面白い本が多くて他にも買って手を出してしまっているがゆっくりと読み終えるように怠けず続けていこうと思う。

べんきょうかい

久しぶりにオフラインの勉強会に行ってその場でいろいろ話したことで得た知見があった。
やっぱり勉強はサボらずやらないとだなと思ったのでがんばるぞい。

ほん

GW で時間を取ることができたので、誕生祝にもらった本をいくつか読むことができた。
早く読まないと古い知識になってしまう本も多くあるので早めに読み進めることを頑張らないとな。

えいが

観に行くことがなかった。
最近は観に行くことのほうが珍しくなってきた。

ぶろぐ

GW に読んだ本について少々感想を書いた。データ、クラウドk8s と興味ある本を読んだので面白く読めることができた。
本は相変わらず溜まっているので読み続けるぞ。

hihihiroro.hatenablog.com

hihihiroro.hatenablog.com

hihihiroro.hatenablog.com

「AWSで実現するモダンアプリケーション入門」を読んだ

ピタゴラスイッチの様にうまく組み立てることが増えてきていると思っているので、そのための情報を知っておく必要があるなと思うので使えるサービスについて知っておこうと思った。

第1章 モダンアプリケーションとは何か
第2章 サンプルアプリケーションの紹介
第3章 アプリケーション開発におけるベストプラクティスを適用
第4章 データの取得による状況の可視化
第5章 サーバレスやコンテナテクノロジーによる運用改善
第6章 CI/CDパイプラインによるデリバリーの自動化
第7章 要件にあったデータベースの選択
第8章 モダンアプリケーションパターンの適用によるアーキテクチャの最適化

環境選びとしてアプリケーション開発以外に手を掛けなくて良い構成を選ぶのが大事ということはわかっている。ただ、マネージドにすればするほどログが設定できてなくて見れなかったり、トラブルの時の対応方法を調べるのが大変になってしまうことが多くて良いとわかっていても諦めてしまうことが多かった。
しかし、そこは諦めるのではなくモニタリングとオブザーバビリティの設定をしっかりとできるように自分の能力を上げていく必要があるのだろうなと思った。なんとなく使えてしまっているから大変なことになるまで対応をしてないため大変になることはわかっているので、まずは使うと決めたサービスで何ができて何ができないか、どんな設定をしないとダメかを試すことに時間と手間をかけるようにしていきたい。

まとめ

  • 最後の章のパターンは覚えておく様に何度か読み直す
  • 作り直せるところから順番にやり直していきたいものだ
  • 最近はAWS 触る時間減っているからもっといっぱい触る

「つくって、壊して、直して学ぶ Kubernetes入門」を読んだ

Kubernetes で悩むことが多いので読むことにしてみた。

目次は以下。

Chapter1 Dockerコンテナをつくってみる
Chapter2 Kubernetesクラスタをつくってみる
Chapter3 全体像の説明
Chapter4 アプリケーションをKubernetesクラスタ上につくる
Chapter5 トラブルシューティングガイドとkubectlコマンドの使い方
Chapter6 Kubernetesリソースをつくって壊そう
Chapter7 安全なステートレス・アプリケーションをつくるには
Chapter8 総復習:アプリケーションを直そう
Chapter9 Kubernetesの仕組み、アーキテクチャを理解しよう
Chapter10 Kubernetesの開発ワークフローを理解しよう
Chapter11 オブザーバビリティとモニタリングに触れてみよう
Chapter12 この先の歩み方

大きくは3部構成となっておりKubernetesの構築、Kubernetesを使用してのアプリケーション実行、最後にアーキテクチャの説明や実践的知識の紹介がされている。絵がたくさん書かれているので読む分には疲れることがとても少ないと思った。
章をすすめるたびに書かれているコマンドの実行やファイルの適応をしていくことで少しずつ理解を深めていくことができて面白かった。ローカルだけでも動かせる内容だったので試すことも楽だった。

また他の書籍とは違う点として順調に動かすところを試していくだけではなく、自分たちでシステムを破壊したあとに調査を行う。その後に原因を探ることで修正をすることまで実体験できるのは面白かった。調査をするコマンドが多かったりするので実際に打つことは確かにそちらのコマンドの方が多いよなと思った。
調査の方法としても見ていく順番が紹介されている。切り分けをすることが難しくなるので小さいところから調べるなど他のトラブル調査にでも役立つ情報だなと。

他にも試してみたことないコマンドなども紹介があったのでもう少し試してみようと思った。

まとめ

  • 読みやすかったので復習に良かった
  • 試したことないコマンドなどもあったので試してみよう
  • デバッグのやり方、トラブル調査の仕方は役立ちそう

「データエンジニアリングの基礎」を読んだ

もっと早く読もうと思っていたのだが読めたので。

目次。

1章 データエンジニアリング概説
2章 データエンジニアリングライフサイクル
3章 適切なデータアーキテクチャの設計
4章 データエンジニアリングライフサイクルにおけるテクノロジの選択
5章 ソースシステムにおけるデータ生成
6章 ストレージへの保存
7章 データ取り込み
8章 クエリ、データモデリング、変換
9章 アナリティクス、機械学習、リバースETL へのデータの提供
10章 セキュリティとプライバシー
11章 データエンジニアリングの未来
付録A シリアライズと圧縮技術の詳細
付録B クラウドのネットワーク

実際に働いてみて幅広い分野に関わること多いよなと思っていたけど、本書でデータエンジニアが気にするべき領域が書かれていて本当に幅広く知識をもって働かなきゃいけないんだと気付かされた。本書ではツールや特定技術ソリューションの話題は避け、データエンジニアリングの背後にある普遍的な技術概念の説明に徹してるとのことなので具体的な話だけではないことを学ぶことができた気がする。

本書では、データをプロダクト価値に変えていく一連の流れをデータエンジニアリングライフサイクルという言葉で表現している。データエンジニアリングライフサイクルは以下と紹介されている。

  • データの生成
  • 保存
  • 取り込み
  • 変換
  • 提供

また、これらの土台となる要素としてセキュリティ・データ管理・DataOps・データアーキテクチャオーケストレーション・ソフトウェアエンジニアの説明がされている。

データアーキテクチャの例としていくつか例として取り上げられている。例えば、データウェアハウス、データレイク、Lambdaアーキテクチャ、Kappaアーキテクチャ、Dataflowモデルなどなど。この辺りがツールに偏っての説明ではないためどんなものを使う時でも話がしやすいようになっているなと思った。

データ生成の部分ではデータベースについての話や、保存のための箇所ではストレージに対するトレードオフなど自分たちが関わるサービスについては知識を持つことの大事さが紹介されていた。たしかに性能問題などが起きた時など結局色々と調べることが多いので広く勉強をしておく必要はあると再認識した。そのための勉強する範囲がまとまっているのでとても参考になった。

どの章にも参考資料がたくさん紹介されている。本だけではなくブログなども記載されておりどんどん幅広い勉強ができるだろうなと思うほどの量が書かれているので順番に読んでいくことをすすめたい。
ストリーミングの話やセキュリティ、モデリングなどはあまり自分から関わりにいってないところなので苦手意識があるので勉強はしないとなと思っている。勉強するのに良さそうなものをまずは参考資料から探そうと。

まとめ

  • データエンジアリングの全体像ってこんなにかと思うほど広範囲なことがまとめられている
  • 自分が知っている、関わっている範囲は狭いなと認識できたのでもっと頑張らなきゃ
  • 引き続き勉強頑張っていかないと
  • いろいろやることあって面白い職種なので興味ある方はぜひお話ししましょう!