@hihihiroroのLog

ダラダラと。本ブログは、個人の意見であり、所属会社とは関係がありません。

202302 振り返り

気がついたら月が変わっていた。
なんか仕事をやって休日は午後まで寝てばっかりなので仕事以外の記憶があまりないという残念な月になった。
ちょっと将来について考えてみるかと思い色んな人とお話をしていきたいなと思っている。
相談していこーと。

べんきょうかい

ごめんなさい。すっかり忘れていました。
ビデオを頑張って見ます。

ほん

今月はあまり本を読めなかった気がする。
漫画は気になったものをいくつか買って読めたので良かった。

えいが

最近は休みになるたびに映画を観に行くようなことがなくなった。
それでも気になったのは観に行っているので来月も行くぞー。

ぶろぐ

これだけしか読めなかったと言っても良いほど今月は本を読めてないな。
内容として面白かったし、自分も同じ属性だなと思った。

hihihiroro.hatenablog.com

「Webエンジニアのための監視システム実装ガイド 」を読んだ

前から欲しい物リストに入れていたけど届かなかったのだが、本屋で見かけたから買って読んでみた。

Chapter 1 監視テクノロジの動向
Chapter 2 監視テクノロジの概要
Chapter 3 監視テクノロジの基礎
Chapter 4 監視テクノロジの導入
Chapter 5 監視テクノロジの実装
Chapter 6 インシデント対応実践編
Chapter 7 監視構成例

監視システムの移り変わりから、ツールの説明、導入方法が書かれている。さらに監視の具体例と監視でインシデントが発見された際の対応についてまで説明されている。最後の章では監視を行うためのデザインパターン的な、いくつかのアーキテクチャの例が紹介されている。

まず監視の志向性として、チェックとメトリクスがあることが紹介されていた。それぞれは以下。

  • チェック指向・・・異常検知を志向
  • メトリクス指向・・・状況把握を志向

チェックとメトリクスはそれぞれ見たいものが違うため、どちらも使うことで狭義、広義どちらのモニタリングもできるようになる。
そして、チェックの仕組みには2つある。

  • Active・・・監視システムが能動的に監視対象にアクセスし観測。Pull方式
  • Passive・・・監視システムは待機、監視対象からデータを受け取り受動的に判定。Push方式

メトリクス収集もPullとPush の2パターンがある。それぞれにはメリット・デメリットがあるのでシステムの大きさ、データの必要な精度、システムにどこまで手が入れれるかなどによって選ぶ方式、ツールが変わってくる。どっちのほうが良い、悪いということでもないとは思うので使いやすいものと取得したいものが何かでちゃんと考える必要があるのだろうな。ただ、最近はクラウドを使っているとそもそも監視ツールが付いているのでそれらを使ってみることが多い気がする。

監視システムの構成は大まかに3つの要素で構成されていると紹介されている。

  1. 観測部分:監視対象を観測しデータを取得する
  2. データ収集部分:取得したデータを監視システムに集める
  3. データ利用部分:集めたデータを利用し正常性の判定や通知などを行う

収集したいもの、収集方法によってOS、ディスク、ネットワークなどシステムのモニタリングとログや応答時間などのアプリケーションのモニタリングを行っていく必要がある。また、それらを組み合わせてシステムの可用性などを踏まえてビジネスのモニタリングとして見ていくようにしていくのが良さそうである。

インシデント対応の章ではインシデント発生からClose するまでの流れが説明されている。対応を行ったあとの恒久対応のところが学びになった。再現できることと再現条件からインシデントの原因を説明できることとあった。確かにそれができればインシデント部分の解消もできるし、解消がすぐにできないようなら回避策を行うことができるかもしれない。インシデントの際は解決して、その時の行動についての振り返りはよく行っているが、原因について調べるが再現できるかまではあまり行っておらずなのでそちらについても振り返りを考えていくのが良さそう。

最後の章ではOSSを利用したパターン、SaaS 利用したパターン、クラウド基盤組み込みのものなどを使っての構成例が紹介されいてる。チェック、メトリクス、ログ、トレース、APM のそれぞれについて紹介がされている。その中から自分たちが見たいもの、お金などによって使うものを決めていくのが実際にシステムを構築していく上ですすめていくことになる。

まとめ

  • 監視システムについて、概要から選定・導入・運用まで一通り説明されていた
  • なんでも監視する必要があるのではなく緩急を付ける必要がありそうと思った
  • 使われ続けるためにシステムが動き続けるために必要なことなのでもっと勉強して試してみようと思った

202301 振り返り

すでに一月が過ぎてますが新年あけましておめでとうございます。
今年もよろしくお願いいたします。

年末から年始にかけてお酒の飲み過ぎだなと思うことが度々あった。
飲み会の回数も減っているので徐々にお酒に対して弱くなっていっているのだろう。気をつけなくては。

家の荷物を見ては毎度毎度本が多いと言っているが部屋にある本の8割以上は既読になっている本だった。それらがダンボールに詰め込まれて置かれているのでそれらをどうにか処理できれば部屋がスッキリするなと気がついた。 note.com

処理をするためにはまあまあな金額がかかることが見込まれるのでお金を稼ぎたい。
そろそろ真面目に副業も始めようと思うので、何かお仕事ある人はお話させていただけると嬉しいです!

べんきょうかい

今年もRSGT に参加できた。
毎年こんな動きができるチームが理想だよなと思いながら働いているのでとても楽しいし学びがある。
イベントで発表聞くのも勉強になるがスタッフやるのもとても良い学びなので皆さんもやりましょう。

ほん

コミックとRSGT の発表の中で紹介されていた本を優先的に読んだ。
組織の本を読んで思ったのだが自分はチームくらいの大きさまですらまだあまり経験がないので大きすぎてわからんことが多いなと思った。

ちょっと既読本のダンボールが溜まってしまっているのでお金をかけてでも処理を考えようかなと考え始めている。

えいが

映画にたくさん行こうという気分が収まったみたい。
同じ映画を何回か見たいと思うことは出てきたのでまたスラムダンクとすずめの戸締まり観に行こうかな。

ぶろぐ

業務に関係ある本だったので読んでみてまとめてみたのと、例年通りRSGT に参加したので参加ブログを書いた。
今年も発表を当日は見れてないのでビデオいっぱい見なきゃ。

hihihiroro.hatenablog.com

hihihiroro.hatenablog.com

#RSGT2023 でスタッフしてきた

毎年1月にやっているRSGT のスタッフTシャツも6枚目をもらうことができた。

2023.scrumgatheringtokyo.org

今年の意気込み

今年はこれをやるぞという意気込みをもたず、必要そうなところに仕事を探して向かうということをやろうと思って参加してきた。当日は受付にいること、会場をフラフラしていることを意識して行動していた。その甲斐もあったのか、お久し振りですの方と話をすることができたし、はじめましての方に挨拶をすることもできた。久しぶりの方とは当初は目を合わさないで喋るといういつも通りの行動をとっていた。

参加者もスタッフなのでは?

しかし、参加者の方々が年々スタッフ化していっているのではと思う。
セッションが始まるときの接続確認では見ている方々が音声や資料が見えているかの確認をしてDiscord でコメントをしてくれていたり、Day0 のセッションのようにスタッフがいなくても回してくれたり、お弁当が余っているのを見つけたら持ってかえっていただけたりと参加者の方々が自主的に動くことによって年々スタッフのやることが減ってきているなと思っている。
発表者や参加者の方々もオンライン・オフラインを自由に切り替えてうまく参加してくれているようだった。自分の状況に合わせて参加できるように設計されていてとても良いイベントだなと再確認した。

スタッフ間のやりとり

こちらも例年通りFacebook、Discord、トランシーバでのやり取りをしていた。Facebook には振り返りスレが始まる前からできており今年も活発に書き込みがされていた。みんな改善ネタを探すために働いているのではないかと思うほどにどしどし書き込みされていってた。トランシーバでは仕事の話だけではなく雑談やいつもどおりの尊敬のやり取りが流れていた。とても話しやすい雰囲気で仕事を頼みやすい雰囲気だなと思う。

セッション

セッションはほぼほぼ見ることができていない。動画がこれから公開されてくるはずなのでいっぱい見ていこうと思う。
資料はいくつか眺めてその中で紹介されていた本を何冊かすでに買ったのでそれらを読むことも忘れず頑張る。

今年の歩数

去年とあまり変わらない歩数で済んだ。

Day0 : 11,754 歩
Day1 : 14,596 歩
Day2 : 17,567 歩
Day3 : 18,215 歩

「大規模データ管理」を読んだ

データを扱っている人達の間で話題だったので読んでみた。
勉強し直したら再度読み直す。

目次は以下。

1章 データ管理の崩壊
2章 Scaled Architecture の紹介:大規模なデータ管理
3章 膨大な量のデータの管理:読み出し専用データストアアーキテクチャ
4章 サービスとAPI 管理:API アーキテクチャ
5章 イベントとレスポンスの管理:ストリーミングアーキテクチャ
6章 すべてをまとめる
7章 接続可能なデータガバナンスとデータセキュリティ
8章 データを価値に変える
9章 エンタープライズデータ資産の活用
10章 メタデータによるデータの民主化
11章 おわりに

発生するデータが増える、新しいアーキテクチャが発表されるなどでアプリケーションの変更が行われることがたくさん起きている。それに合わせてデータ管理と統合に関する考え方が本書では提案されている。本書の中ではScaled Architecture という名前で紹介されており、データガバナンス、データセキュリティ、データ品質、マスタデータ管理にメタデータ管理などの領域についても記載がされている。

1章では、データ管理の説明と変異について、2章ではScaled Architecture の詳細についての説明がされている。統合アーキテクチャの具体的な例として3章で読み出し専用データストアアーキテクチャ、4章ではAPI アーキテクチャ、5章でストリーミングアーキテクチャが取り上げられており6章ではこれらをまとめた全体像が紹介されている。7章ではデータガバナンスとセキュリティに対する取り組む方法の検討、8章でScaled Architecture のビジネスで使われるケース紹介、9章でマスタデータ管理のガイダンスが続き10章ではメタデータの使い方、11章で将来像の話がされている。

どれもこれも難しい内容となっている。難しい事の理由としてデータのことだけではなくアーキテクチャドメイン駆動設計、マイクロサービス、分散処理、クラウド知識など幅白い知識と考え方を身につけてすすめていかないとどこかで行き詰まってしまうのだろうと思った。今まで以上に勉強をしていかないとデータ基盤を作る、運用するということが時代遅れのまますすめることになってしまうのだろうなと焦りを感じた。

本書で紹介されているScaled Architecture はデータプロバイダとデータコンシューマが簡単に接続でき、柔軟性、コントロールインサイトを提供できるスケーラブルで高度な分散型アーキテクチャと紹介されている。そして、これらを実装するための原則が紹介されている。ここで使われている考え方やアーキテクチャは知らないものはなかった気がする。それらをうまく組み合わせることや、考え方を混ぜることでうまく実装がされているのだろうなと思った。

まだ自分で完全に理解したという状態には全然なっていないと思う。いくつかの分野については少しは知っている状態だったり、まあ知っているかなという状態で読んだ。面白かったし勉強になったなと思っうことはあったが、自分が運用しているシステムに落とし込んでいくためにはまだまだ全然足りていない知識が多いと思う。また、本書ではデータレイヤの説明がされているがそこに入り込んでいくにはデータを連携するだけではなく、システムやビジネスとちゃんと話をしたり、一緒に作業をしていく必要があるのだろうなと思った。今後このあたりについては組織の話も出てくるだろうなと思ったが、まずは技術的な内容で話ができるようになるぞと思った。

まとめ

  • データ管理について進化しなきゃいけないことが沢山あることが分かった
  • 自分の理解があさいなと思うことがいっぱいあって面白かった
  • ソフトウェア開発について再度勉強をし直してみよう

202212 振り返り

人と話をする時間が増えた年だった。
そのおかげで読書の時間は少し減ってしまったが得るものはたくさんあったので良かった。
人と話をして意見を述べれるようになったり論破されないようになったりともう少し考えながら話をできるように努力しよ。

べんきょうかい

データ周りの勉強会にいくつか参加することができた。
ただし流し見になってしまっているのであまり詳しく覚えれてない。集中できてなくて良くないな。

ほん

小説をまとめて買って読んだのは久しぶり。小説は相変わらずサクサクと読むことができたので本を読むことが苦手になってはいなそう。
ただ最近は読み始めれば読むことができるが、最初に手を出すまで時間がかかっている気がする。複数の本を同時に読むのをまた試してみようかな。

えいが

スラムダンクはとても面白かった。
小学校時代にバスケットを始めた理由がスラムダンクだったのでとても懐かしく観ることができた。
内容も面白かったのでまた観に行きたいな。

ぶろぐ

実家に帰ってきたので毎年通り実家でのんびり本を読むことができているのでブログを書いてみた。

link.medium.com

hihihiroro.hatenablog.com

hihihiroro.hatenablog.com

hihihiroro.hatenablog.com

2022年のふりかえり

2022年の感想

今年は夜に話をする時間が増えて面白かったなと思う。その流れでAmong Us を初めてやったのも面白かった。事前情報なくその場の情報と思考だけで問題を解くことって難しいんだなと思った。来年はもっと多くゲームしてみたいな。
話をする友達が増えたと思っている。まあまあ長い時間を話していると思う。自分よりも頭が良いな、見てるところが違うなと感じることが多いので話していて面白い。来年もお相手をお願いしたい。
ご飯については調理器具を買ったので何回か料理をしてみたが自分のためにする気はあまり起きないのだなと分かった。
今年は病気になることもなかったし飲み会にも参加できたし友だちも増えたと思っているし面白い年だったな。

アウトプット

機会があったのでイベントで話しをすることができた。
話をすると今まで頭の中でもやもやしていたものがまとまったり、相談相手が増えたりと良いことが多かった。もうちょっと思っていることをまとめて発信していけると良いんだろうなと妄想はしている。
それ以外には例年通り読んだ本についての内容を書いてみていた。去年よりも書いている本数が増えているようでなにより。

イベント発表

Innovators Hive at Next ’22 でデータエンジニアとして喋ってきた。ちゃんと自分の仕事として社外で話をするのは初めてだったので緊張してた。動画も公開されてます。話をしたのも良かったけど、他社のスペシャリストとワイワイできたのがとても良かった。

www.youtube.com

輪読会

「実践的データ基盤への処方箋」の輪読会に参加した。
その時の発表が記事としてまとめられてます。以下が自分のパート。

gihyo.jp

ブログ

  • ブログ : 40本

相変わらず自分の読んだ中で感想を書いておこうと思った内容についてダラダラと。
読む本はチーム、クラウド、データ等に相変わらず寄っている。他の分野についても興味がないわけではないが読む時間が取れてないのでもう少し本の読み方を練習したいな。

hihihiroro.hatenablog.com hihihiroro.hatenablog.com hihihiroro.hatenablog.com hihihiroro.hatenablog.com link.medium.com hihihiroro.hatenablog.com hihihiroro.hatenablog.com hihihiroro.hatenablog.com hihihiroro.hatenablog.com hihihiroro.hatenablog.com hihihiroro.hatenablog.com link.medium.com hihihiroro.hatenablog.com hihihiroro.hatenablog.com link.medium.com hihihiroro.hatenablog.com hihihiroro.hatenablog.com hihihiroro.hatenablog.com hihihiroro.hatenablog.com hihihiroro.hatenablog.com hihihiroro.hatenablog.com hihihiroro.hatenablog.com link.medium.com link.medium.com hihihiroro.hatenablog.com hihihiroro.hatenablog.com hihihiroro.hatenablog.com hihihiroro.hatenablog.com hihihiroro.hatenablog.com hihihiroro.hatenablog.com link.medium.com hihihiroro.hatenablog.com hihihiroro.hatenablog.com link.medium.com hihihiroro.hatenablog.com hihihiroro.hatenablog.com link.medium.com hihihiroro.hatenablog.com hihihiroro.hatenablog.com hihihiroro.hatenablog.com

インプット

去年よりは読書も映画鑑賞の数も減っている。
休日に起きる時間がどんどん遅くなっているので単に本に関わっている時間が減っているのかな。
映画はまん延防止等重点措置の間は行かなかったのと前ほどいろんな映画を見なきゃと思う気持ちが減ったなと。本当はその分を読書に当てたい。
ただシン・ウルトラマンは結局何回も見に行ったしAmazon Prime Video でも見ているので全く観たくないわけでもない。来年のシン・仮面ライダーが楽しみ。

ほん :1,155冊
えいが:40本

2023年

インプットについては例年通りすすめていけてた。本にしろ勉強会にしろ飲食にしろ色々取り込むことができたのではないかと思っている。今年はUntappd にはビールを194本登録していた。年間で250杯以上は多分飲んだろうな。来年もビールは元気に飲むぞ。

仕事についてはあまり新しいことができなかったな。チームメンバは今年も何人か入れ替わっている。そのたびにチーム力が上下している気がするのだけど入れ替わってもあまり影響が無いようなチームにしておきたいな。

今年の目標にしていた謙虚はあまりうまくできなかった。どちらかというと傲慢な態度がでていた気がする。悪口をそこそこ言ってしまっていた。それらを言ったところで変わるわけでもないし、聞いている人たちも気分が悪くなってしまうだろう。来年こそは謙虚な態度を取るようにするぞ。あとは言ったことはやることをこころがける。

ダイエットについてはおすすめされたおかげでasken をつける習慣がついた。これを見ているととても食べすぎていることが分かる。まずはここで指示されている摂取目標カロリーになるように試してみようと思う。今の所大体半分くらいは超えてしまっている…

来年はあれがあれなのであれをしようと思っている。今年は友だちが増えて話する時間が増えてとても面白かった。来年も色んな人と話をできるようにしていきたいな。飲み会でもオンラインでもお相手してくれる方募集しています。今年お話した方々は来年も引き続きかまってくださるようお願いいたします。

今年も皆さま大変お世話になりました
来年もどうぞよろしくお願いいたします