@hihihiroroのLog

ダラダラと。本ブログは、個人の意見であり、所属会社とは関係がありません。

#RSGT2022 でスタッフしてきた

5年目のボランティアスタッフとして参加した。

ごめんなさい

まずは謝罪を。スタッフの方の名前と顔がだいぶ一致していません。ごめんなさい。
Day0 での準備に参加できないことが多いため自己紹介をすることなく働いていることが原因なんだろうか。人と会うことも少ないのでわーって集まる場だと人見知りが発生しているので名乗ることもあまりできなかった。友達申請なんかがとんだ場合は快く受け入れてくれると嬉しいです。

感想

さて、去年に引き続きハイブリット開催となったRSGT2022。Discord でのやり取り、Zoom での配信はもはや参加者全員ベテランなのかと思うほどトラブルも少なく盛況な様子だったみたい。オフライン参加者は去年の倍ほどになっていた。ワイワイしている場が見れるのは楽しかった。ただ、参加者の人に後で言われたのが1年ぶりで会う人が多くて初めての参加者にいつもより構うことができなかったと聞いてなるほどと思った。そこらへんはスタッフがもう少し気にしても良かったのかもと思った。

当日スタッフとしてやっていることは毎年一緒で部屋づきと雑用。部屋づきでは発表者が必要そうなことを手伝うことと司会をしている。今年の部屋づきでは新卒同期の部屋づきを経験した。当日まで本人だと思ってなかったのでびっくりした。
雑用は誰かがトランシーバで手伝いを求めている時に手伝いに行くくらい。あまり自分でこうしたら良いかなと思うこともなかったかな。とにかくスタッフの熟練度や学ぶ速度が早く改善点が見つかると何かしらの対応策が考えられすぐに問題解決されている印象。

これを書いている最中に去年の感想を読んでみたが反省点で出ていたDiscord に入るは全くできてない。司会の際に質問をひろうか、クロージングキーノートを聞きながらコメントしていたくらいしかDiscord は触っていない。来年こそは。。。

スタッフ間のやり取り

スタッフ間のやり取りはFacebook のグループと当日のトランシーバでやり取りしている。Faceook グループでは前日くらいから振り返りスレができておりなにか気になったことは気軽に書けるようになっている。今*1見ると268件のコメントが書かれている。少しでも働きやすくするという気持ちのあらわれなんだろうな。
また、他のスタッフのブログにも書かれているがトランシーバでもテキストでも「尊敬しています。」という言葉が溢れているのがすごく良いと思う。何かをしたりコメントすると返事のように尊敬が返ってくる。すごい人達だと眺めている皆様から尊敬していますと言われると恐縮するがやってよかったなと思い、さらに何かしようと思うようになる。そんなスタッフの皆さんもRSGTに参加してた皆さんも尊敬してまーす。
普段のチームでも言っていくのが良いのかもと思ったから今年は試してみよ。

来年は?

RSGT2023 の開催は2023/01/11-1/13 らしい。
どんな開催になっているかはわからないけど参加はするだろう。ボランティアスタッフも多分申し込むと思う。
今年の参加者でスタッフ楽しそうだなと思っていただけた方がいれば申し込むのが良いと思う。

今年の歩数*2は以下だった。まあまあ歩いたな*3

Day0 : 10,745 歩
Day1 : 15,407 歩
Day2 : 16,468 歩
Day3 : 18,155 歩

*1:2022/01/09 12:30

*2:1日の歩数なのでイベント中の歩数ではない

*3:ピクミン調べ

「Kubernetes CI/CDパイプラインの実装」を読んだ

CI/CD 何もわからないとなった時に見かけたので読んでみた。
目次は以下。

第1章 開発プロセスの運用変化
第2章 クラウドネイティブ開発に向けた環境準備
第3章 Tekton Pipelines の概要
第4章 継続的インテグレーションのパイプライン
第5章 イベント駆動のパイプライン実行
第6章 Argo CD の概要
第7章 継続的デリバリのデプロイメント
第8章 継続的デリバリのリリース

コンテナを活用したシステムを作成しても運用、アプリケーションライフサイクルが今まで通りだと自動化や変更がうまくできないことが多いことが1章で紹介されている。まずはコンテナを活用した開発プロセスについての説明がされており、コンテナ実行基盤をKubernetes で行うためKubernetes についても説明がされている。
Kubernetes 前提でのCI/CD の話になるためKubernetes のカスタムリソースを用いることでCI/CD の実装を行っている。そのため、Kubernetes の説明でもリソース、オブジェクトについての説明がされている。

Kubernetes 環境での運用のためにCloud Native trail Map を順番に見ながら環境の構築と説明がされていた。本書ではCIツールとしてTEKTON が、デリバリーツールとしてはArgo CD が使われている。
リポジトリのブランチ戦略や権限分離、それら説明されたツールを使ってのマイクロサービスのデプロイについてが説明されている。安全にデプロイするデプロイメント戦略についても説明されていた。
古いアプリケーションを削除して、新しいアプリケーションと置き換えるRecreate Update や、徐々にアプリケーションをアップデートするRolling Update、アクセスを制御することで切り替えるBlue-Green Deployment などが紹介されている。これらをArgo CD で実施するためのマニフェストや設定の説明がされているので試してみると動きがわかりそう。このあたりはツールによらない話なので理解しておきたい。ツールに関しては設定から実行まで順番に説明されているので試してみることができるので楽しい。

まとめ

  • Kubernetes 環境でのアプリケーションライフサイクルについての勉強ができた
  • 開発プロセスが本書で書かれているものに載せれないか調べてみたい
  • GitOps について勉強する

「ハンズオンで分かりやすく学べる Google Cloud実践活用術 データ分析・システム基盤編」を読んだ

データ分析とコンテナ環境についてのハンズオンしながらの説明本だったので試してみた。
どちらも興味あるし関わっている分野だったので読者として狙われたのかなと思いながらやった。

目次は以下

第1章 ビッグデータサービスの概要
第2章 BigQuery を体験する
第3章 BigQuery の内部構造
第4章 タイムトラベル機能を使ったデータの復元
第5章 BigQuery へのデータ取り込み
第6章 Data Catalog を用いたメタデータの管理
第7章 リアルタイム分析
第8章 セキュリティ設計とコスト管理
第9章 コンテナの仕組みと歴史
第10章 コンテナを体験する
第11章 コンテナオーケストレーションの仕組みとKubernetes の特徴
第12章 Google Kubernetes Engine (GKE) を体験する
第13章 GKE を活用した設計のポイント
第14章 GKE を使ったシステム運用のポイント
Appendix Google Cloud の基本

前半のデータ分析編ではBigQuery を構造データ、Cloud Storage を非構造データを置くデータレイクとしての設計が紹介されている。そしてGoogle Cloud 上でのクラウドネイティブなデータ分析アーキテクチャのベストプラクティスが紹介されている。また、BigQuery をメインとして使うためにSQL などデータを参照するための方法、BigQuery の内部構造の説明などがされている。ここでは分散インメモリーシャッフルや分散ストレージなど知っておくとデータのロードやクエリを書く際の役に立ちそうな知識が学べた。
その後 FOR SYSTEM TIME AS OF を使ってのデータの復元方法などが紹介されている。このあたりを使用しての運用方法についての考え方も勉強になったが一部は実施している内容だった。
そしてデータ基盤への代表的な7つの取り込み手法として以下が紹介されている。

  1. Dataflow + Dataflow テンプレート
  2. Dataflow +Cloud Dataprep
  3. Dataflow + Apache Beam
  4. Dataproc のみ
  5. Dataproc +Cloud Data Fusion
  6. BigQuery Data Transfer Service
  7. Transfer Service

いくつかは使ったことがあるが使ったことのないサービスもあるのでちゃんと試してみたいなと思った。また、これらをどういった基準で選べばよいのかは触ってみた感想も交えてまとめておきたい。

その後のメタデータ管理とストリーム処理に関しては今年に考えてみようと思っていたので勉強できたのは良かった。ただ、まだ具体的にどうするかは決まらなかったので今後も情報を集めたり、試したりをしたい。また、データ分析での最後の章のセキュリティ設計とコスト管理ではプロジェクト分離やIAMの設計例が載っていたり、VPC Service Controls を用いてのデータ流出防止が説明されている。ここに関してはハンズオンで試せてないのでまたちゃんと読んでみようと思う。自分が管理しているシステムでこのあたりの問題がないかも確認をしてみようと思った。

システム基盤編ではGKE を使用するためにまずコンテナの説明があり、コンテナオーケストレーションとその中のKubernetes の説明がまあまあ詳しくされている。初めて見る人でも一通りの知識は身に着けれそうだなと思った。
このあたりは僕は他の本でも勉強しているのでサラリと読みすすめた。後半で勉強になったのは13章の設計のポイントと14章のシステム運用のポイント。Kubernetes の設計・運用についてではなくGKE に特化しての話もあるので面白かった。こちらも現在運用しているクラスタがあるので問題ないんだっけとかは確認してみようと思った。

まとめ

  • データ分析・システム基盤編ってっ自分にささる本だったので面白かった
  • BigQuery について詳しく説明されていることが多く勉強になることがあった
  • データ分析編の中で今後やってみたいことも説明されていたので試してみる

「チームトポロジー」を読んだ

チームのあり方のパターンがまとめられていた。
内容としてはデリバリを効果的に行うための開発チームや組織をどのように作るべきかについてまとめられている。
チームが最大限に成果を出すためのチームの人数やその責任の範囲のデザインの仕方、基本的な4つのチームタイプ、そのチーム間のコミュニケーションパターンについて説明されている。さらにはこれらをどう変化させていくかについても説明されている。これらが理論だけではなくいくつかのケーススタディと一緒に説明されている。

本書ではコンウェイの法則、逆コンウェイの法則を原則としてチームの設計が説明されている。実際に働いてみてコンウェイの法則は当てはまるなと思うことが多い。

チームに対して過度な認知負荷や余計なコミュニケーションを増やすことが余計な仕事を増やしているということは納得感がある*1。長く安定しているチームがプロダクトを開発、メンテナンスしていくことでサービスも安定するのだろう。サービスもチームも安定することでようやくサービスの将来について考えたり新しいことに手が出せるのだろうと思う。認知負荷が上がりすぎてないかを検知できるような仕組みを考える必要がありそう。

また、どのチームタイプになるかだけではなく他のチームタイプと関わる際のコミュニケーションパターンについても説明されている。チーム間のコミュニケーションパターンによってはサービスの作りにも影響は出るだろう。しっかりと組んでしまうと密結合なシステムになってしまうことが多いだろうし、うまい距離でやりとりをしている場合にはAPIを通してサービスを使うような疎結合なシステムになるかもしれない。
このあたりを考えてコミュニケーションパターンを考える必要があるが、本書ではこれらの変化のさせ方についても説明されている。

今の仕事をしている時にこの仕事は自分の部署でやるんだろうか?それとも隣の部署がやるんだろうかと考えることが多かったのだがこれもそもそものグループ分けの際にどこがなんの仕事をするか決めてチーム作成をしていないからなんだろうなと思った*2。ぜひグループを考える人達にも本書を読んでみて欲しいなと思った。

また認知負荷以外にもチームの成熟度や技術力などについても監視できる仕組みを取り入れていきたい。隣のグループが開発生産性についてはメトリクスを取っていたのでまずはそのあたりを取り入れてみるところからかな。

まとめ

  • 自分のチームをどのトポロジーに当てはめるか考えてみたい
  • 自分のチームをほかのチームが扱う際に困らないようにチームAPIを設計してみたい
  • 偉い人に自分たちのチームに求めているものが何か聞いてみたいと思った

*1:適当なコミュニケーションは必要だと思っている

*2:考えているのかもしれないけど僕には分かっていない

202112 振り返り

2022年になった。
今月は小説をたくさん読んだ。久しぶりに読むとやっぱり面白い。
ルンバを買ったのだがとても楽だなと思っている。すみが掃除がされてないこととルンバに合わせて床に荷物を置かないようにするなどルンバに生活を支配され始めた。これを機に部屋きれいにしておこう。

べんきょうかい

データについての勉強会に今月も出た。
データエンジニアになって3年経ったしなにかそろそろ成果出したいものだ。

ほん

SF を読みたくなったので何冊か読んだ。小説は技術書に比べれば読めるの早いし面白い。
技術書はまだまだ積まれているので来月以降も消費するよう頑張ろ。

えいが

またコロナが流行りそうだから観れそうな時期にいっぱい観てきた。
今月はアニメが多かったけどアニメ映画も昔に比べると大人がたくさん観にきている気がする。

ぶろぐ

1冊だけ年末のできた時間で読めたので。

hihihiroro.hatenablog.com

2021年のふりかえり

2021年の感想

今年もコロナが流行っていた。そして僕もコロナにかかってしまった。コロナになっている間のことはブログに書いたが辛かった。2度とかかりたくはないと思った。
ワクチン接種後の少し落ち着いたあとに少しだけ飲み会をすることができた。オフラインで人とあって笑い合いながらお酒を飲めたのは久しぶりでとても楽しかった。また気軽に会えるようになって欲しいな。
プライベートでは引っ越しをしたので環境が変わった。前の家よりも買い物先は遠くなったが近くに知り合いも住んでいるし過ごしやすい。
仕事ではメンバの入れ替わりが多かったので落ち着かなかったな。

アウトプット

毎年通り本の感想を。
来年は本を読んだ内容を勉強会で発表する予定をすでに入れているので早めに資料作ろ。

  • ブログ : 29本

ブログ

インフラ周りの本かチーム作りの本をたくさん読んだ。チーム作りなどについて読んでいるがそもそもの前提条件あるよなと最近思っている。
本を読んでいる内容をうまく実行はできていないが、本は引き続き読んで知識は仕入れいてこう。

インプット

本は読んでいる。古いマンガを買って読んでいるので積読は相変わらず消費されていないが平均して月に100冊くらい読んでいるらしい笑。
最近は読む本の方向性が決まってきた気がする。来年も引き続き本は読んでいきたいなと思っている。
映画はコロナの影響で2、3ヶ月見ていない月があるが去年と同じ本数を見ている。映画も引き続き来年も観るだろうな。

ほん :1,208冊
えいが:59本

2022年

去年の振り返りでやろうと思ったことはなにも達成できていない。積読に関しては本が増えたし、ダイエットについてはできるどころか余計に太った。
今年は仕事での人の出入りが多く、考えさせられることが多かった。勉強をしている気もするし、色んな人とお話もさせていただいているがだいたい何もできていない。うまく回せるようなチーム作りをやりたいな。

来年はついに40歳になる。来年の目標ってなんだろうなと考えていたが謙虚と質素を目標に生活しようと思う。
謙虚に関しては最近仕事での立ち位置が老害なのではと思うことが多くなった。今年、椎葉さんの発表を聞いて自分がいまだに実践できていないことに現状を見て行動するができていないと思っている。自分の意見を押し付けたり、こうだったと過去の事を言うことが多かったりするので良くないなと振り返っている。謙虚になって人の意見を聞くや現状を見ての対応などをするよう頑張る。
質素はご飯や買い物を何も考えずに買っていることが今年は多かった。食べきれずに翌日に回したりとか、読みきれずに積読が増え続けるなどしていた。年齢も年齢なので貯金をちゃんとするためにも必要な分だけ買うという当たり前の事をしようと思う。別に我慢をするわけではないので本を買うことをやめたりとか飲み会に行かないとかではない。
この2つが守られてないぞお前と思う人がいたら言ってもらえると嬉しいです。

今年も色々とありがとうございました&お世話になりました。
来年も引き続きよろしくお願いいたします。

「「BIツール」活用 超入門 Google Data Portalではじめるデータ集計・分析・可視化」を読んだ

知っている人が書いたとのことでBI については知識がないので読んでみることにした。

目次は以下。 

第1章 入門編:分析ダッシュボードを使ってみよう - 実際の業務体験ハンズオン
1-1 BIツールの基本
1-2 データの読み込みと集約
1-3 集計、グラフによる可視化
1-4 関係性の分析
1-5 結果を共有するためのデザイン
1-6 結果の展開、共有
1-7 ダッシュボードのインタラクティブ機能
第2章 ステップアップ編:さまざまな分析をしてみよう - 実践で使える様々なテクニック 2-1 実務に向けて学ぶBI応用
2-2 KPIモニタリングとKPIマネジメント
2-3 KPIの分析
2-4 意思決定のための分析
2-5 業務情報を検索するダッシュボード
2-6 データサイエンスを取り入れる:単回帰分析
2-7 データサイエンスを取り入れる2:時系列解析
2-8 データサイエンスを取り入れる3:類似度
2-9 データサイエンスを取り入れる4:DID
2-10 情報管理を行う
2-11 データの加工に関して
第3章 レベルアップ編:BIツールに関する知識をつける 3-1 BIツールを取り巻く環境について
3-2 BIツールが使われるケース
3-3 BIツールとデータ分析環境の立ち位置
3-4 ETL(ELT), DWHに関する基礎知識
3-5 Tableau,Metabase,Kiijer といったBIツールに関して
3-6 BIエンジニアの業務フローとケイパビリティに関して
3-7 BIとデータマネジメント

タイトルにData Portal とあるがこれは無料ですぐに使えるから選ばれているだけでData Portal の使い方の説明本ではなかった。実際にBI環境でダッシュボードをハンズオン形式で作る流れになっていた。
第1章では用意されているデータとData Portal を用いて目的に合わせたダッシュボードを作成している。僕はダッシュボードを実際に作ることを仕事ではしていないので実際に手を動かすことができたのは楽しかった。書かれている通りに作業するとダッシュボードはできたのだが、どういったデータを見せる時にどのグラフを使えば良いかなどは実際に作って、見てくれる人からのフィードバックをもらわないとなれないんだろうなと思った。また、作業ごとにダッシュボードの変化がどう行われているかがせっかくだからもう少し画像であると嬉しかった。

第2章では業務管理、分析のPDCAサイクルを回すためのダッシュボードの作成やデータサイエンスの結果を取り込んだダッシュボードの作成などが紹介されている。ただデータを可視化するだけではなく、作成したダッシュボードを使っていかにビジネスを回すことを考えるかということが少し説明されている。データ分析をするだけでは売上に貢献できない。ここで書かれているようにビジネスへの連携まで考えてダッシュボードを作る必要があるのだろうなと思った。

最後の第3章ではBIに関わるデータ分析環境の説明がされている。BI環境に求められる機能が8つ説明されているが僕はダッシュボードは見ている人が同じデータ、同じ分析を共有できることが1番大きいと思っている。自由に分析ができる環境は大事だと思うが、同じものを見ていると思っていたのに違う値を出力していたなどをみたことがある。そのため間違いなく受け取られるためのダッシュボードを作ることを考える必要があると思った。
また本書で書かれているDWHやETL(ELT)について少し違和感を感じた。このあたりの用語は仕事でもよく使っているが話している人の認識がずれているなと感じることが多い。これを気に勉強し直して自分はこう思っているという用語集を作っておいてみようかと思った。

まとめ

  • BIツールを使用してのダッシュボード作成をハンズオン形式で試すことができた
  • 業務上のデータを本書の内容を元に使える定義作成、ダッシュボードの作成を試してみようと思った
  • 用語についてもっと勉強し直そうと思った