202208 振り返り

ちょっとだけ涼しくなったなと思う日が増えてきた。
それでも連日暑いので家から出る時間が相変わらず増えない。運動を一定したほうが良いことはわかっているので頑張るかのお気持ち。

べんきょうかい

今月はあまり出ることができなかった。
スクラムフェス仙台も前日に思い出しチケットを買ったので、キーノートしか聞けてない。
ビデオ公開されたら順番に見ていきたい。

• スクラムフェス仙台

ほん

技術書も小説も普段よりは読むことができた。
漫画は相変わらず読んでいるがそろそろ買う量を減らしていきたいと思っている。

• Kubernetes on AWS
• コンテナ型仮想化概論
• カオスエンジニアリング
• クラウドネイティブ・アーキテクチャ
• 推薦システム実践入門
• AWSではじめるデータレイク
• WEB+DB PRESS Vol.130
• いちばんやさしいWeb3の教本
• 論理哲学論考
• 論理哲学論考
• 月と六ペンス
• 東京の子
• 距離の嘘
• 嘘と正典
• 三体X 観想之宙
• え、社内システム全てワンオペしている私を解雇ですか? 2
• 人類最強のsweetheart
• トーマの心臓
• すずめの戸締まり
• 月曜日のたわわ 5
• 異世界帰りの大賢者様はそれでもこっそり暮らしているつもりです 1
• 異世界帰りの大賢者様はそれでもこっそり暮らしているつもりです 2
• 食戟のサンジ
• ONE PIECE 103
• 呪術廻戦 20
• SAKAMOTO DAYS 8
• 逃げ上手の若君 7
• あかね噺 2
• 地球の子 2
• アヤシモン 3
• 左ききのエレン 21
• ダンダダン 6
• Thisコミュニケーション 7
• 鴨乃橋ロンの禁断推理 7
• 君が獣になる前に 4
• 二度転生した少年はSランク冒険者として平穏に過ごす 6
• アラフォー賢者の異世界生活日記 9
• 世界でただ一人の魔物使い 8
• 左遷された最強賢者、教師になって無敵のクラスを作り上げる 6
• 育成スキルはもういらないと勇者パーティを解雇されたので、退職金がわりにもらった【領地】を強くしてみる 5
• 魔物を従える“帝印”を持つ転生賢者 5
• 暗殺スキルで異世界最強 3
• 最高難度迷宮でパーティに置き去りにされたSランク剣士、本当に迷いまくって誰も知らない最深部へ 1
• 魔法史に載らない偉人 1
• 僕の心のヤバイやつ 7
• 売国機関 7
• 働かないふたり 26
• 味方が弱すぎて補助魔法に徹していた宮廷魔法師、追放されて最強を目指す 4
• 転生したら第七王子だったので、気ままに魔術を極めます 8
• 転生貴族、鑑定スキルで成り上がる 8
• 信じていた仲間達にダンジョン奥地で殺されかけたがギフト『無限ガチャ』でレベル9999の仲間達を手に入れて元パーティーメンバーと世界に復讐＆『ざまぁ！』します！ 5
• 推しが隣で授業に集中できない！ 7
• WIND BREAKER 8
• ダンジョン飯 12
• 大ダーク 5
• 史上最強オークさんの楽しい異世界ハーレムづくり 10
• 転生賢者の異世界ライフ 17
• 極東事変 4
• 強すぎて勇者パーティーを卒業した最強剣士、魔法学園でも愛される 1
• 神スキル【呼吸】するだけでレベルアップする僕は、神々のダンジョンへ挑む。 6
• 黒影のジャンク～大決闘会編～ 8
• 黒影のジャンク～大決闘会編～ 9
• 黒影のジャンク～大決闘会編～ 10
• 黒影のジャンク～大決闘会編～ 11
• 化物語 18
• め組の大吾 救国のオレンジ 5
• 青のミブロ 4
• EDENS ZERO 22
• 黙示録の四騎士 8
• 陸奥圓明流異界伝 修羅の紋 5
• 生産職を極め過ぎたら伝説の武器が俺の嫁になりました 5
• 善人おっさん、生まれ変わったらSSSランク人生が確定した 6
• 元勇者は静かに暮らしたい 1
• TSUYOSHI 15
• 世界最強の後衛 6
• 異世界おじさん 8
• 没落予定の貴族だけど、暇だったから魔法を極めてみた 5
• 山口つばさ短編集 ヌードモデル
• ザ・ゲームスターズ 1
• ひとりぼっちの異世界攻略 13
• ブラックな騎士団の奴隷がホワイトな冒険者ギルドに引き抜かれてSランクになりました 4
• 追い出された万能職に新しい人生が始まりました 5
• 衛宮さんちの今日のごはん 8
• LV999の村人 12
• 一億年ボタンを連打した俺は、気付いたら最強になっていた 4
• ただの屍のようだと言われて幾星霜、気づいたら最強のアンデッドになってた 2
• 痛いのは嫌なので防御力に極振りしたいと思います。 6
• 最強不敗の神剣使い 1
• 鍛冶屋ではじめる異世界スローライフ 3
• BADON 6
• 僕らが恋をしたのは 1
• 僕らが恋をしたのは 2
• アラフォー男の異世界通販生活 5
• 勇者パーティから追放されたけど、EXスキル【固定ダメージ】で無敵の存在になった 4
• GOLDEN SPIRAL 1
• てのひら創世記 4
• 数学ゴールデン 4
• スノウボールアース 4
• 風都探偵 13

えいが

ONE PIECE 面白かった。 お盆の間は実家に帰ってこもっていたのであまり映画を見に行くことができなかった。
まあ、コロナまた増えているみたいだからしばらく少なくしておこう。

• ONE PIECE FILM RED
• バイオレンスアクション

ぶろぐ

お休みがたくさんあったので積んでいる本を読んでみた。

hihihiroro.hatenablog.com

hihihiroro.hatenablog.com

hihihiroro.hatenablog.com

hihihiroro.hatenablog.com

hihihiroro.hatenablog.com

hihihiroro.hatenablog.com

「AWSではじめるデータレイク」を読んだ

読むんだと決めて買ってから1年以上経ってしまったけどようやく読んだ。

AWSではじめるデータレイク: クラウドによる統合型データリポジトリ構築入門

序章 データレイクを始めよう
第1章 データレイクの構築
第2章 データレイクの活用
第3章 データレイクの運用
第4章 データレイクのセキュリティ
第5章 ハンズオンの概要 - ビジネスデータのデータレイク -
第6章 データを可視化する
第7章 サーバレスSQL によるデータ分析
第8章 データを変換する
第9章 データを分析する（データウェアハウス）
第10章 システムの概要 - ログデータのデータレイク -
第11章 ログを集める
第12章 ログの保管とカタログ化
第13章 ログを加工する
第14章 ログを分析する

本書は3部構成になっている。1部ではデータレイクのコンセプトが解説されている。2部では基本的なデータレイクの構築を試すことができる。最後の3部では応用的なデータレイクの構築を試すことができる。基本的な内容としてはファイルからデータを取り込んで試している。応用編ではログを取り込んでのデータレイク作成、分析を試すことができた。タイトル通りなので構築はAWS 上でになる。

コンセプトについては以下の内容となっている。
1章では用語の説明やデータレイクのアーキテクチャの説明からそれぞれのレイヤで必要となるコンポーネントについてそれぞれ説明がされている。その中でもデータの保存先のストレージについての説明がされている。可用性や耐久性、スケーラビリティ、コスト、セキュリティや権限周りについて解説されている。またデータを貯めるだけでは使いにくいとの説明からデータカタログの重要性やデータを使いやすくするための変換ツールについての説明がされている。
2章では蓄積されたデータを活用するための方法として、BI、アドホックSQL 分析、定常的なSQL 分析、応用的な分析と4つが説明されている。また、それ以外にストリームデータの活用としてリアルタイムダッシュボードとストリーム分析アプリケーションが説明されている。利用者の区分によって適した活用方法が変わってくる。それ以外にもやりたいことにより使うべきシステムも変わることが解説されている。それぞれでうまく使えるものを使える基盤を作るのが良いのだろう。
3章では作ったデータレイクを運用していくために必要なことが説明されている。まずはデータレイクが正しく動いていることを保証するために「正常」の定義を行うことからはじめている。その後SLA を守るための監視、パフォーマンスのための監視と改善などが説明されている。あとは大事なデータをなくさないためのバックアップ、いらないデータの削除、アクセス履歴取得の必要性が書かれている。監視は目的に合わせてやるべきことを分ける必要があると思った。できてないことはやってみたいと思った。
4章ではセキュリティについて解説がされている。データレイクを1つのサービスと見立てのセキュリティについてまとめられている。具体的にはアクセス制御や暗号化、権限管理について解説されている。権限については異動の話など具体的な話も出てて面白かった。

このあとはAWS のサービスを使ってデータレイクの構築を試すことが続く。簡単に手軽にできたので面白かった。ただ、これから利用者やデータがどんどん大きくなっていったときはどうなるのかは気になった。

まとめ

• データレイクについてまとめられていてわかりやすかった
• アーキテクチャの話もいくつか出ていて実際にどう組めば良いか想像しやすかった
• 実際にサービスを使って見ることができたので面白かった

クラウドでデータ活用！データ基盤の設計パターン

図解即戦力　ビッグデータ分析のシステムと開発がこれ1冊でしっかりわかる教科書

実践的データ基盤への処方箋〜 ビジネス価値創出のためのデータ・システム・ヒトのノウハウ

[増補改訂]ビッグデータを支える技術 ——ラップトップ1台で学ぶデータ基盤のしくみ (WEB+DB PRESS plus)

「推薦システム実践入門」を読んだ

仕事に関係するかなと思って読んでみた。

推薦システム実践入門 ―仕事で使える導入ガイド

1章 推薦システム
2章 推薦システムのプロジェクト
3章 推薦システムのUI/UX
4章 推薦アルゴリズムの概要
5章 推薦アルゴリズムの詳細
6章 実システムへの組み込み
7章 推薦システムの評価
8章 発展的なトピック
付録A Netflix Prize
付録B ユーザ間型メモリベース法の詳細

まず推薦システムの概要と歴史が事例を含めて解説されている。推薦以外に似ているものとして検索システムについても少しだけ解説されていた。その後推薦システムの開発をする事になったときのメンバやプロセスについての解説、おすすめしたアイテムの表示の方法が紹介されていた。ただ推薦アイテムを出すのではなく、理由も表示するなどのユーザ体験まで考えるのが大事なんだなと思った。
その後推薦アルゴリズムのいくつかについて解説されていた。自分で組むことはないのでアルゴリズムの解説は面白かった。いくつもあるものから実際にみんなが選んで実際のサービスに組み込んでいるんだなと思いながら読んでいた。

6章の「システムへの組み込み」部分が自分の仕事に一番近いところだろうと思って重点的に読んだ。鮮度とユーザからの呼び出し方法によっていくつかのパターンが紹介されていた。このあたりではあまり目新しいものがなかったので自分たちのシステムでもそんなに間違っていないのだろうなと思った。
システムを作るだけではなく、推薦システムの評価についても解説されている。予測誤差だけではなく、アイテムの多様性を測る指標などいくつか紹介されていた。システムを改善するためにも評価を行うことは必要だなと思っているので良かった。

まとめ

• 設計して作って評価してまでの一通りが書かれていてわかりやすかった
• システムでもアルゴリズムで使うデータの部分しかやってないのでアルゴリズムなど知れて面白かった
• 個人情報などの扱いが厳しくなっているので今後どこまでできるのだろうかというのが気になっている

情報推薦システム入門 -理論と実践-

推薦システム: 統計的機械学習の理論と実践

基礎から学ぶ推薦システム - 情報技術で嗜好を予測する -

「クラウドネイティブ・アーキテクチャ」を読んだ

クラウドを使うようになって時間もたっているので、そろそろちゃんとクラウドでの考え方を学んでみよう、読んでみようと考えていたのを思い出したので買って読んでみた。

クラウドネイティブ・アーキテクチャ 可用性と費用対効果を極める次世代設計の原則 impress top gearシリーズ

第1章 クラウドネイティブ・アーキテクチャの概要
第2章 クラウド導入の取り組み
第3章 クラウドネイティブ・アプリケーションの設計
第4章 テクノロジースタックの選択方法
第5章 スケーラビリティと可用性
第6章 セキュリティと信頼性
第7章 コストの最適化
第8章 クラウドネイティブな運用
第9章 Amazon Web Services
第10章 Microsoft Azure
第11章 Google Cloud Platform
第12章 クラウドのトレンドと今後の展望

本書ではクラウドネイティブ成熟度モデル(Cloud Native Maturity Model : CNMM) が説明されており、これによってどこまで成熟できているかが判定されていた。本書の中での基軸は以下の3つ。

• クラウドネイティブなサービス
• アプリケーション中心の設計
• 自動化

全体的にはクラウド導入の取り組みとして、クラウド導入フレームワークの詳細の説明がされている。そしてビジネス、人、ガバナンス、セキュリティ、運用などの観点からクラウド移行の決断をする理由についての説明がされていた。
そして、アプリケーションの設計としてマイクロサービスやコンテナ、サーバレスでの説明、設計をする上での考え方などが紹介されている。マイクロサービスの説明の中ではサービス指向アーキテクチャの説明とそれぞれの違いについても書かれていて面白かった。

その後、ライセンスや価格などからテクノロジースタックの選び方の説明がされている。このあたりは同じようなサービスからどれを使うかなどを選ぶときには考えることが少しはあるかなと思った。このあとは具体的な話が増えてくる。まずはスケーラビリティと可用性の高いシステムを運用するための冗長性、広範囲な監視、IaC などについて説明されている。システムが自動復旧できるような作りにするための監視などの話は面白かったから自分たちでできてないことはやらないといけないなと思った。
またセキュリティをクラウドネイティブ適応する方法が紹介されいる。従来のセキリュティプロセスを当てはめるのではなく、クラウド用に用意、提供されているものを使うことが大切だということが説明されている。その後コストについての説明もされている。オンプレとの価格の違いやコスト分析をするための監視、タグ付け方法が説明されている。コストは安くなるだけのことはないと思うが、無駄に使ってないことは監視したいなと思った。

運用の章ではオンプレ時とクラウド時の運用チームの違いについての説明がされている。IaC による運用の大切さが説明されている。また、マイクロサービスになっていることを前提に提供するAPI の保守について説明されていた。ここまでは全然できていないため、ここまですすむことができたらまた読んでみたいと思った。

本書で紹介されていたDevSecOps のマニフェストがまとまっていて良いなと思ったので今後ちゃんと守るようにしていこうと思う。

Leaning in over Always Saying “No”
Data & Security Science over Fear, Uncertainty and Doubt
Open Contribution & Collaboration over Security-Only Requirements
Consumable Security Services with APIs over Mandated Security Controls & Paperwork
Business Driven Security Scores over Rubber Stamp Security
Red & Blue Team Exploit Testing over Relying on Scans & Theoretical Vulnerabilities
24x7 Proactive Security Monitoring over Reacting after being Informed of an Incident
Shared Threat Intelligence over Keeping Info to Ourselves
Compliance Operations over Clipboards & Checklists

引用元URL : https://www.devsecops.org/

まとめ

• クラウドネイティブと言ったときのやっておくべきことを学べた
• 自分が運用しているシステムで何ができてるかを確認したいなと思った
• 本書から更新されていることがどれくらいあるのか確認をしたい

AWSで学ぶクラウドネイティブ実践入門 (技術の泉シリーズ（NextPublishing）)

クラウドネイティブセキュリティ入門

ソフトウェアアーキテクチャの基礎 ―エンジニアリングに基づく体系的アプローチ

「カオスエンジニアリング」を読んだ

以前に入門と書かれている本を読んでカオスエンジニアリングに興味を持ったので読んでみた。

hihihiroro.hatenablog.com

カオスエンジニアリング ―回復力のあるシステムの実践

1章 複雑なシステムとの出会い
2章 複雑なシステムの舵を取る
3章 原則の全体像
4章 Slack の惨劇シアター
5章 Google DiRT : 災害からの復旧テスト
6章 Microsoft における実験の多様化と優先順位づけ
7章 LinkedIn メンバーに対して配慮すること
8章 Capital One におけるカオスエンジニアリングの導入と進化
9章 先見性を生み出す
10章 人間的なカオス
11章 ループの中の人々
12章 実験の選択に関する課題（と、その解決策）
13章 カオスエンジニアリングの費用対効果
14章 オープンな心、オープンな科学、そしてオープンなカオス
15章 カオスの熟成モデル（CMM）
16章 継続的ベリフィケーション
17章 サイバーフィジカルで行こう
18章 HOP とカオスエンジニアリングの出会い
19章 データベースにおけるカオスエンジニアリング
20章 セキュリティカオスエンジニアリングの事例
21章 おわりに

カオスエンジニアリングとは、本番稼働中のサービスにあえて擬似的な障害を起こすことで、実際の障害にも耐えられるようにする取り組みのこと。システムの複雑さが増しているが、カオスエンジニアリングによって脆弱性を発見し、顧客に影響を与える前に停止を防ぐことを目的としている。

第Ⅰ部は、舞台準備として複雑なシステムの説明、カオスエンジニアリングの適応についての説明がされている。3章まででカオスエンジニアリングの説明がされ、その後は様々な会社の人たちが実際にカオスエンジニアリングを実践している話が書かれている。実践者が自分たちで試すときの工夫や実体験が書かれているので試してみる手がかりなどについてわかりやすかった。

また、アプリケーションだけではなく組織に対して行っている話などもありどこにでも適応できるんだなと思った。アプリケーション、インフラから適応を勧めていきたいが他にも適応できるところがありそうだからまた、落ち着いたら読み直したいなと思う。

まとめ

• システムを例にカオスエンジニアリングの原則を読んだ
• 実践者の実体験や取り組んだ視点を感じれて良かった
• ツールなどがまだまだ出てきているみたいなので情報収集を引き続き頑張る

カオスエンジニアリング入門

ソフトウェアアーキテクチャの基礎 ―エンジニアリングに基づく体系的アプローチ

モダン・ソフトウェアエンジニアリング

「コンテナ型仮想化概論」を読んだ

コンテナと言うとDocker についてを見ることが多いので他のものについても勉強できるのかと思って買ってみた。

コンテナ型仮想化概論

第1章 はじめに
第2章 コンテナ型仮想化の概要
第3章 FreeBSD Jail
第4章 Solaris ゾーン
第5章 OpenVZ
第6章 LXC
第7章 Docker
第8章 Windows版 Docker
第9章 その他のコンテナ型仮想化ソフトウェア
第10章 次世代のコンテナ型仮想化技術
第11章 本書のまとめと今後の展望

コンテナ仮想化の歴史やアーキテクチャについて初めの方では説明がされている。ただ、このあたりは知っている人向けであるためさらりと書かれている。
その後3章から8章までコンテナ仮想化のいくつかの実装例を実際のインストール方法や、コマンドについて詳しく説明されている。それ以外にもそれぞれでよく出るエラー内容などについても説明がされていてそこは面白かった。使えないコマンドなどが説明付きでされているので試してみようかなと思った。
11章では上記で紹介されていた実装例以外も紹介されている。そこではPodman やrkt などDocker と類似性のあるソフトウェアについて使い方付きで解説がされていた。さらに、次世代のコンテナ型仮想化ソフトウェアとして、Unikernel やmicroVM 技術についても説明がされていた。全然勉強できてない範囲だったので面白く読むことができた。

タイトルから想像していたのは、コンテナ型技術についてのまとめがあって、それらの技術がアプリケーションでどのように使われているのかが説明されているのかなと思っていた。それよりは具体的な実装例が多く紹介されているのがちょっと想像と違ったなと思っては読んでいた。9、10章は思っていたものに近く読んでいて面白かった。また、触ったことないランタイム技術がたくさん紹介されていたので久しぶりに触ってみようかなと思った。

まとめ

• 数種類のコンテナ仮想化技術を見れて面白かった
• 使ったことあるものも使ったことないものも説明が多くて楽しかった
• 参考文献がそれぞれにいくつかついているので勉強が広げれそうだと思った

図解即戦力 仮想化&コンテナがこれ1冊でしっかりわかる教科書

イラストでわかるDockerとKubernetes (Software Design plus)

エンジニアなら知っておきたいコンテナのキホン (書籍)

「Kubernetes on AWS」を読んだ

いつか読もうと思っていたのを本屋でみかけたので買ってしまった。

Kubernetes on AWS～アプリケーションエンジニア 本番環境へ備える

第1章 コンテナ技術の普及とKubernetes
第2章 Kubernetes 環境の構築とサンプルアプリケーションのデプロイ
第3章 Kubernetes でアプリケーションを動かす仕組み
第4章 本番運用に向けた考慮
付録A ツールの導入(Windows 編)
付録B ツールの導入(Mac 編)
付録C AWS アカウントとIAM ユーザの作成

最初の章ではコンテナの説明から入り、Kubernetes のコンセプトと用語の説明がされている。AWS でKubernetes をマネージドで使用するためのサービスとしてAmazon EKS の説明がされている。そしてEKS の特徴としてVPC との統合によるネットワークの説明、IAM による認証認可の説明がされている。またデータプレーンをEKS から独立したEC2 を指定する、EKS に統合されたノードグループとしてのEC2 を使用する、EC2 の運用を開放されたFargate の使用ができることが紹介されている。

2章ではEKS クラスタにアプリケーションをデプロイするまでの手順が順番に紹介されている。アプリケーション、ここで作成するリソースの説明がまずはされている。その後実際にAWS リソースをCloudFormation を使用して作成していった。インフラが出来上がった後、kubectl コマンドを実行することでアプリケーションのデプロイまでを行う。実際にVPC やEKS クラスタにイメージ置き場のECR、その他にもデータベースとしてRDS やファイル置き場のS3などの作成を行う。AWS のリソースを順番に作りながら確かめていくのでコンテナについてだけではなくAWS についても少しは勉強できたので良かった。
3章ではKubernetes の動作と設定方法の説明がされていた。Pod、ReplicaSet、Deployment、CronJob、Jobなどの説明と設定方法が書かれていた。外からアクセスするためのService の説明、設定情報を使用するためにConfigMap、Secret の使い方が説明されている。Pod を安全に運用するために、立ち上がりを確認するReadiness Probe とLivenss Probe が、安全に停止するためのpreStop の紹介がされている。Pod を安全に立ち上げるための設定としてrequest とlimits についての説明もされていた。この章での説明でKubernetes 上でアプリケーションを動かす事ができるようになった。

最後の章では本番運用するために考慮するべきポイントがまとめられていた。CloudWatch Container Insights を使った監視、モニタリングの方法やCloudWatch Logs を使ってのログ管理。オートスケールによる安定化や、クラスタ、ノード、Pod でのセキュリティ考慮事項。GitOps によるクラスタ構成管理方法も紹介されている。その他にもクラスタのバージョンアップ対応手順や、Kubernetes を支えるエコシステムの紹介もいくつかされている。実運用する際には考えなきゃいけないことなどが書かれているので面白かった。

まとめ

• Amazon EKS 上でアプリケーションを動かすことが試せた
• 本番運用を行う際に考えることがいくつかまとめられているので勉強になった
• 構成がいくつか考えられるのでそれぞれでの考慮事項については再度学ぼうと思った

図解 Amazon Web Servicesの仕組みとサービスがたった1日でよくわかる

AWSの知識地図　〜現場必修の基礎から構築・セキュリティまで

Kubernetes完全ガイド 第2版 impress top gearシリーズ

仕組みと使い方がわかる Docker＆Kubernetesのきほんのきほん (Compass Booksシリーズ)