@hihihiroroのLog

ダラダラと。本ブログは、個人の意見であり、所属会社とは関係がありません。

「LLMのプロンプトエンジニアリング」を読んだ

しっかりと仕事で使っているわけではないのだが、知らないと今後の仕事に支障が出るだろうなということで読みたいと思っていたので。

目次は以下。

  • Ⅰ部 基礎
    • 1章 プロンプトエンジニアリングの世界
    • 2章 LLMを理解する
    • 3章 チャット形式への移行
    • 4章 LLMアプリケーションの設計
  • Ⅱ部 中心的なテクニック
    • 5章 プロンプトのコンテンツ
    • 6章 プロンプトの組み立て
    • 7章 モデルの制御
  • Ⅲ部 プロンプト作成のエキスパート
    • 8章 会話型エージェント
    • 9章 LLMワークフロー
    • 10章 LLMアプリケーションの評価
    • 11章 未来を見据えて

これまでのLLM の発展について説明されていてわかりやすかった。どこも体系的に書かれており、ネットで調べてなんとなく使ってみているだけだったのでまとまっての理解になって良かった。Ⅰ部は基礎となっているだけあり大規模言語モデルにチャットできる仕組みが数式が使われずに説明されていてそれも良かった。

LLM の仕組みが説明されているので、LLM にどのようなコンテキストを渡すと安定して良いのかが説明されているのでなるほどと思った。最後の章のまとめにある、LLM は学習時に見たテキストを模倣するテキスト補完エンジンにすぎないというのがなるほどと思った。そこを間違って理解すると求めている出力がでないとなってしまうのだろうなと思った。この辺の癖を理解することが必要なのだろうなと。

2024年に出ている本なのだがすでに内容として古いなというところがあるとのこと。まずは本書で紹介されている論文などを読みつつ、徐々に知識をアップデートしていく必要があるのだろうなと思った。
まずは基本が足りてないのでなるほどと思うこともいくつもあった。本書を索引として、必要な知識を深掘りする必要性があるのだろう。このあたりの先生になってくれるような情報だったり人を探しておかないと。

まとめ

  • 教科書として何回か読んでみようと思う
  • 数式なしでLLM アプリケーションの動きが理解しやすかったな
  • 評価についての話も書かれているのでまずは試してみるところから