気になった用語等をまとめる

第1章_ChatGPTとLangChain

言語モデルを呼び出すプロンプトの書き換えやモデルの差し替えを容易にするためにModle I/Oを使う
Modle I/Oは3つのサブモジュールから構成される
- Language models：モデルの差し替えを容易にしキャッシュや逐次出力ができる
- Prompts：テンプレートで例えを示し出力を最適化できる
- Output parsers：出力をカスタマイズしたり、修正したりできる

回答に必要な文章を探す方法が重要
テキストのベクトル化により数値で表現し類似度を計算する
類似度の高いものを回答とする
RAGによるアプリの作り方
- 事前準備：DBの作成（テキストのベクトルと文章のペアを保存）
- 検索とプロンプト構築：「DBの検索」と「取得した文章と質問を組み合わせてプロンプト構築」
以下ライブラリ間でバージョン指定が必要

pip install auth0-python urllib3 kubernetes==28.1.0

RAGとはDBから関連する情報を取得し回答を生成する手法
ファインチューニングは既存モデルを再学習により専門的なモデルにすることができる
RetrievalQAモジュールによりRAGによるQAシステムの開発を簡単かつ多機能にする
- QAシステムで同じ実装になる処理を省略できる
- Retrieversを使うことで実装を楽にする
- 情報源となる文章の組み合わせ方法の選択が可能

AgentがToolを選択して回答を得る。Agentが回答が適切かチェックをする。
Toolを追加してAgentができることを増やす
Agentで特定のURLから情報を取得すると文字数制限でエラーとなった →文字数制限の対応が必要
- 「指示文の文字列」が長文の時→LangChain Chainsにより指示を分割する
- 「使用データの文字列」が長文の時→4種類の方法あり

名称	使い分け	モジュール
RAG	コストを抑えたい	LangChain Retrieval
Map Reduce	精度を追求したいが、処理速度も優先したい、欲しい情報が使用データの中で散らばっている	LangChain Chains
Map Rerank	精度を追求したいが、処理速度も優先したい、欲しい情報が使用データの中で一箇所にある	LangChain Chains
Refine	精度を最優先したい	LangChain Chains