LangCore

開発ノウハウ

【デモ付き】Embeddingsで独自データをChatGPTに理解させる

公開日|2023.9.9

概要

1. よくある要望

ChatGPTが知らない独自データをベースとした回答をさせたい

2. Embeddingsを使ったソリューション

  • あらかじめ独自データをEmbeddingsでベクトルデータに化させDBに保存

  • ユーザの質問に答える前に、関係のありそうな独自データをDBから検索して、プロンプトに注入する

  • ChatGPTがそれをもとに回答するので、独自データに即した回答をしてくれる

4. このソリューションの課題

以下のような理由で正しくない回答をする可能性がある。

  • 関連するデータが取れないため答えも違う

  • 取得された関連データが不十分で答えが不十分

  • 関連情報は取得できたが、答えの生成を間違える

※ 詳細は本文で記載しています。

一般的な実装方法

一般的には以下の2ステップで実装をすることができます

1️⃣ 独自データのデータベースを作る

  • 独自データが記載されたテキストデータを用意する

  • Chunkingで短い文章に区切る (100文字で区切る、文章で区切る、ずらしながら区切るなど工夫可能)

  • OpenAI Embeddings APIで文章をベクトル化させる

  • ベクトルデータをDBに保存する

2️⃣ プロンプトに独自データを追加

  • ユーザ入力をEmbeddingsでベクトル化

  • ベクトルのコサイン類似度の高いデータをDBから複数件取得する

  • プロンプトの末尾に取得したデータを追加する

  • プロンプト内に「以下の情報を使って回答してください。もし関連する情報がなければ回答できないことを伝えてください」等の文章を加える。

課題

正しい回答をするためには、「正しく独自データを取得できて」「正しくそこから答えを作る」ができて初めて達成できます。どちらかをミスると正しくない回答になります。

原因 対策 具体例
関連するデータが取れない 関連情報の検索部分を改善必要 QAシステムに導入したが、ユーザ自身検索ワードが分かっていないので、曖昧な入力をしてしまい、関係ない情報を引っ張ってきてしまう。具体例: 住宅レコメンドシステムに導入したが、家賃15万円以下という明確な要望があるのにベクトル検索では明確な条件検索ではないため、家賃20万円の家も出してしまう
取得された関連データが不十分 不完全なデータ取得になっているのでChunkingを改善する ニュース記事の分析システムにおいて、記事の全文を分析すべきなのに、システムが一部の段落しか取得していないため、その情報だけでは結論を導き出せない状況が発生する。
関連情報は取得できたが、答えが違う プロンプトの改善が必要 関連情報を使って回答を作成する部分のプロンプトがイマイチだと、勝手にAIが解釈を加えたり、関連情報を掛け合わせて嘘を作り出してしまうことがある。

デモ

LangChainなどのライブラリを活用して上記を実装するのが一般的ですが、LangCore SaaSではより簡便にEmbeddingsによる独自データ活用ができます。

使い方

1️⃣ ドメイン知識のデータベースを作る

URLはこちら: https://langcore-embeddings.streamlit.app/register_text

  1. OpenAI APIキーを入力

  2. グループ名を入力 (今回は demo にします)

  3. 学習させたいテキストデータを入力 (今回は、お寿司と唐揚げが好きというデータを登録します)

Register Embeddingsを入力すると登録が完了されます。

https://langcore.org/feature/embeddings から登録されたデータの確認と削除を行うことができます。

2️⃣ 実際に独自データを加味しているのか確認してみる

URLはこちら: https://langcore-embeddings.streamlit.app/

実際に、先ほど学習させたデータを元にした回答をするか試してみましょう。

  • OpenAI APIキーを入力

  • グループ名を入力 (先ほど入力したは demo にします)

  • 「好きな食べ物は?」と聞いてみる

すると以下のような結果が返ってきます。

きちんとお寿司と唐揚げが好きと回答してくれました。

3️⃣ 実際に実行されたリクエストを見てみる

LangCore で実行されたログが保存されているので、確認してみます。

最初のシステムプロンプト部分に、登録したデータがプロンプト内に注入されていることを確認できました。

今回は登録データ数が少なかったですが、登録データ数が多くなった場合はユーザ入力の関連性の高いものだけをピックアップして注入されます。

ソースコードも公開しています。登録画面 と チャット画面。

まとめ

Embeddingsを使って独自データをChatGPTが扱えるようになると、ユースケースがグッと広がります。

LangCore SaaSを使うことでインフラ不要で手軽にEmbeddingsを活用した独自データの活用を行うことができます!活用に興味のある方はお気軽にお問い合わせください。

AIで自動化したい
業務について、
お気軽に
ご相談ください。

生成AIシステムや
AIエージェントの構築について、
対象業務の整理から実装方法まで
ご相談いただけます。