目次プロンプトエンジニアリングという言葉 ChatGPTの回答の質や内容はプロンプトの書き方や表現に大きく依存します。そのため、ChatGPTの普及と同時に「プロンプトエンジニアリング」という言葉が流行りました。 ただ本当に回答の質が変わるのかは実際にやってみないとなかなか信じられないと思います。ということで、今回実際にやってみようと思います。検証方法算数の問題をgpt-3.5-turbo-0613に解いてもらいます。一方は単純に問題文を貼り付けたもの、もう片方はプロンプトの指示を具体的にしたもの(ただし解き方のヒントは与えない)です。解く問題A君が16日、B君が20日で終わらせられる仕事がある。この仕事を2人で行ったとき、終わるのは何日後？与えるプロンプトA: 単純に問題文を貼り付けたものA君が16日、B君が20日で終わらせられる仕事がある。この仕事を2人で行ったとき、終わるのは何日後？B: 指示を具体的にしたものあなたは数学の先生です。生徒に分かりやすく算数を教えてください。A君が16日、B君が20日で終わらせられる仕事がある。この仕事を2人で行ったとき、終わるのは何日後？まずどのように計算すれば良いかの方針を書いてください。そのあとに計算過程を書いてください。分数の計算などは、慎重に計算過程を書いて、計算ミスがないようにしてください。最後に、答えが小数だった場合は整数に繰り上げしてください検証方法それぞれ10回ずつ実行し、正答率を計測します。正解は9日後ですが、繰り上げていない8.88...日後や8.89日後も正解とします。結果A: 正答率40%B: 正答率90%しっかりと指示を具体的に書いたBの方が正答率が高くなりました。考察プロンプトエンジニアリングの実験により、詳細な指示を含むプロンプトBの方が正答率が高いことが示されました。これは、以下の理由が考えられます。ロールの設定: Bのプロンプトはロールを設定することで、何を期待されているのかを理解できるようにしています。明確な指示: Bのプロンプトは具体的な手順や注意点を示しており、これがモデルの回答の質を向上させています。期待の設定: 詳細な指示は、モデルに正確な期待を設定することで、その期待に沿った回答を生成する傾向になります。この結果は、AIモデルの効果的な活用において、明確で詳細なプロンプトの重要性を示しています。特に、ユーザーが求める正確な情報や結果を得るためには、要求を具体的に指定することが有効です。