利用ログの分析はプロダクト改善において必須ChatGPTを活用したプロダクトでは、ユーザの利用ログの分析が非常に重要です。なぜなら、利用ログによってユーザのニーズや不満、さらには新しいユースケースを明確に把握することができるからです。ログを見ると「想定していた使い方をしていない」「ユーザが求めていることに応えられていない」ということがよくあります。よってログを分析することでインサイトの抽出、イシューの洗い出しを行い、改善施策に落とし込んでいく必要があります。利用ログを全部見るのはしんどい参考として、とあるプロダクトの実利用ログを上記に添付しました。こちらを見ると1ヶ月でChatGPT APIが18751回コールされています。ここまでなると利用ログを1件ずつ確認することは現実的でなくなってきます。そこで探索的にデータを追っていく必要がありますが、どのような指針でやっていくべきでしょうか？指針① 特定ワードの検索特定ワードの検索で、課題を抱えているユーザや熱量の高いユーザを見つけていくことができます。例えば、「ありがとう」で検索することで、ユーザのニーズを満たせた会話履歴の一覧を取得することができます。その前後の会話を確認することで、ユーザのニーズを満たせたユースケースの発見をすることができます。逆にネガティブなワードで検索をすることで、ユーザの不満に思った会話履歴を把握することで、改善案や人力でのカスタマーサポートに繋げることができます。また、特定ワードの出現数をKPI化させるなどの発展も行うことができると考えています。指針② 利用回数や利用文字数によるソート また、プロダクトの熱心なファンや多くの情報を求めているユーザを特定することも大切です。具体的には、書き込み数の多いユーザや、書いている文字数の多いユーザをソートしてリストアップすることで、これらのユーザの要望やニーズに対して迅速に対応することができます。 LangCore SaaSではログを入力文字数の多い順に並び替えたり、ユーザのアクティブ数等も集計することができます。熱量の高いユーザにアクセスすることを重視しています。結論 ChatGPTの利用ログの分析は、プロダクトの方向性を定める上で非常に有効な指標となっています。特定のキーワード検索やアクティブユーザの特定など、効率的な方法でのデータの分析は、サービスの質を一層高めるためにぜひ行ってください。 LangCore SaaSでは、1行のコード修正で上記のようなログ収集を自動で行ってくれます。興味がある方はぜひお問合せいただければ詳細なデモ等お見せいたします。