GPT４が、司法試験の模擬試験で、受験者の上位10％に入るスコアを叩き出したという話をご存じの方も多いと思いますが、どのようなプロンプトで達成したのか興味深いところです。この話のソースであるOPEN AIのテクニカルレポートには公表されていないようですが、ステップバイステップで答えに近づく"few-shot prompt"というスタイルであったと思われます。
つまり、プロンプトエンジニアに導かれて、GPT4がたどり着いた結果が上位10%のスコアというわけです。試験問題を提示して「これを解いてください」では問題解決にたどり着けない、と思われます。
前回の質問「どのような人がprompt engineer適格者なのか」対するChatGPTの回答に「問題解決能力」がリストアップされて、そこに質問「ChatGPTは問題解決能力をもっていないのですか」を続けたところ、「GPTの訓練データや設計原理に基づく限りでは、完全には解決できない可能性があります。」と謙虚な回答が返ってきました。
GPTの設計原理の限界をChatGPTから引き出してみました。
質問１：GPTの設計原理を教えてください
回答１：
GPT（Generative Pretrained Transformer）は、自然言語処理タスクを解決するために開発されたAIモデルで、大量のテキストデータから言語パターンを学習し、それを基に新しいテキストを生成する能力を持っています。
その設計原理には以下の要素が含まれています：
・トランスフォーマーアーキテクチャ：
GPTはトランスフォーマーアーキテクチャをベースにしています。このアーキテクチャは、言語モデルがテキストの構造と意味をよりよく理解するのに役立ちます。トランスフォーマーアーキテクチャは自己注意（Self-Attention）メカニズムを使用し、文中の各単語が他の単語にどの程度影響を与えるべきかを計算します。
・事前学習と微調整：
GPTは、大規模なテキストデータセット（ウェブページ、書籍、記事など）を用いた事前学習と、特定のタスクに対する微調整の二段階プロセスを使用します。事前学習では、モデルは言語の基本的なパターンと構造を学習します。次に、微調整ステージで、モデルは特定のタスク（例えば、質問応答や文章生成など）に対するパフォーマンスを最適化します。
質問２：
特定のタスク（例えば、質問応答や文章生成など）に対するパフォーマンスを最適化するということは、質問に対する応答を実行しても質問の原因となった問題の解決を最適化することと異なるのですか
回答２：
その通りです。GPTの「最適化」は、モデルが特定のタスク（例えば、質問応答や文章生成など）を行う際の性能を向上させることを意味します。この最適化は、モデルが訓練データに基づいてより適切な応答を生成する能力を高めることで達成されます。
問題解決の幻想
当たり前のことですが、ChatGPTの回答は質問応答に対する最適化であって、質問に含まれる問題の解決を最適化しているわけはありません。ChatGPTも幻覚を見るそうですが、私たちもChatGPTの回答に問題解決の幻覚を見ることがあります。
筆者はプロンプトエンジニア適格者の条件に幻覚に気づく能力を挙げておこうと思います。
