こんにちは、最近ハンドブレンダーを購入し自家製バジルでジェノベーゼを作るようになった菅野です。

2023/11/6にOpenAIDevDayが開催され、ChatGPT関連の様々なアナウンスがありました。

その中でもChatGPTの新しいモデル、GPT-4 Turboについての情報をまとめていきます。モデルについての詳細解説は以下の公式サイトをご覧ください。

platform.openai.com

GPT-4 Turboのモデルは現在プレビュー版でgpt-4-1106-previewというモデルが試しに使える状態です。
数週間後に安定板のリリースがなされる予定だそうです。

コンテキスト長の増加（8,192 → 128,000トークン）

ChatGPTのモデルが一度に考慮できるテキスト量を示すコンテキスト長が12万8千トークンに増加しました。従来のモデルのコンテキスト長はそれぞれ以下のようになっていることを考えると大幅な増加といえるでしょう。

モデル名	コンテキスト長
gpt-4-1106-preview(GPT-4 Turbo)	128,000
gpt-4	8,192
gpt-3.5-turbo	4,096

従来のGPT-4のおよそ16倍ものコンテキスト長になり、より長文の文脈を理解した上での応答を返してくれることになります。
短文の応答だけではなく、長い文章を生成してもらったり、より詳細な事前情報を読み込ませることができる様になります。

利用料がより安価に（入力：0.03ドル／出力：0.06ドル → 入力：0.01ドル／出力：0.03ドル）

モデルのパフォーマンス最適化に伴い、GPT-4 Turboではより安価にモデルを利用することができるようになりました。
GPT-4 Turboの利用料は以下のようになっております。

モデル名	入力（＄/1Kトークン）	出力（＄/1Kトークン）
gpt-4-1106-preview(GPT-4 Turbo)	0.01	0.03
gpt-4	0.03	0.06
gpt-3.5-turbo	0.0010	0.0020

入力では従来のGPT-4の1/3に、出力では1/2になっています。
利用トークン数が大きくなりがちな日本語での利用では大きな変化ですね。

学習データが2023年4月までのものに

従来のGPT-4モデルでは 2021年9月までの学習データをもとに文章を出力していたため、２年以内の最新情報を出力することはできませんでした（例えば、AWSの新機能に関する出力をChatGPTで出力できない等）。
今回の更新でそのギャップが7ヵ月程度まで縮まるのはとてもうれしい限りです。

ちなみに、ChatGPT Plusなどで利用できるChatGPTアプリに関しては、GPT-4ベースのモデルが利用されているのですが、どうやらGPT-4 Turboと同じように2023年4月の情報が最新に更新されているようです。

GPT-3.5を選択した場合はいまだに2021年9月が最新の模様です。

Function callingの改善

以前から実施可能であったFunction callingに以下の改善が加えられました。

モデルのトレーニングにより、より厳密にFunction callingの適切なパラメータを呼び出せるようになった。
従来は一度の応答で1回しかFunction callingを利用できなかったが、複数の関数呼び出しを並列して実施できるようになった。
例えば、国名を受け取って、受け取った国の気温を返すFunctionを定義した際に、「アメリカ、日本、フランスの気温を教えて」とchat completion APIに投入することで、3回のFunction呼出が行われるようになります。

JSON modeの追加

従来のGPT-4では出力のフォーマットを固定するには、プロンプトへ「応答は常にJSON形式で返してください。」といった文言を追加する必要がありました。
今回のアップデートでパラメータにresponse_formatを指定できるようになり、response_format: { type: "json_object"}とすることでモデルがJSON形式で応答を返すようになります。
入力プロンプトに常にメッセージを入れる必要がなくなるため、トークン数の節約につながりますね。
また、プロンプトへのフォーマット指定は、必ずしもそのフォーマットにならない場合がありましたが、今回のJSONモードでは厳密にJSONで返してくれるようになるので、組み込みでアプリケーションを作成する際には実装が簡単になりそうです。

GPT-4 Turboを試してみる

ChatGPTのAPIで課金（1＄以上）しているユーザにはすでに、gpt-4-1106-preview(GPT-4 Turbo)モデルを利用できるようです。
試しにAPIを使うだけでは、無料クレジット枠があるためすぐには課金されませんが、事前に支払いを行うprepaid billingを行うことでもモデルが解放されます。
上記課金について、ChatGPT Plusはカウントに含まれない点はご注意ください。

早速PlaygroundでGPT-4 Turboモデルが選択できるようになったため2023年2月の出来事を聞いてみましょう。

従来のGPT-4モデルでは以下のような応答になって答えてくれませんでしたが、しっかり今年起こった出来事を回答してくれるようになりました。

まとめ

新しくアナウンスされた、GPT-4 Turboモデルについて従来のGPT-4とどのように差分があるのか説明しました。
より大量のコンテキストを理解できるモデルを安価に利用ができるようになったので、ますます使い勝手がよくなっていきそうですね。
今後も生成AIで何ができるのか探っていこうと思います。
それでは。

Acroquest Technologyでは、キャリア採用を行っています。

ディープラーニング等を使った自然言語／画像／音声／動画解析の研究開発

Elasticsearch等を使ったデータ収集／分析／可視化

マイクロサービス、DevOps、最新のOSSやクラウドサービスを利用する開発プロジェクト

書籍・雑誌等の執筆や、社内外での技術の発信・共有によるエンジニアとしての成長

　少しでも上記に興味を持たれた方は、是非以下のページをご覧ください。 www.wantedly.com