こんにちは、最近はめっぽう冷えてきましたそろそろおでんが恋しくなりますね、菅野です。
AWS上で、
ChatGPTのようなテキスト生成AIを利用できるようになるサービス、Amazon Bedrockがリリースされました。
そこで今回はChatGPTとテキスト生成の結果を比較してみようと思います。
ChatGPTはGPT-4モデルを、Amazon BedrockではChatGPTより大きいトークンを受け取れ、安価で利用できるといわれているモデル、ClaudeV2を利用します。詳細はこちら。
Amazon Bedrockでのチャット生成方法は以下のブログで紹介しているので こちらのブログも参照ください。
「RestAPIについての説明」の結果を比較する
生成AIではわからないものの質問をする機会が多いです。
それぞれのAIにRestAPIについて説明してもらいました。
Amazon Bedrock
ChatGPT
双方とも必要な事項の説明はされており、出力内容の有意な差は見られませんでした。
季節のあいさつを考えてもらう
スピーチの原稿や、メッセージを考えてもらうこともよく実施してもらいます。
双方、どのような結果を出してくれるのか見てみましょう。
Amazon Bedrock
ChatGPT
双方、秋にちなんだ挨拶を考えてくれました。
ChatGPTのほうが詩的な表現である一方、少々とっつきにくい印象があります。
Bedrockでは、平易な表現でわかりやすいという印象を受けます。
英語の翻訳
英語の翻訳もよく生成AIで利用するユースケースです。
ためしに簡単な英文を翻訳してもらいましょう。
Amazon Bedrock
ChatGPT
ほとんど翻訳に差分は見られませんがAmazon Bedrockのほうが多少口語的に訳している印象です。
ダジャレを考えてもらう
ChatGPTでは日本語のジョークを作ったりするのは苦手でしたが、果たしてAmazonBedrockではどうでしょうか？
Amazon Bedrock
ChatGPT
えっと、ちょっと人類が笑うにはいささかハイセンスすぎるようなダジャレ（？）が出てきました。
（一部、パンはパンでも食べられないパンは？みたいなド定番が出てきましたが）
そしてなぜかBedrockの方ははにかんでいる様子が見受けられます。 （面白いダジャレを言ってとむちゃぶりされた後の応答としては人間らしいような気もします）
まだまだ生成AIで日本語のユーモアを実現するのは難しそうです。
まとめ
Amazon BedrockのClaudeV2モデルとChatGPTのGPT-4との出力を比較してみました。
ChatGPTでは回答の多くに「もちろんです。」や「了解しました。」など余分な応答が出てくることが多いのに対し、ClaudeV2モデルでは問われた内容を即答してくることがおおいので活用はしやすそうに見えました。
双方、出力内容自体に間違いはありませんでしたが、Amazon BedrockのClaudeV2モデルのほうが比較的簡潔で平易な生成結果になるように見えます。
今後も生成AIの可能性を探っていこうと思います。
Acroquest Technologyでは、キャリア採用を行っています。少しでも上記に興味を持たれた方は、是非以下のページをご覧ください。 www.wantedly.com
- ディープラーニング等を使った自然言語／画像／音声／動画解析の研究開発
- Elasticsearch等を使ったデータ収集／分析／可視化
- マイクロサービス、DevOps、最新のOSSやクラウドサービスを利用する開発プロジェクト
- 書籍・雑誌等の執筆や、社内外での技術の発信・共有によるエンジニアとしての成長
