グーグルの新AIモデル「ジェミニ」、ベンチマークでGPT-4oを上回る

Generative Artificial Intelligence benchmarking（ジェネレーティブ人工知能ベンチマーク）の分野に新たな覇者が現れました。1.5 Pro.

これまでのチャンピオンであったOpenAIのChatGPT-4oは、8月1日にGoogleが最新モデルの実験的バージョンを静かにリリースしたことで、ついに追い抜かれました。

ジェミニの最新アップデートは、ファンファーレなしにリリースされ、現在は実験的とされている。

ジェミニの最新アップデートはファンファーレなしでリリースされ、現在は実験的なものとされていますが、ベンチマークスコアで競合他社を上回ったという報告が出たため、ソーシャルメディア上のAIコミュニティの注目をすぐに集めました。

Artificial Intelligence Benchmarks

OpenAIのChatGPTは、GPT-3のリリース以来、生成AIのベンチマークとなっています。過去1年ほどの間、その最新モデルであるGPT-4oと、その最も近い競合であるAnthropicのClaude-3は、ほとんどの一般的なベンチマークにおいて、他のモデルのはるか先を行っており、競合にはほとんど出会っていません。

ソース：Large Model Systems Organisation。

Gemini 1.5 Proの前バージョンは1,261点だったが、8月1日にリリースされた実験バージョン（Gemini 1.5 Pro 0801）は、なんと1,300点だった。

Gemini 1.5 Proの前バージョンは1,261点だった。span>

これは、Gemini 1.5 Proが一般的に競合他社よりも強力であることを示唆していますが、ベンチマークは必ずしもAIモデルができること、できないことの正確な反映ではありません。

コミュニティの興奮

より詳細な比較がなければ、AIチャットボット市場は幅広い選択肢を提供できるほど成熟した時代に入っています。どのAIモデルが最適かは、最終的にはユーザー次第です。

ジェミニの最新バージョンは興奮の波を巻き起こしたと噂されており、ソーシャルメディア上のユーザーからは「とても良い」という声が上がっている。あるRedditorは「4oに完全に勝っている」とまで書いている。

実験的バージョンのGemini 1.5 Proが将来的にデフォルトになるかどうかは不明だ。この記事を書いている時点ではまだ一般的に利用可能ですが、早期リリースまたはテスト中であるという事実は、セキュリティや調整上の理由でモデルが撤回または変更される可能性があることを示唆しています。