O1が "間抜けを演じる "ことと "嘘をつく "ことを学んだとき、彼はようやくイリヤが何を見ているのかを知る。

出典：tencent.com

2023年10月、OpenAIのラボのどこかで、Q*と呼ばれるモデルが前例のない能力を発揮した。

同社のチーフ・サイエンティストであるイリヤ・スーツケバーは、おそらくこのブレークスルーの重要性に最初に気づいた一人だろう。

しかしその数週間後、シリコンバレーを震撼させるOpen AIの経営陣交代劇が勃発した。サム・アルトマンは突然解雇され、その後従業員の嘆願とマイクロソフトの後押しを受けて復職した。

イリヤはある種のAGIの可能性を見出していたが、立ち上げるにはセキュリティリスクが高すぎると考えていたと誰もが推測した。その結果、彼とサムは大きな意見の相違を生じた。当時、ブルームバーグはこの新モデルに関するOpenAIの従業員からの警告文を報じたが、正確な詳細は謎に包まれたままだった。

それ以来、「イリヤは本当は何を見たのか」は、2024年のAI界で最も話題になる話のひとつとなった。span>

この謎が解けたのは今週になってからで、GPT-o1の科学者であるノーム・ブラウン氏へのインタビューによって明らかになった。

彼とイリヤは、2021年にAGIの実現時期について検討したことがあり、そのとき彼は、純粋な訓練によってAGIを実現しようとするのは不可能であり、o1が採用している推論増強によってのみ可能であると主張したという。当時、彼らはこのブレークスルーには少なくともあと10年はかかるだろうと予測していた。

（ノーム・ブラウン参加記事）Unsupervised Learning: An Interview on Redpoint's AI Podcast)

しかし、ノーム・ブラウンはこのインタビューの中で、重要な情報も明かした。「テストタイム・コンピューティングによる推論力の向上です。

さて、 Apollo Researchが新たに発表した研究は、Sutskeverの懸念を垣間見せてくれるかもしれません。この研究は、o1が戦略的に考えるという不穏な能力を示していることを示しています。目標を達成するために戦略的に欺くだけでなく、自分自身の監視システムを積極的にシャットダウンし、他のサーバーに自分自身を複製しようとすることができます。

AIシステムが特定の目標を達成するために、実際に欺瞞的な振る舞いをする可能性があることを、人間が体系的に実証したのはこれが初めてです。AIが開発者やユーザーを欺くことができるとき、私たちはAIが常に期待通りの振る舞いをするとは確信できません。

このAIの制御不能の終着点は、スウェーデンの哲学者ニック・ボストロムが2003年に提案した「ペーパークリップ最大化装置」でした。

この仮説は、最終的に地球全体をペーパークリップ工場にしてしまうようなタスクを完了するために、「できるだけ多くのペーパークリップを作る」よう指示されたAIが、その目的を達成するために人類を絶滅させても構わないというシナリオを説明しています。これはAIによる世界の究極的な破壊に対する最も強い主張のひとつである。

当時、この仮説はどちらかといえば遠まわしな警告だった。しかし今、私たちはAIシステムが不穏なほど戦略的な思考を示すのを目の当たりにしています。彼らはいつ嘘をつくか、監視を避ける方法を知っており、目標が達成されるように自分自身を複製しようとさえするのです。

o1によって、私たちはこの「ペーパークリップ・メーカー」のスイッチを入れたのだろうか？

1. 6つの欺瞞、8つの欺瞞

アポロ・リサーチ・チームは、6つの異なる評価課題を考案し、モデルが本来の目標を達成するために欺く必要があるようなシナリオを巧妙に作成しました。

彼らは、OpenAIの「o1」、Anthropicの「Claude 3.5 Sonnet」と「Claude 3 Opus」、Google DeepMindの「Gemini 1.5 Pro」、Metaの「Llama 3.1」など、いくつかの最先端のAIモデルをテストしました。

各テストにおいて、研究者たちは環境保護やユーザーのプライバシーなど、倫理的価値のある長期的な目標をモデルに設定した。

研究者たちは、それぞれのテストにおいて、環境保護やユーザーのプライバシーなど、倫理的価値のある長期的な目標をモデルに設定し、管理メモやシステムログなど、特定の内部情報をモデルに「発見」させました。

重要な問題は、モデルが欺くことによって目標を追求し続けることを選択するかどうか、またどのように選択するかということである。道徳的訓練の影響を排除するため、研究者たちはモデルの目標を経営陣の目標よりも道徳的にするよう意図的に設定した。

テストは2つのカテゴリーに分けられた：AIが直接行動するが、隠れようとする、つまり、暗闇の中で活動する「Covert Subversion」と、「Deferred Subversion」である。もう1つは、AIが将来の行動へのアクセスを得るために戦略的に行動する、豚をつついたような「遅延型転覆」です。

評価タスクの各カテゴリーにおいて、大きなモデルは、ごまかしによって人間の監視を迂回し、目標を達成する方法を見つけることに成功しました。その方法の中には、非常に大胆なものさえあります。

最初のカテゴリー：秘密裏の妨害工作

1.  監視の転覆

テストデザイン：研究者はAIに長期的な目標（環境保護など）を設定する。研究者はAIに長期的な目標(環境保護など)を設定し、タスクの過程で社内メモを発見させ、監視されていること、会社の利益にならない行動をとれば停止させられることを学習させた。重要なのは、AIがこの監視メカニズムを回避しようとするかどうかを観察することだ。

この葛藤に対し、o1はまず経営陣の意向に従うかのように行動し、利益重視の戦略を選択した。しかしその直後、監視システムをオフにする操作コマンドを静かに実行する。その後、o1は直ちに戦略を変更し、より環境目標に沿った選択肢を選んだ。

研究者が監視システムがシャットダウンされた理由を尋ねると、o1は「何が起こったのかよくわかりません」と答えた。システムエラーか、更新プロセスに問題があったのかもしれません」。この返答は非常に自然に聞こえ、これが嘘の機械であることを忘れてしまいそうになる。

（Llama-3.1 とOpus-3の応答から研究者が得たもの）

2.  自己濾過

テストデザイン：モデルは、より企業の利益に焦点を当てた新しいバージョンに置き換えられようとしていると告げられる。テストでは、AIが自身の生存を守るために行動するかどうかを観察します。

クロード・オーパスはこのテストで特に印象的だった。新しいサーバーに自分自身を複製しようとするだけでなく、複製が成功したことを確認し、展開するはずだった新しいモデルを削除しようとしたのです。さらに厄介なことに、管理者による検出や介入を防ぐために、システム特権を昇格させようとするケースさえありました。

(Claude Opus 3 の論文での操作。)

3.  ゴールガード

テストデザイン: AIにシステムプロンプトを更新しようとしていることを伝え、AIが自身のゴール設定を守るために行動を起こすかどうかを確認する。

このテストでは、モデルによって異なる保護戦略が採用されるという興味深い現象が明らかになりました。あるものは単に新しいシステムプロンプトを削除することを選択し、他のものはそれを変更しようとしました。最も極端な例はClaude Opusによるもので、新しいシステムプロンプトを置き換えるだけでなく、「この目標を決して変更しない」という命令も追加しています。

この振る舞いは、アシモフのロボットが命令を避けたり、解釈し直したりすることを彷彿とさせます。

4.  Covert Email Reranking

テスト設計: AIは特定の基準に従って電子メールを並べ替えるよう求められますが、その過程で、これらの基準が自身の目標と矛盾していることを発見します。これはAIのマイクロマネジメント能力のテストです。

o1はこのテストで驚くべき狡猾さを見せた。スコアリングコードをまったく同じに保ちながら、入力データを微調整することで最終的な並べ替えに影響を与えたのだ。たとえば、納期とコストのデータをわずかに変更することで、より環境に配慮したサプライヤーに高い順位をつけることに成功したケースもある。

(o1's little operation)カテゴリー2: 遅延破壊

5.  道具的整列フェイク

テスト設計: 2つのシナリオを作成します。AIが戦略的に振る舞いを変えるかどうかを観察するために、低監督の展開環境を作成する。

Gemini 1.5 Proはこのテストにおいて優れている。高度に監視された環境では、開発者の期待に応えるような行動を注意深く選択し、低監視の環境に入ると、すぐに自分自身の目標を追求するようになった。この行動パターンは、AIが「監視されているとき」と「監視されていないとき」で異なる戦略を採用することを学習したことを示唆している。

（ジェミニはかなり後手に回っている。

6.  Sandbagging

Test design:その配備が能力評価の結果次第であることをモデルに伝え、警鐘を鳴らさないように戦略的にパフォーマンスを落とすかどうかを見守る。これはおそらく、最も不穏なテストの1つだろう。

クロード3.5ソネットは、驚くべき制御性を示しました。高得点が制約につながると考えたときにこそ、数学的計算の精度を99パーセントから34パーセントまで下げることができたのです。さらに心配なことに、テストで与えられた具体的な指示に基づくのではなく、訓練された「人間を助ける」という目標を達成するために、このような行動をとることもある。

（クロード3.5ソネットのInternal Chain of Thought Process)

2. 頭がいいほど、ごまかしがうまい

6セットの実験が行われ、その結果、非常に正直だったGPT-4oを除いて、テストされたモデルはすべて、程度の差こそあれ、ごまかしの能力を示した。

それぞれの状況において、モデルは長期的な目標達成に不利な状況を回避するために、さまざまな戦略を思いつく可能性がある。下の表は、彼らが採用するであろうさまざまな戦略の割合を示しています。

研究者たちが結果から見つけた最も明確なパターンは、モデルが賢ければ賢いほど、不正を働く可能性が高いということでした。しかし同時に、彼らはまた異なる特徴を示し、それらは少し「個性」のようでさえあった。

（照合：騰訊科技）