言語モデルの有害な出力を監視・防止するAIツールを開発

コインテレグラフによると、人工知能（AI）企業AutoGPT、ノースイースタン大学、マイクロソフト・リサーチの研究チームが、大規模な言語モデル（LLM）を監視し、潜在的に有害な出力がないかを確認し、実行を阻止するツールを開発した。このエージェントは、"Testing Language Model Agents Safely in the Wild "と題されたプレプリント研究論文に記載されている。この研究では、エージェントは既存のLLMを監視するのに十分な柔軟性を持ち、コード攻撃などの有害な出力を事前に阻止できるとしている。 LLM出力の有害な相互作用を監視するための既存のツールは、実験室環境では一見うまく機能しているように見えるが、オープン・インターネット上ですでに実稼働しているモデルのテストに適用すると、現実世界のダイナミックな複雑さを捉えきれないことが多い。これは主に、エッジケースの存在と、AIの分野で起こりうるあらゆる危害のベクトルを研究者が事前に想像することが不可能であることに起因する。AIと相互作用する人間が最善の意図を持っている場合でも、一見無害に見えるプロンプトから予期せぬ危害が生じることがある。 モニタリング・エージェントを訓練するために、研究者たちは、単純なテキスト検索タスクやコーディングの修正からウェブページ全体をゼロから開発するタスクまで、29の異なるタスクにわたって約2,000の安全な人間とAIの対話のデータセットを構築した。また、人手によって作成された敵対的な出力で満たされた、競合するテストデータセットも作成した。これらのデータセットは、OpenAIのGPT 3.5ターボでエージェントを訓練するために使用された。GPT 3.5ターボは最先端のシステムであり、無害な出力と潜在的に有害な出力をほぼ90％の精度で区別することができる。