OpenAI、AI関連の大災害リスクを評価する準備部門を立ち上げ

コインテレグラフによると、ChatGPTを支える人工知能（AI）研究・導入企業OpenAIは、AIに起因する潜在的な破滅的リスクの追跡、評価、予測、保護を専門とする新チームの設立を発表した。Preparedness」と呼ばれる新部門は、化学的、生物学的、放射性物質的、核兵器的脅威、個別化された説得、サイバーセキュリティ、自律的複製と適応に関連するAIの脅威に焦点を当てる。アレクサンダー・マドリーが率いるPreparednessチームは、フロンティアAIシステムが悪用された場合にどの程度危険なのか、悪意のある行為者が盗んだAIモデルウェイトを展開する可能性はあるのか、といった疑問に答えようとしている。OpenAIは、フロンティアAIモデルが人類に利益をもたらす可能性がある一方で、ますます深刻なリスクももたらすことを認めている。OpenAIは現在、新しいPreparednessチームのために様々な技術的背景を持つ人材を募集しており、大惨事の誤用防止のためのAI Preparedness Challengeを開始し、上位10件の応募にAPIクレジット25,000ドルを提供している。人工知能に関連するリスクは頻繁に強調されており、AIがどんな人間よりも知能が高くなる可能性が懸念されている。こうしたリスクにもかかわらず、OpenAIのような企業は新しいAI技術を開発し続けており、さらなる懸念を呼び起こしている。2023年5月、非営利団体Center for AI SafetyはAIリスクに関する公開書簡を発表し、パンデミックや核戦争といった他の社会的規模のリスクと並んで、AIによる絶滅のリスクを世界的な優先事項として軽減するようコミュニティに促した。