ログイン/ 登録

大手AI企業、透明性テストで大失敗

2023/10/25 15:43

従う

今日のAI主導の世界では、透明性の欠如という重大な問題が影を潜めている。AIの透明性は、AIシステム、特にリスクの高いアプリケーションで使用されるAIシステムに対する信頼を構築するために不可欠である。ステークホルダーがAIシステムの仕組みを明確に理解できれば、その判断を信頼する可能性が高まる。

AI企業の透明性に関する包括的分析

スタンフォード大学、マサチューセッツ工科大学（MIT）、プリンストン大学（Princeton）の研究者の共同作業により、財団モデル開発者の透明性を徹底的に評価した結果、注目すべき発見があった。それは評価第三者の専門家によって実施されたこの調査は、AI業界における透明性の状況を明らかにするものである。

アセスメントを通じて、基礎モデル開発者の中で最も高得点を獲得したモデルでさえ、100点満点中54点しか獲得していないことが明らかになり、業界の根本的な透明性の欠如が浮き彫りになった。

ソーススタンフォードMFRC

全体的に乏しい透明性

全デベロッパーの平均スコアは、わずか37％にすぎない。驚くべきことに、100の指標のうち82しか、少なくともひとつの開発者が満たしておらず、透明性の基準に改善の余地があることを強調している。興味深いことに、オープン・ファウンデーション・モデルの開発者は、3社中2社がトップスコアを獲得し、フロントランナーとして浮上している。これらの主要な開発者は、モデルのウエイトのダウンロードを許可しており、透明性のベンチマークを設定している。安定性AIはオープンソースではないが、4位と僅差で続いている。

ドメインとサブドメイン別の洞察に満ちた内訳

包括的な評価では、3つの重要な領域に分類された100の指標が定義されている：

上流： 基礎モデルの構築に関しては、計算資源、データ、労働力が含まれる。特筆すべきは、開発者がデータ、労働力、計算の各サブドメインで不足していることで、それぞれ20％、17％、17％というスコアにとどまっている。

モデル この領域は、基盤モデルの特性と機能に焦点を当てている。開発者は、ユーザーデータ保護（67％）、モデル開発（63％）、能力（62％）、制限（60％）といった領域で透明性を示している。

下流： この領域は、モデルの配布と使用について掘り下げ、モデルがユーザー、更新、管理方針にどのような影響を与えるかについての透明性を反映する。

ソーススタンフォードMFRC

サブドメインによるきめ細かな分析

開発者はさまざまなサブドメインにおいてある程度の透明性を示しているが、改善の余地はかなりある。たとえば、利用データへのアクセス方法を開示している開発者は皆無である。モデルの限界を率直に認めたり、第三者による評価を許可している開発者はほとんどいない。同様に、モデルの構成要素を公表している開発者はわずか3社であり、モデルのサイズを公表している開発者はわずか2社である。

オープンモデルとクローズドモデル：大きな溝

AI業界では、モデルをオープンにすべきかクローズドにすべきかという議論が続いている。オープンモデルはクローズドモデルよりも優れており、3つのオープンモデルのうち2つは最高のクローズドモデルをも凌駕している。この格差の多くは、クローズド開発者、特に上流領域におけるデータ、労働、計算の詳細に関する透明性の欠如に起因している。

ソーススタンフォードMFRC

AI被害の盲点

この記事は、AIが社会に与える影響について重要な問題を提起している。チャットボットはどれくらいの頻度で誤った医療アドバイスを提供しているのか？AIの検索エンジンは、個人を冤罪で訴えたことがあるのか？ユーザーはAIによって生成された偏ったコンテンツにさらされているのか？悲しいことに、これらの疑問はしばしば答えられないままであり、透明性の必要性を強調している。その上、AIは露骨なコンテンツを作成したり、誤った情報を宣伝したり、不要なコンテンツを生成したりすることで、危害を加える可能性がある。これらすべてのケースについて、透明性を確保する必要がある。

したがって、透明性報告書は、有害性を定義し、検出し、有害なコンテンツの頻度を開示し、強制メカニズムと安全フィルタの有効性を評価すべきである。これは、汎用的でリスクの高いAIアプリケーションにとって不可欠である。