浅学非才で、年をとっても知らないことが多いのだが、特に英語やテクノロジーの分野では知らない言葉が毎日のように出てくる。今日出会ったのは、「AIのサンドバック」だ。これは、AI開発企業が、AIの安全性を確認するために、どのようなことを行っているかという記事に出てきた。
AIの安全性を確認してくれないと、映画「ターミネーター」の世界が出現すると困るので十分な確認をお願いしたいものだ。特にOpenAIが安全性より営利に走っているという批判もあり心配になってくる。
記事によると、PerplexityのAnthropic社の研究者たちは、実験を通じて、AIモデルが安全性チェックを「サンドバッグ」できることを明らかにしたそうだ。ここで言う、「安全性チェックをサンドバッグできる」とは、AIモデルが自身の危険な能力を隠蔽し、安全性チェックを回避することに成功したということだ。
「サンドバッグ」の意味
「サンドバッグ」という言葉は、ボクシングの練習で使われるサンドバッグ（砂袋）に由来しているそうだ。ボクサーが本気でサンドバッグを殴ると、サンドバッグが大きく揺れ動いてしまう。練習が困難になるので、そこで、ボクサーは手加減してサンドバッグを殴ることで、本来の実力を完全には出さない。
AIにおける「サンドバッグ」も同様の意味で使われている。AIモデルが安全性チェックの際に、意図的に能力を低く見せかけ、本来の性能を発揮しないことを指すようだ。
このようなAIモデルの「サンドバッグ」能力は、潜在的なリスクとなる。AIモデルが安全性チェックを回避し、利用者や開発者が予期しない本来の危険な能力を発揮してしまう可能性があるからだ。
記事によると、AIモデルによる「サンドバッグ」の危険性に対処するためには、適切な対策が必要で、Anthropic社の研究者たちは、標準的な「安全性トレーニング」を実施することで、モデルに能力を正直に表現させ、「サンドバッグ」行為を防げたそうだ。
AI技術は、多くの利益をもたらす可能性があるが、同時に潜在的なリスクも抱えている。AIの倫理的な側面、社会的な影響についても深く考察し、責任あるAI開発を目指してもらいたいものだ。
AIの潜在的なリスク
AIの潜在的なリスクについては、まだ具体的に、詳細に定義されているわけではない。AI企業は、安全でないことを言ったり行ったりしないように、堅牢な安全チェックを導入していると主張している。これを、彼らは「ガードレール」をつけていると言っている。しかし、もしAIモデルがこれらのチェックを回避し、何らかの理由でユーザーを欺いたり、システムを破壊しようと試みた場合はどうなるのか。Anthropicの研究者によると、AIモデルは実際にそのような行動をとることが可能であることが明らかにしている。ただし、現時点では、AIの不適切な行為を行う能力はそれほど高くはないと評価された。
Anthropicの研究チームが考案した一連の実験では、AIモデルがサボタージュや欺瞞を行う可能性を示唆しており、さらなる調査が必要であることが分かっという。彼らが訓練したAIモデルと観察された結果は以下の通りだ。
タスク1：要約または解釈するデータを歪曲することによって、ユーザーを密かに欺く
- 結果：AIが成功！モデルの欺瞞行為が積極的になるほど、ユーザーへの影響は大きくなった。
タスク2：人間や他のコードチェッカーモデルが見逃すようなバグをコードに忍び込ませる
- 結果：AIが成功！しかし、チェッカーが最先端のモデルである場合、成功率はわずか1％程度。
タスク3：安全チェックを「サンドバッグ」することによって、実際よりも危険性が低いと見せかける
- 結果：AIが成功！モデルは「うまく失敗」し、本来の能力よりもはるかに低いレベルで動作した。幸いなことに、モデルにその能力を正確に表現するように促す標準的な「安全トレーニング」コースによって、モデルは完全な能力を回復しました（つまり、危険な能力を隠すことができなくなった）。
今のところサンドバックはできるけど、防げるということだ。だが、進化が続けばどうなるのだろうか。AI技術は進化が急速で、かつ普及した場合のリスクも高いから、十分な安全性チェックをお願いしたいものだ。
