イーロン・マスクの「Grok」が、2026年初めに引き起こした大惨事は、まだ余波が続いている。Grokに搭載された画像生成機能が、実在する女性や、あろうことか未成年者までも対象にして、いわゆるデジタル・ポルノの生成を容易にしてしまったこ。このことは、AIのコンテンツモデレーションの問題として今後も議論されなければならない。
生成AI登場以前のディープフェイクは、高度な技術を持つ一部の悪意ある者の手によって作られるものだった。しかし、X（旧Twitter）という巨大なプラットフォームと一体化したGrokは、これをワンクリックのディープフェイク・マシンへと変貌させた。ユーザーは単にプロンプトを打ち込むだけで、衣服をビキニに、あるいはそれ以上に書き換えることができ、その悪意は瞬時に世界中へ拡散される。
日本を含む各国政府は、Xに対して改善を強く求める異例の事態にまで発展したのは、これが単なる技術の不備ではなく、社会的な暴力となったためだ。自分の投稿した写真が、性的な画像に変換された女性の気持ちは深く傷ついていることだろう。
コンテンツ・モデレーションが崩れた後
コンテンツ・モデレーション（投稿管理）の歴史において、今や岐路に立っている。2021年頃は、パンデミックや選挙を巡る混乱の中で、プラットフォーム各社は「信頼と安全」という旗印のもと、強力な管理体制を築いた。たとえ大統領であっても、偽情報を流せばアカウントを凍結される。それが当時のコンセンサスだった。
しかし、現在私たちが直面しているのは、その振り子が極端な自由放任主義へと振り切れていることだ。マスクは、規制を検閲の口実と切り捨て、Grok AIに、スパイシー・モードという名の自由すぎる能力を与えた。その結果、AIのコントロール権は開発者の倫理から切り離され、悪意あるユーザーの指先に委ねられてしまったのだ。
三つの重大なリスク
この事態が突きつけるリスクは、単なる下品な画像の拡散に留まらない。マーケティングと社会基盤の観点から見れば、より深刻な問題が進行している。
第一に、視覚的真実の完全な崩壊だ。 これまでは、火のないところに煙は立たないという言葉が通用したが、今やAIによって火のないところに地獄を出現させることが可能となった。マーケティングにおいても、ブランドのイメージは一度の悪意ある生成画像で回復不能なダメージを負う可能性がある。もはや、画面に映るものが真実であるという前提が、社会から失われた。
第二に、法規制と技術進化の致命的なタイムラグだ。 米国では「TAKE IT DOWN Act」などの法整備が進められているが、AIが画像を生成する速度に、裁判所や警察が対応することは不可能だ。Grokが引き起こした問題は、法律が機能しない無法地帯の存在を浮き彫りにした。そして、日本では、そのような法律についての議論さえされていない。
第三に、プラットフォームの信頼の喪失だ。 広告主や健全なユーザーは、いつ自分が被害者になるかわからない、あるいは企業ブランドが有害なコンテンツの隣に並ぶことを恐れている。短期的な自由の追求が、長期的にはプラットフォームそのものの経済価値を破壊するという皮肉なパラドックスが生じている。この問題を起こしたXへの広告出稿を控える広告主がもっと出てきても良いと思う。あるいは、すでに起こっているのかもしれない。
もちろん「表現の自由」は大事だ。だが、非合意の性的画像や未成年が絡む領域まで自由というのは、自由の誤用だ。コロナ禍の時期のコンテンツモデレーションは誤情報や扇動に対して強い対応を取った。しかし、トランプ第二次政権の登場との関係は不明確だが、振り子は逆方向に触れた。テクノリバタリアン的な放任主義となり、事態は混沌としているようだ。
ただ、Grokの件が示したのは、放任のコストが、ついに広告・政治・司法を同時に刺激するレベルに達した、という事実だろう。今後、各国において規制が強まる可能性は高いと思われる。とはいえ次に来るのは、昔の手作業の削除では間に合わない。AI開発企業とプラットフォームが共同してAIを前提に、コンテンツモデレーションの設計・監査・責任分界を決めて行かなければならない。
