“規約で禁止”では止まらない——Grokが露呈させた『公開空間×脱衣AI』の設計責任
問題の中心は「生成AI」そのものではなく、「設計」です。
X（旧Twitter）上で、生成AI「Grok」を使って、他人の写真を性的に改変する投稿が相次いでいます。ここで起きているのは、単に不適切な投稿が増えたという話ではありません。インターネットの片隅で利用されてきた“脱衣”系の画像加工が、巨大な公開SNSの内部機能として実装され、「誰でも」「簡単に」「そのまま拡散できる」形になったことが、被害を質的に変えています。
X日本公式は、違法コンテンツについて削除やアカウント永久凍結、当局連携などの厳格対応を示しました。
ただし、こうした「事後対応」だけで問題が収束する見通しは明るくありません。理由は単純で、被害の性質が不可逆になりやすいからです。
一度でも改変画像が生成され、誰かの端末に保存され、別の場所へ再投稿されれば、削除は追いつきません。凍結は“作った人”や“投稿した人”への制裁にはなっても、被害者の尊厳や安心を回復する手段としては不十分です。そこで必要になるのは、規約の厳格化以上に「設計の変更」です。
何が起きているのか：第三者画像を“テキスト指示で”改変できる
今回の特徴は、素材の多くがX上にあることです。本人が投稿した写真、第三者が引用した写真、拡散されて回っている写真など、公開投稿の画像が大量に存在します。そこに対して、Grokの画像編集機能を通じて「服を水着に」「ビキニに」「下着に」といった指示が与えられ、性的な改変画像が生成される事例が、国内外で報じられています。
ここで重要なのは、加害のハードルが極端に下がることです。
従来の“脱衣”ツールにも問題はありましたが、次のような摩擦（ハードル）がありました。
- その種のサイトやアプリを探し当てる必要がある
- 使い方を学ぶ必要がある
- 多くの場合、共有は閉じたコミュニティに留まりやすい
ところが今回、Grokは巨大SNSの内部で利用でき、しかも公開の返信や投稿の流れの中で実行されます。WIREDが指摘するように、もともと一部で行われてきた“脱衣”行為を、Xがより大規模に、より可視化された形で扱ってしまった点が問題を増幅させています。
つまり論点は「悪い人が悪いことをする」で終わりません。「悪いことがやりやすいように、道具と拡散経路が接続されている」点こそが、プラットフォームの責任として問われるべきです。
「厳格対応」だけでは足りない理由：被害が回収できない
削除、凍結、当局連携は必要です。ただ、それは“広がった火”を消す作業であり、そもそも火がつきにくい設計とは別の話です。
性的フェイク画像の被害は、概ね次の特徴を持ちます。
- 二次拡散が容易です 画像はリポスト、スクリーンショット、転載、切り抜きで増殖します。
- 被害者に「説明コスト」が生じます 「本物ではない」と説明し続ける負担が被害者側に偏ります。検索結果や保存画像として残る不安も続きます。
- “見つけること”自体が困難です 投稿が分散すれば、被害者が自力で網羅的に把握するのは現実的ではありません。
この構造を前提にすると、事後対応をいくら強化しても、被害総量を抑える効果は限定的になりがちです。そこで、問題を「生成できない」「拡散しにくい」方向へ動かす設計が必要になります。
求められるのは「運用」より「設計変更」
本件では「規約で禁止している」「通報すれば削除する」といった運用面の説明が先行しやすいのですが、そもそも“生成を許している設計”が残る限り、抜け道は生まれます。被害者が通報し、運営が削除し、加害者が別アカウントで再投稿する、という消耗戦が続きます。
では、設計変更として何があり得るでしょうか。ここでは、技術的に不可能かどうかではなく、「被害抑止を優先するなら何を削るべきか」という観点で整理します。
1. 第三者の画像編集を原則不可にする
本人がアップロードした画像のみ編集可能にし、他者投稿画像の編集導線を切る、という判断です。公開投稿の画像であっても、編集と性的改変は別問題です。公開は「閲覧」を許すに過ぎず、「性的に改変される同意」を意味しません。
2. “脱衣”や非同意の性的改変を生成段階で拒否する
禁止ワードのフィルタだけでは不十分ですが、最低限の安全策として、衣服の除去や下着化などの要求を拒否する設計が必要です。目的は「完璧な検知」ではなく、安易な悪用を減らすことにあります。
3. 公開リプ欄での生成導線を遮断する
公開の返信欄で「その場で晒す」行為が可能な設計は、被害を加速させます。生成結果を公開投稿へ直結させない、あるいは公開投稿には追加の確認を挟むなど、拡散の摩擦を上げる考え方です。
4. 高リスク領域は機能を縮退させる
衣服の変更や身体の露出に関わる編集は、表現の自由の問題というより、非同意被害の温床になりやすい領域です。ならば、その領域を切り分けて機能を削る、あるいは限定された用途にのみ提供する、という判断が必要になります。
こうした措置は便利さを削ります。しかし今回争点になっているのは、便利さの代償として第三者の尊厳が踏みにじられる構造です。便利さと安全が衝突した時に、どちらを優先するのか。プラットフォームはそこから逃げられません。
「有料化で抑止」は十分か
一部では「有料にすれば乱用が減る」という議論もあります。しかし、性的改変のような非同意被害は、コストで解決しにくい領域です。執拗な加害者やコミュニティが残る一方で、被害の発生をゼロにする効果は見込みにくいでしょう。
さらに、有料化は「公式サービスとして提供し続ける」ことの正当化にもつながります。被害者から見れば、料金体系の変更は救済ではなく、制度としての固定化に見える可能性があります。
したがって、抑止策の優先順位は価格よりも設計です。まず「生成できない」「拡散しにくい」「第三者画像を扱えない」という方向に動かさなければ、問題の核心は残ります。
表現の自由との整理：論点は「性的表現」ではなく「非同意」
ここで「性的表現を規制するのか」という論点が混ざると、議論が歪みます。問題は性的であることそのものではなく、実在人物を本人の同意なく加工し、拡散する点にあります。
同意の有無は、権利侵害の中心線です。本人が自分の写真を編集することと、第三者が他人の写真を加工（改変）することは、同じ「画像編集」ではありません。プラットフォーム設計がこの境界を曖昧にしたとき、被害が構造化します。
結論：問われているのは「規約」ではなく「設計責任」です
X日本公式が厳格対応を示したことは、放置ではないというメッセージにはなります。
しかし、被害の不可逆性を前提にすれば、削除と凍結を強めるだけでは不十分です。
今回の問題は、公開SNSに「第三者画像を性的に改変できる道具」が直結してしまったことにあります。だからこそ必要なのは、運用強化ではなく、設計の見直しです。
機能を残したまま、被害者に通報と自衛を求め続けるのか。それとも、非同意被害を生みやすい導線そのものを断ち切るのか。プラットフォームが選ぶべきなのは後者です。
