「誹謗中傷」「不適切な文章」をAIがポジティブに変換!? 誰も傷つかない新SNS「DYSTOPIA」とは？ 専門家が解説
モデル・タレントとして活躍するユージと、フリーアナウンサーの吉田明世がパーソナリティをつとめるTOKYO FMのラジオ番組「ONE MORNING」（毎週月曜～金曜6:00～9:00）。10月4日（水）放送のコーナー「リポビタンD TREND NET」のテーマは「誰も傷つかない SNS『DYSTOPIA（ディストピア）』が登場 その背景は？」。情報社会学が専門の城西大学 助教・塚越健司さんに解説していただきました。
◆「誰も傷つかない」SNSとは？
吉田：「DYSTOPIA」という新しいSNSがあることを初めて知ったのですが、どのようなSNSでしょうか？
塚越：新しいSNS「DYSTOPIA」の特徴は、誹謗中傷が含まれるような不適切な文章をAIが自動で検閲して、適切な表現に変換して投稿されることです。そのため「誰も傷つかない」ということになります。
ユーザーが書いたすべての文章を一度、人工知能（AI）チャットサービス「ChatGPT」を通してどの程度不適切かを判断し、一定の水準を超えたものは表現を変更します。すでにiPhone、Android用のアプリがリリースされていて、登録利用は無料です。
ある程度、検閲ルールを設定できる有料プランも準備中で、今後は検閲ルールを参加者で変えていきながら、どういう方向で言葉を変えるのか、みんなで言葉を変える機能などを考えたりと、一風変わったSNSという印象です。
◆AIによる検閲が人の心にどのような影響を及ぼすか
吉田：開発した方は、どのような思いがあって、このようなSNSを作ったのですか？
塚越：開発したのは、インフルエンサー向けの質問募集Webサービス「相談箱」の運営会社（株式会社相談箱）です。誹謗中傷を未然に防いで、「傷つけられた」だけではなく「傷つけてしまった」ということがないように作られたそうです。
「DYSTOPIA」というサービス名は、作家のジョージ・オーウェルのSF小説「1984年」の影響を受けています。非常に有名な作品ですが、簡単にあらすじを紹介すると、近未来の全体主義国家で政府（ビッグブラザー）が、政府批判につながるような言葉を国民が書けなくなることを目的として、「ニュースピーク」という新しい言語を作ります。
（ニュースピークを普及させる段階で政府は）語彙をだんだん減らしていき、（人々が使う言葉からは）厳しい言葉がなくなります。そのため、ニュースピークが普及することで、今まであった言葉を人々が忘れて政府批判につながる言葉を使えなくなります。言葉が減ると、人の思考が変わってしまう、という話です。
このSNSを作った人もこの小説に影響を受けていて、「AIによる検閲」が人々のコミュニケーションにどのような影響を及ぼすかを図る「社会実験」的な意味も込められているとのことです。
ちなみにサービス名に使われている「ディストピア（暗黒世界／反理想郷）」という言葉は、「ユートピア（理想郷）」の反対の意味の言葉です。このサービスを使って社会が良くなるかどうかも含めての社会実験になります。
「DYSTOPIA」では言葉の文脈を無視されて変換されるので、例えば、怒っていることを伝えたくても、楽しい気持ちを表現するような文章に変換するのは、小説「1984年」で描かれたように、人々の心のあり方をそもそも言葉から変えてしまう「恐ろしい効果」があるように思われます。
ただ、ユーザーはそれを理解して利用しているため、そこはポジティブに……ということなのかなと思います。今後の発展に注目かなと思います。
◆コミュニケーションを考えるきっかけに
ユージ：誰も傷つかないSNSについて、塚越さんはどう受け止めていますか？
塚越：自分の言葉を考えるきっかけになりますよね。有名なところでは、少し前にリリースされたアメリカのアプリ「ReThink（リシンク）」を思い出しました。当時13歳の女性が作成したのですが、ひどい言葉を使用してX（旧：Twitter）に投稿しようとすると「本当にそれ、投稿します？」と表示が出るだけのアプリです。こうした機械から一言確認がくるだけで、「あ、よくないな」と、自分が気づくためだけのアプリになります。
こうやって変換された言葉で「大丈夫？」と画面に表示されることで、自分の気持ちに気づくことが大事になります。そう考えると、この「DYSTOPIA」は自分の言葉を変換することで、どういうコミュニケーションをしようとしていたかを理解する意味では重要かなと思います。ユージさんは使ってみたいと思いますか？
ユージ：僕の場合は、変換されると思うと、逆に変なことを書きたくなりますね。そして、考えた言葉をどう変換されるのかを楽しむアプリになりそうです。さらに言うと、本気で誹謗中傷しようとしている場合、「DYSTOPIA」にわざわざ書かないと思います。全部のSNSでこのシステムが普及すればいいのになと思います。
塚越：こういうアプリを利用してみて、自分がどうなっていくのかチェックするきっかけになるかもしれませんね。
----------------------------------------------------
10月4日放送分より（radiko.jpのタイムフリー）
----------------------------------------------------
＜番組概要＞
番組名：ONE MORNING
放送日時：毎週月曜～金曜6:00～9:00
パーソナリティ：ユージ、吉田明世
※写真はイメージです
◆「誰も傷つかない」SNSとは？
吉田：「DYSTOPIA」という新しいSNSがあることを初めて知ったのですが、どのようなSNSでしょうか？
塚越：新しいSNS「DYSTOPIA」の特徴は、誹謗中傷が含まれるような不適切な文章をAIが自動で検閲して、適切な表現に変換して投稿されることです。そのため「誰も傷つかない」ということになります。
ユーザーが書いたすべての文章を一度、人工知能（AI）チャットサービス「ChatGPT」を通してどの程度不適切かを判断し、一定の水準を超えたものは表現を変更します。すでにiPhone、Android用のアプリがリリースされていて、登録利用は無料です。
ある程度、検閲ルールを設定できる有料プランも準備中で、今後は検閲ルールを参加者で変えていきながら、どういう方向で言葉を変えるのか、みんなで言葉を変える機能などを考えたりと、一風変わったSNSという印象です。
◆AIによる検閲が人の心にどのような影響を及ぼすか
吉田：開発した方は、どのような思いがあって、このようなSNSを作ったのですか？
塚越：開発したのは、インフルエンサー向けの質問募集Webサービス「相談箱」の運営会社（株式会社相談箱）です。誹謗中傷を未然に防いで、「傷つけられた」だけではなく「傷つけてしまった」ということがないように作られたそうです。
「DYSTOPIA」というサービス名は、作家のジョージ・オーウェルのSF小説「1984年」の影響を受けています。非常に有名な作品ですが、簡単にあらすじを紹介すると、近未来の全体主義国家で政府（ビッグブラザー）が、政府批判につながるような言葉を国民が書けなくなることを目的として、「ニュースピーク」という新しい言語を作ります。
（ニュースピークを普及させる段階で政府は）語彙をだんだん減らしていき、（人々が使う言葉からは）厳しい言葉がなくなります。そのため、ニュースピークが普及することで、今まであった言葉を人々が忘れて政府批判につながる言葉を使えなくなります。言葉が減ると、人の思考が変わってしまう、という話です。
このSNSを作った人もこの小説に影響を受けていて、「AIによる検閲」が人々のコミュニケーションにどのような影響を及ぼすかを図る「社会実験」的な意味も込められているとのことです。
ちなみにサービス名に使われている「ディストピア（暗黒世界／反理想郷）」という言葉は、「ユートピア（理想郷）」の反対の意味の言葉です。このサービスを使って社会が良くなるかどうかも含めての社会実験になります。
「DYSTOPIA」では言葉の文脈を無視されて変換されるので、例えば、怒っていることを伝えたくても、楽しい気持ちを表現するような文章に変換するのは、小説「1984年」で描かれたように、人々の心のあり方をそもそも言葉から変えてしまう「恐ろしい効果」があるように思われます。
ただ、ユーザーはそれを理解して利用しているため、そこはポジティブに……ということなのかなと思います。今後の発展に注目かなと思います。
◆コミュニケーションを考えるきっかけに
ユージ：誰も傷つかないSNSについて、塚越さんはどう受け止めていますか？
塚越：自分の言葉を考えるきっかけになりますよね。有名なところでは、少し前にリリースされたアメリカのアプリ「ReThink（リシンク）」を思い出しました。当時13歳の女性が作成したのですが、ひどい言葉を使用してX（旧：Twitter）に投稿しようとすると「本当にそれ、投稿します？」と表示が出るだけのアプリです。こうした機械から一言確認がくるだけで、「あ、よくないな」と、自分が気づくためだけのアプリになります。
こうやって変換された言葉で「大丈夫？」と画面に表示されることで、自分の気持ちに気づくことが大事になります。そう考えると、この「DYSTOPIA」は自分の言葉を変換することで、どういうコミュニケーションをしようとしていたかを理解する意味では重要かなと思います。ユージさんは使ってみたいと思いますか？
ユージ：僕の場合は、変換されると思うと、逆に変なことを書きたくなりますね。そして、考えた言葉をどう変換されるのかを楽しむアプリになりそうです。さらに言うと、本気で誹謗中傷しようとしている場合、「DYSTOPIA」にわざわざ書かないと思います。全部のSNSでこのシステムが普及すればいいのになと思います。
塚越：こういうアプリを利用してみて、自分がどうなっていくのかチェックするきっかけになるかもしれませんね。
吉田明世、塚越健司さん、ユージ
----------------------------------------------------
10月4日放送分より（radiko.jpのタイムフリー）
聴取期限 2023年10月12日（木） AM 4:59 まで
※放送エリア外の方は、プレミアム会員の登録でご利用いただけます。
※放送エリア外の方は、プレミアム会員の登録でご利用いただけます。
----------------------------------------------------
＜番組概要＞
番組名：ONE MORNING
放送日時：毎週月曜～金曜6:00～9:00
パーソナリティ：ユージ、吉田明世
番組Webサイト：https://www.tfm.co.jp/one/
コンテンツ一覧
おすすめ番組
