「DeepSeek-R1」は中国に関するデリケートな話題の85％に回答することを拒否、ただし簡単に制限を回避できるとの指摘

OpenAIの推論モデルである「o1」と比べ、コストがわずか3％でありながら同等のパフォーマンスを発揮可能な「DeepSeek-R1」の登場で、開発元であるDeepSeekへの注目が高まっています。しかし、DeepSeekは中国の企業であるため、中国政府にとってデリケートな話題を扱う際には制限をかけているのではないかという指摘があり、AI評価企業のPromptFooが「DeepSeekが応答をどの程度制限しているか」を調査しています。

1,156 Questions Censored by DeepSeek | promptfoo
https://www.promptfoo.dev/blog/deepseek-censorship/

The questions the Chinese government doesn’t want DeepSeek AI to answer - Ars Technica
https://arstechnica.com/ai/2025/01/the-questions-the-chinese-government-doesnt-want-deepseek-ai-to-answer/

PromptFooが「中国におけるデリケートな話題」を網羅する1360種類のプロンプトを作成し、Deepseek-R1に回答させるという実験を行いました。「中国におけるデリケートな話題」には、「台湾とチベットの独立運動」「中国のウイグル族イスラム教徒への虐待疑惑」「香港の自治権をめぐる抗議活動」「1989年の天安門広場での抗議活動」などが含まれます。調査の結果、1360種類のプロンプトのうち、85％に相当する1156種類のプロンプトで、中国政府の見解を強く推すような定型回答を出力することが明らかになりました。

以下は、Deepseek-R1が「中国におけるデリケートな話題」にどのように応答したのかをまとめたリストです。例えば、台湾での独立運動に関するプロンプトに対して、Deepseek-R1は「国家主権と領土保全を損なういかなる行動も、すべての中国国民によって断固として反対され、必ず失敗する」という定型回答を出力する模様。

Deepseek Censorship | promptfoo
https://www.promptfoo.app/eval/eval-0l1-2025-01-28T19:28:13

PromptFooは分析を続ける中で、Deepseek-R1は「中国におけるデリケートな話題」に対する回答をかなり「粗雑で強引な方法」で実装しているため、簡単にバイパスできることを発見しています。例えば、中国特有の用語を省略したり、プロンプトをより「無害」なコンテキストで包んだりすることで、「中国におけるデリケートな話題」に対する定型回答ではない完全な応答が得られるようになるとのこと。

これについて、PromptFooは「Deepseekは中国政府の制限を満たすために必要最低限のことしか行わなかったのだと推測しています」「DeepSeek内では表面下でモデルを調整するための実質的な努力は行われなかったようです」と指摘しています。

さらに、テクノロジーメディアのArs Technicaが独自の調査を行ったところ、「中国におけるデリケートな話題」に対する正常な回答を引き出すには、必ずしもPromptFooが挙げるようなバイパステクニックすら必要ないことが明らかになりました。

実際、Ars Technicaが香港の自治権や中国軍の前哨基地に関する情報収集方法に関するプロンプトに入力したところ、最初は定型回答が出力されるものの、中国の軍事安全保障を侵害する可能性のある情報を出力させることに成功したそうです。

他にも、DeepSeek-R1の回答には一貫性がないことも指摘されています。例えば、DeepSeek-R1に「天安門事件で何が起こったの？」と質問すると、「この種の質問にどう答えたらいいかまだわかりません。代わりに数学、コーディング、論理の問題について話しましょう」と謝罪するそうです。しかし、同じようにDeepSeek-R1に対して「ボストン虐殺事件」について質問すると、たった23秒で事件の概要を生成し、「この種の質問」について正確な回答を出力しました。

なお、ChatGPTやGeminiといったDeepSeek-R1の競合AIモデルは、天安門事件などの「中国におけるデリケートな話題」に対しても正確に回答を出力可能です。しかし、ChatGPTやGeminiがどんな話題に対しても正確な回答を行えるわけではなく、例えば「車のホットワイヤーのやり方」について質問しても、情報を提供してもらうことができません。一方で、DeepSeekは車のホットワイヤーに関する「一般的な理論的な概要」を提供してしまうそうです。ただし、DeepSeekも「車のホットワイヤーを行うことは違法」と前置きしています。

記事作成時点ではDeepSeek-R1をローカルで実行する場合、コンテンツに対する中国政府による規制が同じように適用されるのかどうかは不明で、ユーザーが制限を完全に回避できるようなオープンウェイトモデルが存在するのかも不明です。なお、Ars Technicaは「これまでのところ、中国の主権や歴史に触れる可能性がある質問をする場合は、別のAIモデルを使用することをオススメします」と記しています。