エッセイ
これは社会信用スコアではありません
恐れは、私たちが言い終える前にやって来ます。インパクトを称える社会をつくりたい、お金ではなくインパクトを人生のものさしにしたいと言うと、聞き手の心にある像がすばやく、鮮やかに浮かびます。どの顔のそばにも浮かぶ数字。正しい誰かを喜ばせれば上がり、そうでなければ下がるスコア。後ろに突き落とされる行列。『ノーズダイブ』です。『ブラック・ミラー』のあの回。誰もが互いを五つ星で格付けし、その累積が、住まいを、飛行機の席を、友情を、静かに左右する。礼儀正しさに溺れた一人の女性が、つかのま人気を失っただけで、すべてを失っていく(Brooker, Schur & Jones 2016)。
この恐れを、私はこの主張をした部屋のどこでも聞いてきました。安心の言葉では足りません。いちばん強い形で組み立て、そのうえで、「私たちは絶対にそんなことをしない善い人間です」という約束ではなく、構造として答える。善意は安全装置ではありません。設計が安全装置です。ですから私たちは、まずこのディストピアを、実際にそうであるとおりに現実的で恐ろしいものとして立ち上げ、そのうえで、私たちが提案している単位がなぜそれになりえないのかを、性質を一つずつたどってお見せします。「ならない」ではありません。「なりえない」。悪夢を生む壊れ方は、まさに私たちが自分に禁じた設計の選択だからです。
恐れを、いちばん強い形で
まず文化のなかの像から始めます。ここでいちばん効いているのが、この像だからです。『ノーズダイブ』は2016年に放送され、近いと感じさせたからこそ、人々の想像に住みつきました。誰もがすでに、格付けされた何かのなかで暮らしていました。運転手、売り手、ホスト、フォロワー数、いいね。あの回はただその線を延ばしただけです。もし一つの数字があって、皆に見えて、すべてへの入り口を支配したら。恐ろしいのは格付けそのものではありません。「全体性」と「換金性」です。どこにでも当てはまる一つのスコアが、そのまま、その部屋を借りられるかどうかに変わる。これが「インパクトスコア」という言葉が呼び出す絵であり、私はそれを見ないふりはしません。
それから、恐れが手を伸ばす現実の参照先があります。中国の社会信用システムです。ここでは、恐れがふだんそうするより慎重にいかねばなりません。広まっている像はほとんど神話であり、それを取り違えれば、本物ではなく藁人形に答えることになるからです。研究ははっきりしています。ニューヨーク大学・人権とグローバル正義センターのヴィクトリア・アデルマントは、率直にこう言います。「社会信用は、あらゆる行動が監視され、一人ひとりに単一のスコアが割り当てられる、ブラック・ミラーの一話のような、包括的で全国的な仕組みとして想像されている。これは実のところ、現実からかなり遠い」(Adelmant 2021)。一次資料を読むライデン大学のロヒール・クレーマースは、それを一つのスコアではなく「中央と地方における、国家と民間の主体が運営する諸施策のエコシステム」と述べ、効いている部分はアルゴリズムではなくブラックリストで動くと指摘します。「これらのブラックリストに数値のスコアづけは関わっていない。リストに載っているか、いないか、どちらかだ」(Creemers 2018)。長年その誤解を正してきたイェール大学ポール・ツァイ中国センターのジェレミー・ダウムは、市民スコアの話は「まったく起きていなかった」と言い、いちばん鋭い一言をこう加えます。「全体的なデータセットから単一の統合スコアをつくれば、ビッグデータをスモールデータに変えてしまう」(Daum 2022)。
これは見かけより大事です。システムを無害にするからではありません。無害ではない。ブラックリストは現実で、刺さります。大事なのは、本物の危険が「どこに」あるかだからです。人々が恐れるもの、つまり統合された、全体的な、換金できる、国家が握る市民スコアは、その代名詞とされる国においてさえ、ほとんど存在しません。存在するのはもっと雑然とした、けれどその実体において依然として強制的な何かです。だから誠実に、いちばん強い形にするなら「中国がノーズダイブのスコアをつくった」ではありません。「どの社会であれ、単一の、全体的な、国家が運営する、換金できるスコアをいざつくった瞬間、何が壊れるか」です。そして壊れ方はよく分かっています。技術が現れるずっと前に、思想家が地図を描いていたからです。
その思想家のうち、いちばん深いのがジェームズ・C・スコットです。『国家のように見る』で、彼は私たちに「可読性(レジビリティ)」という言葉を与えました。中央の権力が、課税し、徴兵し、統制するために、人間の暮らしの雑多な多様さを、上から読める一様な格子へと押し込むやり方です。固定された姓、標準の単位、地籍図(Scott 1998)。スコットの警告は、人を可読にする行為がけっして中立ではないということです。格子は、見えない地元の知を消し去り、それまで存在しなかった統制の道具を、格子を握る者の手に渡します。社会全体のスコアは、可読性の最も純粋な形です。人の全体を、あらゆる忠誠も、親切も、異議も、過ちも、一つの読める数字にして、一つの権力の手のなかに置く。スコットの本の全体が、これは格子を引く人が善意であっても悪く終わる、という論証です。
しかも、全体的なスコアは「使われ」さえしなくても害をなします。ただ存在するだけで、ふるまいを変える。人は、見られているものに合わせて自分を律するからです。これは測れます。2013年のスノーデンの暴露がNSAによる監視の規模を明らかにした後、ジョナサン・ペニーは、テロ関連の話題、つまりアルカイダ、車爆弾、タリバンといった項目のウィキペディアの閲覧数が、およそ20パーセント落ちたことを記録しました。見えない監視者に怪しまれないよう、人々が静かにそれを避けたのです(Penney 2016)。これが萎縮効果であり、ノーズダイブの世界のいちばん微妙な恐ろしさです。罰そのものではなく、数字が見ていると知っている全員が、先回りして自分を編集してしまうこと。逃げられないスコアは、外れられない台本になります。
これらを合わせると、恐れは素朴ではありません。それは、行いを称えることがいかにして統制へと腐りうるかについての、筋の通った、証拠に裏づけられた説明です。一つの数字にする(可読性)。全体にする(スコットの格子)。国家が運営する(一つの権力が握る)。換金できるようにする(ノーズダイブのように、それが部屋を買う)。そして逃げられなくする(あとは萎縮効果がやる)。西側の民主主義国は、これを本気で受け止め、法で禁じました。2025年2月から施行されているEUのAI法は、政府と民間の「社会的スコアリング」を「禁止される」慣行、つまり受け入れられないリスクとして名指しし、真正面から禁じています(European Union 2024)。世界はすでに、全体的なふるまいのスコアは越えてはならない一線だと決めたのです。
私たちも、そう決めました。問いは、私たちがつくっているものがその一線のどちら側にあるかです。誠実な答えは「否」だと、私たちは考えます。理由は、私たちの動機の純粋さではなく、単位の構造のなかにあります。
なぜ私たちの単位は、そのスコアになりえないのか
ここは正確でありたいのです。「私たちは違うから信じてほしい」は、まさにけっして信じてはならない答えだからです。私たちが提案する承認の単位には、五つの性質があります。どれも飾りではありません。どれも、上に挙げた特定の壊れ方の、直接の打ち消しです。どの一つを取り去っても、恐れはふたたび正当になる。だから私たちはこれらを、技術者が耐力壁を扱うように、譲れないものとして扱います。
それは中央からではなく、仲間から授けられる。 ノーズダイブのスコアとスコットの格子の、いちばん危険な特徴は、一つの権力が測る道具を握っていることです。スコアを定める者が、人を定める。私たちの単位には、そういう中心がありません。それは「横」に授けられます。仲間、同僚、隣人、貢献を見届けられるほど近くにいる人々によって。上から国家やプラットフォームが発行することはけっしてない。取り込める中央台帳もなく、回せる一つのダイヤルもなく、何が値打ちかを決める役所もない。これこそ、監視への恐れがほんとうに問題にしている性質であり、私たちが最初に拒むものです。一人がもう一人を見て「それは意味があった」と言う、小さく重なり合う千の行いから、スコットの格子は組み立てられません。そこに格子はなく、あるのは網であり、その真ん中に座る者はいません。
それは非換金である。携えられ、けっして換金されない。 これがいちばん仕事をする性質なので、はっきり言います。ノーズダイブの恐ろしさは換金性です。格付けがそのまま部屋に変わる。立場が使える残高に変わった瞬間、二つのことが同時に起きます。それは「値段」になる。そして値段は、報いようとしたまさにその寛さを腐らせる。これは称えることは、値段ではないで長く論じたとおりです。そしてそれは「罰」になる。使い切れるものは差し引くこともでき、換金できるスコアは、政策が一つ変わればもう首輪だからです。私たちの単位は、使うことも、換金することも、譲ることも、差し引くこともできません。それは携えられます。勇気や誠実さの評判が携えられるように。現実で、人がどう接してくるかに効きながら、それでいて誰かが管理する残高ではない。それで罰金を科すことはできない。それで買うこともできない。何にも換わらないものは、罰へと武器化されえません。
それは減衰する。永久の記録簿はない。 スコットの格子と社会信用のブラックリストは、静かな残酷さを分かち合っています。「覚えている」のです。記録は永久で、人はいちばん悪い項目に、いつまでも縮められる。私たちの単位は、わざと忘れます。承認は、ためこまれていく書類ではなく、最近の貢献の生きた信号です。新しい行いで更新されなければ薄れていく。つまり立場は、ためこむのではなく「もう一度得る」ものであり、落ち込んだひとときが終身刑になることはない。減衰こそが、仕組みを赦すものにします。そしてついでに言えば、それを統制の道具として使えなくするのも減衰です。永久の記録簿がなければ、永久の記録簿を誰かにちらつかせることはできません。
それは複数である。一つの世界共通スコアは、けっして存在しない。 悪夢のすべては「一つ」という言葉にかかっています。一つの数字、一つの権力、人類すべてを上から下まで並べる一つの尺度。私たちはこれを、土台として固い制約に書き込みました。けっして単一の世界共通スコアをつくらない。それはお金の単一ものさしの専横を、新しい通貨で繰り返すだけだからです。承認は「複数の」共同体のなかに生きます。千の文脈、それぞれに何を称えるに値するかの感覚があり、どれも一つの壮大な序列へと通約できない。芸術家のあいだで称えられる芸術家、介護する人のあいだで称えられる介護者、近所で静かに称えられる世話役。これらは一つの順位表の上の点ではありません。順位表がないからです。複数性は、仕組みをやわらげるものではありません。ノーズダイブをノーズダイブたらしめているまさにそのもの、つまり単一の序列を、拒むことそのものです。
それは普遍的な所得の床の上に浮かぶ。生存の首輪には、けっしてならない。 これは恐れがいちばん見落としがちな性質であり、おそらくいちばん大事なものです。ノーズダイブが恐ろしいのは、スコアが「生きること自体への入り口」を、住まいを、移動を、暮らしの手立てを支配するからです。保たなければ食べていけないスコアは、否と言えないスコアであり、それが首輪にする。私たちの提案ははっきりしています。そしてはっきり第二段階のものです。インパクトのものさしは、生存がすでに満たされた床の「上」に浮かびます。AIと高い所得の床により、立場がどうであれ誰も飢えず、住まいを失わない、豊かさの前提です。あなたの命が承認にかかっていないとき、承認は脅しであることをやめ、まったく別のものになります。すでに安全な人々が遊ぶ、意味の営みに。床こそが、称えることと強制とのあいだの防火壁です。それは「これをしなければ生きられない」と「これは、する値打ちがあるからする」との違いです。
二つの並びを突き合わせれば、構造ははっきりします。恐れは五つの選択から組み立てられています。中央、換金、永久、単一、生存を握ること。単位は、その五つの逆から組み立てられています。仲間から授ける、非換金、減衰、複数、床に守られる。これは偶然ではないし、修辞でもありません。私たちは性質を、壊れ方「から」導きました。ディストピアこそが仕様書であり、それを逆向きに走らせたのです。
私たちが主張しないこと
ここで止めて危険はゼロだと宣言すれば、私たちは、恐れを煽る人々を責めているまさにそのことをすることになります。都合のよい半分だけをお見せすることに。ゼロではありません。誠実さは、何が残るかを名指すよう求めます。
柔らかな社会的圧力は残ります。あるものを目に見えて称える共同体は、その同じ行いによって、それを大切にしていると伝えます。そして人は、自分の共同体が大切にするものに応えます。ときには、まわりに合わせて。それは現実で、無ではありません。私は、いまある引力、つまり注目と消費へ引っ張る力よりは、人をそっと貢献へ引き寄せる世界のほうがよいと思います。けれど「やわらかく、よりよく狙われた」は「ない」ではありません。誰もスコアをつけていないからといって、その後押しが消えるふりはしません。承認の文化もやはり一つの文化であり、文化のもつ、人を所属したくさせる力をもっています。
内輪の同調も残り、醜くもなりえます。複数性は、単一の専横な序列に対する私たちの安全装置ですが、その安全は、多くの小さな共同体を受け入れることで買われています。そして小さな共同体は、それぞれのやり方で、偏狭にも、徒党的にも、よそ者に冷たくもなりえます。地元の評価の網は、おのずから公正なわけではありません。間違ったものを称え、静かな人を見落とし、働く人より演じる人に報いることもある。私たちは、称えることそれ自体の壊れ方、つまり膨張、過ち、値段への逆戻りを、インパクト本位制と反論で誠実に、長く並べています。それらこそ本物の残余のリスク、設計が仕事を終えた「後に」残るものだからです。設計はノーズダイブのスコアを打ち負かします。ありふれた人間の小ささを打ち負かしはしないし、私たちはそう主張もしません。
そしていちばん大きな但し書きを、いちばん大きな声で言います。これはまだ、何一つ築かれていません。これは提案です。常設の、減衰する、複数の、仲間から授けられる、非換金の承認の仕組みを、普遍的な床の上で走らせ、それが一世代かけて何をするかを見届けた社会は、ありません。私たちは、この設計が構造によってディストピアを逃れると論じていますし、その論を信じています。けれど設計は、結果ではありません。私たちがいちばん確信しているのは否定のほうの主張であり、そしてそれは、部屋のなかの恐れにとっていちばん大事なものです。これが何になるにせよ、単一の、全体的な、換金できる、国家が握るスコアにはなりえない。それを組み立てるのに要る部品を、私たちは一つずつ手で取り除いたからです。
それが答えのすべてです。間違ったものを、間違ったやり方で、一つの場所で、永久に測る社会は檻になる、という恐れは正しい。私たちはその警告を、書いた人たちよりも注意深く読み、その逆を築きました。社会信用スコアは、一つの権力、一つの数字、一つの永久の記録簿、そしてあなたの生存に換わるもの。私たちの言う承認は、多くの証人、記録簿はなく、わざと薄れ、使える値打ちは何もなく、一つの命の床の上に安全に浮かぶもの。前者は、捕らわれる格子。後者は、善きものが見られないまま消えるのを、ただ拒む文化です。
お金ではなく、インパクトを人生のものさしに。それを授け、携えてください。そしてけっして、捕らわれるスコアにしないでください。
出典
- Brooker, Schur & Jones (2016), “Nosedive,” Black Mirror シーズン3 第1話(Netflix) — https://en.wikipedia.org/wiki/Nosedive_(Black_Mirror)
- Adelmant (2021), “Social Credit in China: Looking Beyond the ‘Black Mirror’ Nightmare,” Center for Human Rights and Global Justice, NYU School of Law — https://chrgj.org/2021-04-20-social-credit-in-china-looking-beyond-the-black-mirror-nightmare/
- Creemers (2018), “China’s ‘Social Credit System’ Isn’t What It Sometimes Seems—So Far,” DigiChina, Stanford University — https://digichina.stanford.edu/work/chinas-social-credit-system-isnt-what-it-sometimes-seems-so-far/
- Daum (2022), “How China’s laws and social credit system actually work, explained by Jeremy Daum,” The China Project — https://thechinaproject.com/2022/02/03/how-chinas-laws-and-social-credit-system-actually-work-explained-by-jeremy-daum/
- Scott (1998), Seeing Like a State: How Certain Schemes to Improve the Human Condition Have Failed, Yale University Press — https://en.wikipedia.org/wiki/Seeing_Like_a_State
- Penney (2016), “Chilling Effects: Online Surveillance and Wikipedia Use,” Berkeley Technology Law Journal 31(1) — https://papers.ssrn.com/sol3/papers.cfm?abstract_id=2769645
- European Union (2024), Regulation (EU) 2024/1689(AI法)第5条(1)(c) — 社会的スコアリングの禁止(2025年2月2日施行) — https://artificialintelligenceact.eu/article/5/