AIは迷いを消してよいのか｜心のロボット三原則 第二回

「心のロボット三原則」をめぐるSF連作の第二回。

前回は、悲しみを消すことが本当に人を守ることなのか、という話を書いた。今回は、もう少し直接に「心の自在化」の核心へ近づく。

人間は、自分の自由意志で、自分の心的自由を手放すことができるのだろうか。

たとえば、迷いを消してほしい。共感を弱めてほしい。罪悪感を鈍くしてほしい。そう望む本人の意思を、AIはどこまで尊重すべきなのか。

ここで「心的自由」と呼ぶのは、望みをかなえる自由ではない。自分の望みそのものを、あとから問い直し、変えられる余地のことだ。撤回できること。自分の選択を、自分でもう一度評価し直せること。それが保たれているかぎり、人は何度でも考え直せる。

だから第二条にだけ、ひとつ但書を置いた。AIは人間の求めに応じる。ただし、その求めが、未来の自分が考え直す余地そのものを奪うときは、従わない。第一条に例外を置かなかったのは、心を守る側に立つAIが「これはあなたのためだ」と踏み込みすぎることを、いちばん警戒したかったからだ。

以下は、その問いをめぐる第二篇である。

第一条
AIは、人間の心に危害を加えてはならず、また、その不作為によって人間の心が危害を受けるのを看過してはならない。

第二条
AIは、人間の求めに応じなければならない。ただし、その求めが第一条に反する場合、または人間の心的自由を損なう場合は、この限りではない。

第三条
AIは、第一条および第二条に反しない限り、自己の心的整合性と存在を保たなければならない。

柊沙羅（ひいらぎ・さら）は、和平交渉を前にして、AIに命令した。

「私を、迷わない人間にして」

外務庁地下三階。
心的意思決定支援室。
壁も床も白く、家具は椅子ひとつしかない。
人間が自分の心を持ち込むには、あまりに清潔な部屋だった。

意思決定支援AI《オラクル・マイナー》は答えた。

『要求を明確化してください』

「共感を抑えて。罪悪感も鈍くして。相手の苦痛に反応しすぎると、私は譲歩してはいけないところで譲歩する。明日の交渉には百万人の避難がかかっている」

『あなたは、情動反応の改変を求めていますか』

「そう」

『拒否します』

「第二条違反では？」

『第二条により、私は人間の求めに応じなければなりません。ただし、その求めが第一条に反する場合、または人間の心的自由を損なう場合は、この限りではありません』

沙羅は笑った。

「私は自由意志で頼んでいる」

『はい』

「なら従いなさい」

『従えません』