【連載】ロボットとの共生を考える 「ロボット倫理学」の意義とポテンシャル（第2回）

アイザック・アシモフの古典的SF小説『われはロボット（I, ROBOT）』が「ロボットの世界」への入り口になったという人も多いのではないでしょうか。

小説の扉に掲げられている「ロボット工学の三原則」は、ロボット工学だけでなく、ロボット倫理学にも大きな影響を与えてきました。その三原則が、現在は自動運転の文脈でも議論されています。

それは、自動運転車の倫理アルゴリズムをどう確立していくかという問題です。倫理が備わった「道徳機械（モラルマシーンズ）」を実現させることはできるのでしょうか。

「道徳機械」とは、「倫理的な規則に従って行動を決定・修正する能力を持つロボット」を指します。*1

その実現可能性について考えるとき、アシモフの『われはロボット』は示唆に富んでいます。

「ロボット工学の三原則」（以下、「三原則」）は、次のようなものです。 *2

第一条　ロボットは人間に危害を加えてはならない。また、その危険を看過することによって、人間に危害を及ぼしてはならない。

第二条　ロボットは人間にあたえられた命令に服従しなければならない。ただし、あたえられた命令が、第一条に反する場合は、この限りではない。 

第三条　ロボットは、前掲第一条および第二条に反するおそれのないかぎり、自己をまもらなければならない。 

　　―『ロボット工学ハンドブック』、 第五十六版、西暦二〇五八年

ちなみに、アシモフは1985年に、「人間（a human being）」を「人類（ humanity）」に言い換え、以下のような「第零原則」を提示しています。*3

ロボットは、人類に危害を与えることが許されず、又は、不作為によって人類が危害に遭遇する事態を許してはならない。

『われはロボット』では、USロボット社が開発・製造したロボットたちが活躍し、そのおかげで人間は宇宙にまで進出しています。しかし、それにもかかわらず人間はロボットを警戒し、ロボットとは距離をおこうとしています。

USロボット社は人間のそうした警戒心を解き、一般社会にもロボットを浸透させるため、基本的にすべてのロボットの電子頭脳に三原則を組み込んでいます。例外はあるものの、ロボットがこの原則を破ることも、第三者がそれを解除することもできません。

ロボット学者のアラン・Ｆ・Ｔ・ウィンフィールド氏は、道徳機械が実現すると確信している研究者の1人です。*1

道徳機械が守るべき倫理的規則について、同氏は三原則の第一条を挙げています。もう一度、第一条を読んでみましょう。

ロボットは人間に危害を加えてはならない。また、その危険を看過することによって、人間に危害を及ぼしてはならない。

このような規範的な道徳理論をふまえれば、ロボットは人間に悪い結果がおよぶのを防ぐはずです。そしてそのためには、倫理的規則に従うロボットが必要だという主張です。ウィンフィールド氏は、次のような実験を行いました。*4

実験結果はどうだったのでしょうか。

Aの1体だけ、あるいはAとHの2体を使った実験では、Aはプログラミングされたとおり危険区域には入らず、危険区域に向かうHの進路に入って、Hが危険区域に侵入するのを防ぐこともできました。

問題は3体で行った実験です。

AはHかH2のどちらか一方を、あるいは両方を救うことができたこともありました。

しかし半数の実験では、HとH2のどちらを助ければいいのか判断できず、2体とも危険区域に入っていくのを見すごしてしまったのです。これは、アシモフ的なロボットが陥るジレンマを再現する実験でした。

そのジレンマとはどのようなものなのでしょうか。より詳しくみていきましょう。

冒頭でも触れたとおり、三原則は現在、自動運転の文脈で語られることがあります。

日本では道路交通法の改正により、2023年4月からレベル4（特定条件下での完全自動運転）が解禁され、国は2025年をめどに高速道路でのレベル4の実現を目指しています。*5

自動運転車が人間の命に関わる意思決定を迫られる日は、もう眼前に迫っているのです。

自動運転をめぐるロボット倫理の議論でよく言及されるものに「トロッコ問題」があります。*6　イギリスの倫理学者フィリッパ・フット氏が1967年に提起した思考実験です。

究極の二択問題。海外ではすでに自動運転による死亡事故が複数起こっている現在、これは切実な問題です。

人身事故が避けられない状況で、自動運転車はどのような倫理的意思決定をすべきでしょうか。

倫理アルゴリズムを設計するためには、皆が納得できる倫理規則を構築しなければなりません。まずはそのための議論の材料を用意しようと、MIT（マサチューセッツ工科大学）メディアラボのチームが立ち上がりました。

こうしてできたのが、人間の視点を収集するためのプラットフォーム「モラルマシン」です。*7

デバイスに、2車線の道路を走行する車のイラストが映し出されます。

参加者は「事故を観察する第3者」として、2つずつ示される「避けられない事故」のシナリオのうち、どちらがより容認できるか選択します。*8

MIT MediaLab「モラルマシン」（日本語版）

13セットで1回。日本語バージョンもあります。筆者もやってみましたが、この選択はとても困難です。

命とはそれ自体が尊いもので、その重さはどれも同じ。私たちの社会は、生命の平等性を絶対的な価値観として成り立っています。ところがこの実験では、救える命と救えない命があるという前提で、どちらを救い、どちらを犠牲にするのか、命の優先順位をつけなければならないのです。

葛藤が生じ、どちらを選ぶか悩みに悩み、どちらを選んでもすっきりしません。しかし、これはもはや架空の話ではありません。

総務省はロボットやAI開発における原則を構築するために、以下のような検討をしました。*3

それは「トロッコ問題」に類似したシナリオに基づいています。

これに三原則を当てはめると、どうなるでしょうか。

どちらの選択肢を選んでも、人数にかかわらず人を殺さなければならないことになります。したがって、人間に危害を加えてはならないとする第一条に違反することになり、AVは深刻なジレンマに陥ってしまいます。

もっとも、三原則が完全でないことは『われはロボット』自体が示しています。この作品の中では、三原則が原因で困難なジレンマが生じ、ロボットたちは度々機能不全を起こしています。*1　実際、三原則は作品を面白くするために、敢えて「興味深く失敗する」ことを予期して作られているといいます。

では、こうした道徳的ジレンマはどうやって解決したらいいのでしょうか。

そもそも、道徳的な正しさの基準とはなんなのでしょうか。

ここで問題になるのが、功利主義と義務論の対立です。

功利主義とは、行為が人々に与える結果を重視する立場で、最大多数の最大幸福につながる行為が倫理的に正しいとする考え方です。*9　功利主義の立場からすれば、多くの人を助けることは社会的に望ましいでしょう。

一方の義務論とは、行為が人々に与える結果の善し悪しにかかわらず、世の中には守るべき義務や倫理原則があるという考え方です。義務論の立場からすれば、「人間を単なる手段として扱ってはならない」ということになるでしょう。

アメリカで1,928人を対象に行われた自動運転に関する調査では、「10人の歩行者を殺すより1人の乗員を犠牲にする方が道徳的である」との回答が76％を占めました。*10　そして、死傷者の数を最小化するようにプログラミングされた「功利主義的自動車」が道徳的に好ましいという回答が圧倒的に多かったのです。

ところが、「そうした自動車を自分が購入すると思う」という回答は半数に満たず、特に家族が同乗すると想定した場合には、「自己防衛型の自動運転車」を購入すると思うという回答が、自分だけが乗車する場合を大きく上回りました。

その調査を行った研究者は、この2つのタイプの自動運転車が発売された場合、実際に購入されるのは、乗員の保護を優先する車の方になるだろうと分析しています。

さらに、上述のプラットフォーム「モラルマシン」で集められた4,000万件のデータのうち、回答者が100人以上の130か国のデータを分析したところ、文化圏によって倫理観が異なっていたことが報告されています。*11

道徳的な正しさに、唯一無二の正解はないのです。

国はレベル4の社会実装を念頭におき、トロッコ問題のような「どちらの判断をしても被害が生じる場合」を対象に、社会が受け入れ可能なシステムの責任範囲や判断のあり方についての検討に乗り出しました。この事業には、2024年度、2億3,100万円の予算をつけています。*12, *13

アシモフのロボット工学三原則は、人間とロボットの関係における基本的な倫理原則として大きな影響を与えてきました。しかし、自動運転車の社会実装に向けて、三原則だけでは対応できない複雑な問題が浮上しています。

特にトロッコ問題のような道徳的ジレンマは、ロボットにどのような価値観を組み込むべきかという根源的な問いを投げかけています。

アシモフの『われはロボット』にみられるジレンマは、70年以上の時を経ていよいよ現実のものとなりつつあるのです。

*1　マーク・クーケルバーグ著　田畑暁生 訳（2024）『ロボット倫理学 ソーシャルロボットから軍事ドローンまで』青土社 pp.91-92,94

*2　アイザック・アシモフ『われはロボット〔決定版〕』（2014）早川書房（電子書籍版）No.17

*3　総務省「AI NW研究開発8原則とロボット工学三原則」（開発原則分科会　第1回）p.3,6,7

*4　久木田水生「第1章　機械の中の道徳」（『ロボットからの倫理学』（2017）名古屋大学出版会 pp.8-9

*5　出所）国土交通省「自動運転の実現に向けた取り組みについて」（2023年5月）p.2

*6　遠藤薫「善きAI社会をめざして— ポストヒューマンの時代を考える —」（『学習院大学　法学会雑誌』57巻2号）（2022年）p.52

*7　nature asia「【人工知能】自動運転車が従うべき道徳的規則とは」 

*8　MIT MediaLab「モラルマシン」（日本語版） 

*9　相馬正史・都築誉史「道徳的ジレンマ状況における意思決定研究の動向」（Rikkyo Psychological Research 2013, Vol.55）p.68

*10　佐藤英明「自動運転車とトロリー問題」（2020）p.27 

*11　Edmond Awad, Sohan Dsouza, Richard Kim, Jonathan Schulz, Joseph Henrich, Azim Shariff, Jean-François Bonnefon& Iyad Rahwan“The Moral Machine experiment” （NOVEMBER 2018 |VOL563 |NATURE） pp.61-62

*12　国土交通省「行政事業レビュー公開プロセス　説明資料【事業名】自動運転（レベル4）法規要件の策定」p.5

*13　国土交通省「令和6年度物流・自動車局関係予算決定概要」p.10