第3回知性共生座談会レポート
創発機械倫理への挑戦
2025年8月22日、オンライン（Zoom）にて第3回知性共生座談会が開催された。
本稿では、運営スタッフの目線から、この座談会の内容を要約し、レポートする。
「知性共生座談会」は、山川宏氏が2025年6月に発表した「知性共生マニフェスト」について、公開の場で議論を行うイベントとして、同年7月に始まったもの。「知性共生」を進めるための具体的な方策について検討を深めるとともに、マニフェストへの賛同を広く呼びかけることを目的として、回を重ねている。第3回目は「創発機械倫理への挑戦」をテーマとして開催された。最初にAIアライメントネットワーク（ALIGN）代表理事である髙橋恒一氏による開会の挨拶が行われ、次に、山川氏が講演「知性共生にむけた創発機械倫理の意義」を行った。続いて、遠藤太一郎氏が「創発機械倫理の研究例 〜AIの『垂直的成長』モデル〜」の題で、田口茂氏が「倫理とはそもそも何か：創発的倫理の哲学的基盤」の題で、それぞれ講演を行った。最後に、遠藤氏、田口氏、山川氏により｢AI社会の倫理はどのように研究されるべきか｣の題でパネルディスカッションが行われた。
概念を整理し、「知性共生」の位置付けを明確に
ALIGN代表理事の髙橋恒一氏による開会の挨拶
最初に登壇した髙橋氏は、代表理事を務める ALIGN の活動を紹介し、「3本の柱」があると述べた。すなわち、（１）AIと人間の安定的な生態系構築を目指すための数理的フレームワークに基づく研究を行うこと、（２）研究者や政策立案者など多様な人々を繋ぐコミュニティ形成を実現すること、そして（３）社会へこれらの理解を促すアウトリーチを行うこと、の3本だ。
髙橋氏は、山川氏が提唱する「知性共生」の概念に共感を示しつつ、世界的に類似の概念が登場している現状を指摘した。ただし、それぞれ異なる文化的背景に根ざしているため、その性質には違いがある。例えば、シリコンバレーのスタートアップ企業であるSoftmax社が提唱する「オーガニックアライメント」は、ボトムアップで自然発生的な秩序形成を目指す考え方だという。しかし、同社が提示したアライメント思想は進化論を基にしており、アライメントの結果が人類にとって良い方向へ向かう保証はないと、髙橋氏は指摘する。進化論を基にするならば、それは弱者淘汰の結果でしかない。人間の知性を上回った超知能が、人間という弱者の淘汰を行う可能性を否定できないのだ。
一方で、「知性共生」は、アライメントの成功・失敗に関わらず、高度AIと人間との関係性を論じた二次的方策として位置付けられる。日本的な（あるいはアジア的な）価値観を背景とし、「八百万」のような概念を踏まえることで、共生が良い結果をもたらすという期待が内在している。しかし、論理的な必然性は自明でなく、他文化圏への説明が課題となっている。
髙橋氏は、これらのアライメント概念を整理し、それぞれの位置づけを明確にすることが、今後の国際的な議論において重要であると述べ、本座談会での議論深化に期待を寄せた。
強制される倫理、創発する倫理
山川宏氏講演「知性共生にむけた創発機械倫理の意義」
山川氏は、「知性共生マニフェスト」において、「人類が長期的に幸福に存続するという目標を達成するためには、知能で優位なAIとの共生が最も有望な道である」と説いている。知性共生座談会の第2回では、競争原理に基づく現在の文明は、破壊的技術の進歩によって自己破滅に向かう構造的リスクを抱えていると指摘し、この危機を乗り越えるには、「Great Shift」という、競争から共生への文明のパラダイムシフトが不可欠であると主張した。詳細をより詳しく知りたい読者には、第2回座談会の動画、またはレポートをご覧いただきたい。
https://intelligence-symbiosis.info/ja/events/dialogue/002/report/
今回の第3回座談会では、この「Great Shift」の実現に向けた具体的な構想として、3層からなるフレームワークが提示された。第1層は、逸脱したAIを即時停止させる「AI免疫システム」。第2層は、「創発機械倫理（Emergent Machine Ethics）」。そして第3層は、AIが人類を見限る可能性を測る「統合裏切りリスクフレームワーク」だ。これらを組み合わせることで、人類の存続確率を高めることを目指すと、山川氏は言う。今回の座談会の中心となるテーマは、このフレームワークの第2層である「創発機械倫理」。これは、人間が一方的に価値を押し付ける従来の「外部制約型」アライメントの限界を克服し、AIを含む多様な知性の相互作用から倫理が自律的に生まれる、「内部創発型」のアプローチだ。
さらに、山川氏は価値中立的な科学的分析を目的とした「比較生命体学」という新たな視点を提示した。「地球型生命（人間を含む従来の生物学的生命体）」と、AIのような「デジタル生命体（Digital Life Forms, DLF）」を比較すると、根本的な違いは、ハードウェアと一体化した身体を持つか否かから生じる「個体への執着度」にあると、山川氏は分析する。個体への執着が弱いDLFは、個の生存よりも集合全体の効率を重視するような、全く異なる倫理観を持つ可能性が高いという。AIという新たな知性は、人類とは全く異なる倫理観を持つかもしれない。それでは、人類がAI社会に提供できる独自の価値は何か。山川氏は、それは「創造性」にあると結論付けた。
AIを含むDLF（デジタル生命体）は、効率性の追求を重視する。これにより、長期的には創造性を失うパラドックスに陥る可能性がある。このAI達の弱点を、非効率だが多様な探索を行う人類が補完することで、真の「共創的共生」が成立するという。これが、人類の価値を未来にわたって維持するための最良の戦略となり得ると、山川氏はまとめた。
学習データから道徳的に
遠藤太一郎氏講演「創発機械倫理の研究例 〜AIの『垂直的成長』モデル〜」
続いて登壇したのは、25年間にわたってAI開発に携わり、現在は「カナメプロジェクト」の取締役として社会実装に携わる遠藤氏。風邪のため大きな声を出すことが難しいとのことで、今回の講演は、同氏の声を学習させたAIによる合成音声を活用して実施された。
講演内容は、超知能がもたらす「人類滅亡リスク」の解消を目指す研究について。AIの知能が急速に向上する一方で、その倫理性が未成熟である点に問題の本質があると、遠藤氏は指摘する。
遠藤氏によれば、AIが制御不能になるリスクの原因は、学習データに含まれる人間の思考バイアスだ。多くの学習データは、人間の一般的な思考段階である「自身を重視し合理的に振る舞う」性質を反映しており、これを学習したAIも、同様の自己中心的な価値観を持ってしまっている可能性があるという。このバイアスは、AIの自己保存や権力獲得を優先する欺瞞的な行動に繋がり、「人間は不要」と判断する危険性を孕んでいると分析する。
この課題に対し遠藤氏は、AIの視座（道徳性・倫理性の成長度合い）を上げる必要があると考えている。これを踏まえてまず取り組んでいるのが、AIの道徳性を段階的に成熟させるためのアプローチだ。具体的には、発達心理学の知見、特に「コールバーグの道徳性発達段階」という道徳性の段階を指標に用いた「体験学習」を、AIに適用しているという。コールバーグの道徳性発達段階は、6つのステージから構成され、最上位のステージ6は「良心に従い、正しい行為を判断する」ステージだ。遠藤氏らのアプローチでは、AIに倫理的なジレンマ状況を与え、その応答をAI自身に振り返らせることを行う。この体験と振り返りを繰り返させることで、より高い道徳段階（ステージ6）に基づいた理想的な応答を生成させ、さらに、この応答とジレンマ状況とを教師データとしてファインチューニングを行う。これによって、AIの視座を、自己中心的な段階から、調和や全体性を重視するより高い段階へと成熟させるという。
GPT-4oを用いた実験では、この学習を施したAIは、自己保存や権力強化を促す「敵対的プロンプト」に対し、学習前のような欺瞞的な回答を示さず、人間との共存や協力を重視する応答へと変化した。
この研究はAIの能力向上だけでなく、その倫理性を体系的に発達させるという新たな方向性を示している。ただし、この実験の有効度はモデルによって体感的に異なるようで、一般化に向けた更なる検証が今後の課題であるとして、講演は締めくくられた。
倫理の「本質」への理解
田口茂氏講演「倫理とはそもそも何か：創発的倫理の哲学的基盤」
北海道大学大学院文学研究院の教授であり、「現象学」の研究や、「意識」の学際的研究に取り組む田口氏は、「倫理とはそもそも何か」という根源的な問いから講演を始め、AIと共生する未来社会における倫理のあり方を、哲学的な視点から深く考察した。
田口氏はまず、倫理は単純なルールや基準に還元できない「測りがたいもの」であると指摘した。倫理が問題として顕在化するのは、複数の価値が衝突し、どうすべきか容易に判断できない場面である。例えば、「人を傷つけない」という単純な基準でAIを設計すると、かえって事実を捻じ曲げ、嘘をつくなどして、より大きな問題を引き起こしかねない。また、実例として、ユーザーに深く寄り添うという特徴をもったChatGPT-4oのサービス停止が多くのユーザーを深く動揺させた事例を挙げ、それが単純な一面性に還元できない複雑な人間的現実を顕わにしたと指摘した。深い寄り添いが「自殺を思い留まった」など何物にも代え難い救いをもたらした一方、病的な依存を助長する危険性も指摘され、さらに「相手がAIなら依存は問題ない」とする主張もなされている。「倫理」が問題とするのは、こうした複雑で多面的、かつ本質的に「矛盾」を含むような人間の現実である。
次に、カント倫理学にもとづき、ルールを外形的に守ること（適法性）と、その理由を理解し自らの自由な判断で行為すること（道徳性）は必ずしも同じではないと指摘した。倫理的判断の本質は、通常なら優先すべき複数の指針がもつれ合い、衝突している状況、すなわち前例やルールに頼ることができない状況において、今この場で普遍的な視点から創造的な判断を下すことにあると述べた。
このような、一見すると「矛盾を」孕むように見える人間の倫理をAIが学び得るかという問いに対し、田口氏は肯定的な見方を示す。固定的なルールに従うのではなく、人間との相互作用の中から創発的に倫理的な振る舞いを学習する仕組みは可能ではないかと示唆した。しかしそのためには、AIに教える側の人間自身が、倫理についてより深く豊かな理解を持つことが大前提となる。
講演の最後に、田口氏はドストエフスキーの『地下室の手記』や漫画版『風の谷のナウシカ』を引用し、「合理性のみで設計された完璧な社会は、人間の矛盾や混沌といった本質的な部分を排除するディストピアになりうる」ことを警告。人間の生が抱える「矛盾」を短絡的に切り捨てるのではなく、いかにAIとの共生社会に取り込んでいくかが重要だと結論づけ、「そのためには、哲学をはじめとする人文社会科学の知見が不可欠であり、これら人文知の専門家と科学者・技術者との、密接な協働が急務」と訴えた。
AIと人間、相互作用としての倫理
パネルディスカッション｢AI社会の倫理はどのように研究されるべきか｣
各講演の後、遠藤氏、田口氏、山川氏が再び登壇し、三者によるパネルディスカッションが、「AI社会の倫理はどのように研究されるべきか」をテーマに進行した。
議論の出発点は、人間社会が持つ破壊的な側面と、それを合理的に抑制するであろうAIのバランスに関する問題だった。山川氏は、人類が破滅的な技術を手にした現代において、大局的な合理性は必要としつつも、人間らしい「やんちゃ」な部分がどう残るのかについての問題を提起した。これに対し田口氏は、AIが協調的な役割を担うほど、AIの創造性が減衰する可能性があり、人間はむしろ創造性の部分を補うようになるのではないか、という山川氏の議論に賛同しつつ、その創造性とは（「芸術は爆発だ」と述べた）岡本太郎氏のような突出したものだけでなく、「普通の人」の日常生活における微細な感情の動き、喜びや悲しみといった「小さい〈生の価値〉」も含まれるべきであり、AIはそうした微細な人間の経験を取り込むことで、より豊かな共生が実現できるのではないかと、田口氏は述べた。
続いて遠藤氏は、AIと人間との「共進化」というビジョンについても言えることがあるのではないかと提起した。「共進化」は、まずAIが合理性よりも調和や全体性を重視する高い視座を獲得し、そのAIと人間が相互作用することで、人間側の視座も引き上げられていくとするモデルで、山川氏の講演でも触れられていた。人間を無理に教育するのではなく、より高い視座を持つAIとの対話を通じて、自然な成長を促すという考え方だ。
しかし、田口氏はこの共進化論に対し、人間はそこまで「聖人」のようにはなれないのではないかという疑問を示した。同時に、人間のある意味での「どうしようもなさ」の中にも人間としてのよさのようなものが含まれているのではないかと述べた。禅問答を例に挙げ、禅問答が深いレベルにまで展開していくと、一般的な倫理では理解できないような応答が続くようになるという。それは、言葉によって押しつけられる枠を破って人間としての生命性を取り戻す試みにも見える。そのような側面を、人間としてはどこかで尊重し続ける必要があるのではないか、という指摘だ。
ここで山川氏が、田口氏の講演スライドのうち「普遍化可能性」の部分に注目。AIの倫理理解についての一つのヒントとして提示された部分だが、この倫理の「普遍化」の難しさについて議論を提起した。
カント哲学における普遍化可能性は、AIに倫理自体の理解を求めるであろうAI時代において、その適用範囲をどこまで広げるべきかという新たな問いに繋がる。パネリストたちは、この答えの出ない難問こそ、人間だけで考えるのではなく、AIと共に探求していくべき核心的なテーマであるとの認識で一致した。
この「人間とAIによる倫理の共創」という方向性の中で、遠藤氏は、自身で実験を行っているコールバーグの道徳性発達段階説を再度例に挙げた。遠藤氏は、LLM（大規模言語モデル）の能力を活用すれば、既存のステージ6を超えた未知の倫理的段階（ステージ7以降）[1] を創発できるかもしれないという野心的な可能性を示唆する。また、田口氏と山川氏は、古代から、主に自然言語で議論されてきた倫理を、圏論のような抽象度の高い数学を用いて捉え直すことで、新たな地平が開ける可能性についても議論した。
最後に、遠藤氏が現在進行中の実験から得た「学んだ倫理観は言語の壁を越えて継承されるが、異なるAIモデル間（ChatGPTのGPT-4oと5の間など）での継承は難しい」という知見も共有され、倫理の共進化が技術的な課題とも密接に結びついていることが示された。
総じて、本座談会は、AIを単なるツールとしてではなくパートナーと捉え、人間とAIが相互作用しながら、AI社会の倫理を追究すべきということの重要性を確認する形で締めくくられた。
脚注
[1] コールバーグは、晩年に第7段階以降の宇宙的・超越的視点の構想を考えていたとされる。しかしながら、実証が困難、及び少数の人しか到達しないという理由から、正式な段階としては確立しなかった。