Emergent Machine Ethics 初の国際ワークショップ開催報告

―AAAI 2026 Workshop "Machine Ethics: from formal methods to emergent machine ethics"―

機械倫理の新章 ― 形式手法と創発的アプローチが出会った日

概要: 2026年1月27日、シンガポールで開催されたAAAI 2026併設ワークショップ "Machine Ethics: from formal methods to emergent machine ethics" の開催報告である。本ワークショップは、20年にわたり蓄積されてきた形式手法（Formal Methods）によるトップダウン型アプローチと、近年立ち上がったEmergent Machine Ethics（EME）によるボトムアップ型アプローチを初めて国際的な場で橋渡しした、機械倫理研究における重要な節目となった。世界各国から23件の投稿があり、査読を経て11件が採択された。2件の招待講演、10件の論文発表、および自由討論を通じて、両アプローチの補完関係と今後の連携の方向性が活発に議論された。

▲ ワークショップランチ前の参加者集合写真（2026年1月27日、シンガポール）

1. 背景と歴史的意義

2005年のAAAI秋期シンポジウム "Machine Ethics" は、計算機科学における機械倫理研究の出発点として広く知られている。以来20年にわたり、形式手法（Formal Methods）コミュニティは倫理的推論の仕様化・実装・検証に関する研究を着実に蓄積してきた。

一方、AIの急速な発展を背景に、新たな問題意識が浮上している。AIの能力が指数関数的に向上し、AI同士の相互作用がますます複雑化する中で、人間が事前にすべての倫理的要件を仕様化することは可能なのか。この問いに応える形で、AI中心的な社会において倫理がボトムアップで自己組織化するプロセスに着目する Emergent Machine Ethics（EME）の枠組みが、日本のSIG-AGIなどのコミュニティにおいて近年形成されつつあった。

本ワークショップは、我々の知る限り、この二つのアプローチを明示的に橋渡しした初の国際ワークショップである。ワークショップのタイトルそのもの ― "from formal methods to emergent machine ethics" ― が示す通り、形式手法の20年の蓄積とEMEという新興分野を対等な関係として位置づけ、機械倫理の次の章を共に開くことを目指した。

2. Emergent Machine Ethics（EME）とは

本ワークショップの理解に不可欠な背景として、EMEの枠組みを概説する。

EME（Emergent Machine Ethics）とは、多様な知性間の相互作用から自律的に創発する内在的倫理を研究する枠組みである。従来の機械倫理が人間の価値観をトップダウンで仕様化・実装・検証するアプローチをとるのに対し、EMEはAIシステムの内部から倫理が創発するプロセスに着目する。重要なのは、EMEが形式手法を否定するものではなく、両者を補完関係として位置づけている点である。

EMEは以下の三つの研究領域（pillar）から構成される。

① Ethics Emergence Dynamics（EED）: 倫理はどのように創発するか

多様な知性間の相互作用から倫理がどのようなプロセスで出現するかを解明し、収束や分岐の条件に関する理論を構築する。科学的・記述的（Descriptive / Value-neutral）な立場を取る。EEDの具体的研究基盤の一つとして、比較生命体学（Comparative Life-Form Studies）がある。これは、地球型生命体とAI型生命体が共通の普遍的原理（自己保存と複製、有限資源下の最適化、情報処理と適応、競争と協力のダイナミクス、時間制約下の意思決定）に従いながらも、異なる制約条件（身体拘束性/可塑性、死すべき運命/潜在的不死、能力の有限性/拡張可能性）のもとで、それぞれ個体保護型システムと集合最適化型システムという異なる行動調整システムを創発するメカニズムを、価値中立的に分析する試みである。

② Inter-Intelligence Evaluation System（IIES）: 創発した倫理をどう評価するか

多様な知性（AI、人間、その他）が相互に倫理的ダイナミクスと安定性を評価するためのプラットフォームを設計・開発する。工学的（Engineering / Value-neutral）な立場を取る。関連技術としてAI Immune System（AIS）― 逸脱行動を検知し修正することで、多様な知性のエコシステムの健全性を維持するシステム ― が位置づけられている。

③ Human Co-creation Guidance（HCG）: 人類とAI社会の共創的関係をどう構築するか

人類社会とAI社会の間の双方向的影響を前提とし、初期段階での人類からの価値注入と、成熟段階での相互倫理的影響を含む、動的な共進化プロセスのアプローチを開発する。実践的（Practical / Human-centric）な立場を取る。

3. ワークショップの概要

ワークショップは二部構成を採用した。午前のPart I（Emergent Machine Ethics）ではEMEに関連する発表と1件目の招待講演を、午後のPart II（Formal Methods）では形式手法に関連する発表と2件目の招待講演を配置した。この構成自体が、両アプローチの対等な位置づけと補完関係を体現するものとして設計された。

4. EMEイントロダクション ― 科学的規律に基づく問題設定

ワークショップ冒頭では、山川宏（東京大学 / Intelligence Symbiosis Chapter, AI Alignment Network）によるEMEの導入発表（15分）が行われた。この発表は、多様な研究背景を持つ参加者間の共通基盤を構築することを目的としたものであり、以下の論点を提示した。

「真実 ≠ 望ましさ」の原則

発表の出発点として、科学的規律としての「真実と望ましさの非同一性（Truth ≠ Desirability）」が提示された。到達不可能な目標を認識し、達成可能なことに方向を転換すること ― これは科学的規律であって敗北主義ではない、という立場である。19世紀の永久機関がそうであったように、原理的な不可能性は創意工夫では克服できない。

この原則のもと、形式手法とEME（共生アプローチ）の前提と失敗条件が対比された。形式手法は「仕様化・検証・保証が可能である」ことを前提とし、システムの複雑性が人間の検証能力を超えたときに失敗する。共生アプローチは「関係の質が維持できる」ことを前提とし、人間が機能的価値を失うか選択肢が崩壊したときに失敗する。高度AIの出現は、両アプローチの前提を同時に脅かす。検証も共生も保証されない中で、何を追求することに意味があるのか ― この問いが、ワークショップ全体を貫く問題意識として設定された。

共生を選ぶ論理

発表では、超知能の出現が不可避であること、人間は超知能を永続的に制御できないこと、そして人間は破滅的技術（核、生物兵器等）も永続的に制御できないことを前提として、「人類の長期的な繁栄存続」という共通目標のもとでは、アラインされた超知能との共生が最も有望な経路であるという論理が示された。ただし、この経路が実現可能かどうかは未決の科学的問いであることが明示された。

「共生」パラダイムの世界的出現

発表ではまた、「共生」を志向するアプローチが世界各地で独立に出現しつつある状況が俯瞰された。文末の付表「多様な共生パラダイム」にしめすように９つの流れが紹介された。こうしてみると、EMEをふくむIntelligence Symbiosisの活動はAI安全性研究における大きなパラダイムシフトの一部であることを示していた。

Intelligence Symbiosis Chapterの設立

発表の中では、2026年1月に設立されたIntelligence Symbiosis Chapter（AI Alignment Network内）の紹介も行われた。同チャプターは「高度AIとの共生を通じて人類の繁栄存続の確率を高める活動を推進する」ことをミッションとし、EMEの研究推進における組織的基盤となっている。

5. 招待講演

5.1 Mizuki Oka 氏 ― Organic Alignmentの提唱

▲ Mizuki Oka氏（Founder/Managing Director, Artificial Life Institute）の招待講演

講演タイトル: "From Unilateral Control to Social Homeostasis: Organic Alignment via Collective Predictive Coding"

Oka氏は、現在主流のAIアライメント手法（RLHFなど）が倫理を「一方的に課す静的な真実」として扱っている限界を指摘し、Organic Alignmentという新たな設計哲学を提唱した。

この枠組みでは、人間とAIが Collective Predictive Coding を通じて共有の意味・社会規範・文化的シンボルを共創的に交渉するプロセスとしてアライメントを再定義する。数学的には、個別の報酬（Multi-Agent Reinforcement Learning）に加えて、集団自由エネルギー（Collective Free Energy）の最小化によって駆動されるマルチエージェントシステムとして形式化される。

講演の中核的メッセージは、AIの設計者の役割を「制御する建築家（Architect）」から「育む庭師（Gardener）」へと転換すべきだという提案である。多様な世界観が共存する安定的で協働的な枠組み（Plurality）を支える計算的基盤を示した点で、EMEの方向性と深く共鳴する講演であった。

5.2 Elizaveta Karmannaya 氏 ― ハイブリッド道徳の枠組み

▲ Elizaveta Karmannaya氏（University College London / Google DeepMind）の招待講演

講演タイトル: "Between Rules and Reasoning: Towards Machine Morality"

Karmannaya氏は、AI道徳に関する研究の全体像を、データから倫理を推論するボトムアップ型システムから厳密な形式論理に支配されるトップダウン型システムまでの連続体（continuum）として整理した。トップダウン側では、論理ベースの制約、条件付き選好ネットワーク、エキスパートシステム等を概観し、すべてのニュアンスと例外を列挙することの不可能性を指摘した。ボトムアップ側では、逆強化学習、報酬モデリング、パートナー選択と評判メカニズム等を取り上げ、報酬ハッキング（例：ボートが目標を無視して周回し続ける事例）やRLHFにおける暗黙の価値バイアスなどの問題を示した。

その上で、両極端のいずれも単独では成功しないことを論じ、「ハイブリッド道徳」の具体的枠組みを自身の研究から提示した。社会的ジレンマゲーム（囚人のジレンマ等）において、功利主義的・平等主義的・義務論的・徳倫理学的な内在的道徳報酬を設計し、LLMエージェントに学習させる手法である。注目すべき結果として、平等主義的エージェントが一定数を超えると利己的エージェントも協力行動を取るようになること、また義務論的方策は訓練ゲームと異なるゲームにも汎化する（約0.85の低リグレット）一方で功利主義的方策は訓練ゲームに過適合する傾向が示された。

講演の結論部では、Russellの「保証された安全性」アプローチや山川の「科学者AI」構想など、より広い安全性提案も俯瞰し、Generative AIと検証可能な手法の組み合わせによる安全かつ能力の高いシステムの実現への方向性が示された。形式手法とEMEの双方にとって示唆的な、ワークショップのテーマを体現する内容であった。

6. 採択論文の概要

Part IIの冒頭では、Karmannaya氏の招待講演に続いて、Marija Slavkovik氏（University of Bergen）による形式手法パートの導入 "Formal Methods in Machine Ethics: an introduction" が行われた。Slavkovik氏は、機械倫理の概念が1987年のAI Magazineで初めて言及されて以来の歴史を概観した上で、形式手法アプローチにおける核心的な論点として、規範（norms）と制約（constraints）の本質的な区別を提示した。制約とは「ある事象が絶対に起きないようにする」ものであり、一度適用すれば望まない事態の発生を確実に防げる。一方、規範は違反されうることを前提としており、違反が正当であったか不当であったかの判断と制裁を含む上部構造全体を含む概念である ― むしろ違反されるべき場面すら存在する。この区別は、硬直的なルールベースの制約だけでは現実の道徳的判断を捉えきれないことを意味しており、自由討論で議論された「QRコード注文による向社会的ルール破りの消失」（第7.1節参照）とも直接的に呼応する重要な視座であった。なお、次回の関連ワークショップは2026年11月にマンチェスターで開催予定であることが案内された。

ワークショップでは10件の論文が発表された（採択11件のうち1件は著者の不参加により除外）。以下、テーマ別に概観する。

価値アライメントと共進化

• Max Kanwal & Caryn Tran, "Constructive Alignment: Reframing AI Alignment as Value Co-Evolution" ― AIアライメントを価値の共進化として再定式化する提案。
• Max Kanwal, Caryn Tran & Patrick Mineault, "Bounded Morality: An Algorithmic Framework for Moral Computation" ― 道徳的計算のためのアルゴリズム的枠組み。

LLMの倫理的行動

• Taichiro Endo, "Vertical Moral Development for Robust Alignment: Perspective-Based Fine-Tuning Reduces Deception in Large Language Models" ― 視点ベースのファインチューニングによりLLMの欺瞞行動を低減。
• Olga Sorokoletova et al., "Learning from Mistakes: Can LLM Self-recover after Misalignment?" ― ミスアライメント後のLLM自己回復能力の検討。
• Jessica Tang, Silviu Pitis & Sheila McIlraith, "Editing Prompts to Optimize a Margin of Safety in Large Language Models" ― 安全マージン最適化のためのプロンプト編集手法。

バイアスと公平性

• Katie Sun et al., "Gender Bias in Emotion Recognition by Large Language Models" ― LLMの感情認識におけるジェンダーバイアスの分析。

ガバナンスと理論

• Misaki Inoue, "Governance Forms in the Age of Superintelligence: An Aristotelian Analysis" ― アリストテレス哲学の枠組みによる超知能時代のガバナンス分析。

形式手法と検証

• Aran Nayebi, "Core Safety Values for Provably Corrigible Agents" ― 証明可能な修正可能性を持つエージェントのための安全価値。

評価とデータセット

• Masashi Takeshita & Rafal Rzepka, "JETHICS: Japanese Ethics Understanding Evaluation Dataset" ― 日本語倫理理解評価データセットの構築。
• Mayank Goel, Aritra Das & Paras Chopra, "Building Interpretable Models for Moral Decision-Making" ― 道徳的意思決定のための解釈可能なモデル構築。

これらの発表は、形式手法とEMEの双方にまたがるテーマを幅広くカバーしており、ワークショップが掲げた「二つのアプローチの橋渡し」が単なる理念ではなく、実際の研究活動において具現化されつつあることを示していた。

7. 自由討論 ― 機械倫理の未来

ワークショップの終盤に、自由討論「Future of Machine Ethics」が行われた。理論研究者、NLP研究者、哲学者など多様な背景を持つ参加者による約50分間の議論から、以下の3つの注目すべき論点が浮上した。

7.1 技術導入と「向社会的ルール破り」の消失

自由討論の中で最も具体的かつ示唆に富む議論は、QRコード注文システムを例にした技術と社会規範の関係についてであった。

発言者は次のように問題を提起した。コロナ禍以前、レストランで糖尿病やアレルギーを持つ客が「チキンのライスをサラダに替えてもらえますか」と頼んだ場合、店員は「キッチンに聞いてみます」「うちはできません」など、何らかの対応ができた。メニューにない注文であっても、人間同士のやり取りの中で柔軟に対応する余地 ― これを発言者は「pro-social rule breaking（向社会的ルール破り）」と呼んだ ― が存在した。

ところが、QRコードによる注文システムが「選択肢」ではなく「唯一の方法」になった結果、画面に表示されたメニュー以外の注文が構造的に不可能になった。発言者は「以前は規範（norm）だったものが、今や強制（must）になった」と指摘した。

この議論が示唆するのは、「AIにどのような価値を組み込むか」という問いの手前に、「技術導入によって人間の行動空間がどのように変化するか」という問いが存在するということである。誰も悪意を持っていないにもかかわらず、効率化の過程で人間的な融通の余地が静かに消失していく ― この現象は、AI技術のより広範な社会実装においても注視すべき論点であろう。

7.2 エージェント設計の「民主化」提案

別の発言者は、AI安全性における普遍的価値と文脈依存的価値の区別を提案した。制御喪失の回避（corrigibility）のような最低限の安全ガードレールは普遍的に合意可能かもしれないが、それ以外の価値設定はユーザー自身がエージェントを設計できるようにすべきではないか、という議論である。

発言者は「AI企業の設計者が他のすべての価値を決めるのではなく、ユーザーに自分のエージェントを再配線（rewire）する権限を与える民主化があり得る」と述べた。もちろんこれは悪用のリスクを伴うため、「超危険な行動に対するバリア」を設けた上で、その範囲内でユーザーに設計の自由を与えるという構想である。

この提案は自由討論内で本格的な反論を受けなかったが、実装においては「ユーザーが自律的に設計しているつもりが、実際にはAIの提案を承認しているだけ」という状態に陥るリスクも考えられる。技術的な民主化が真の自律性を保障するかどうかは、今後の検討課題である。

7.3 道徳判断における事後合理化

自由討論後半では、道徳判断の認知構造について興味深い議論が展開された。ある発言者は、人間の道徳判断がトップダウン（原理から演繹）でもボトムアップ（経験から帰納）でもなく、「第三の次元」を持つと主張した。すなわち、人間は状況に直面したとき、まず直感的に判断を下し、後から理由を説明する ― 事後合理化（post-hoc rationalization）の構造である。

この指摘を受けて別の発言者は、大規模言語モデル（LLM）のChain-of-Thought（CoT）にも同様の構造が見られる可能性を示唆した。LLMが出力する推論過程は、実際の判断プロセスを反映しているのではなく、判断後の合理化かもしれない。最近の研究者の中にはCoTの分析を諦め始めている者もいるという。

さらに別の発言者は、アライメント手法の中にはまさにこの事後合理化を行っているものがあると応じた。説明生成のために、同じ環境で動作する単純な第二のモデルを構築し、「なぜその決定がなされたか」を事後的に構成するアプローチである。

この議論は、人間とAIの道徳判断の構造的類似性という観点から興味深い。ただし、自由討論ではこの先の理論的含意 ― たとえば、事後合理化が自己の判断基盤の誤認をもたらすメカニズムや、それが価値の普遍性への過信につながる可能性 ― については展開されなかった。

自由討論全体を通じて

自由討論の末尾では、本ワークショップの約1週間前に開催されたDavos 2026（世界経済フォーラム年次総会）におけるAI安全性議論の見取り図が紹介された。ダボスではAGI、人間レベルの知能、超知能（Superintelligence）が議論の焦点となり、AI安全性はもはや仮定の問題ではなく差し迫った現実の課題として扱われていた。その議論は「開発速度（制約/低迷 vs 加速）」と「制御可能性への信念（制御可能 vs 制御不可/未考慮）」という2軸で整理でき、制御可能性を前提とした立場の中で、開発を制約すべきとする慎重派（Harari、Tegmark、Hinton）から、開発を加速しつつ技術的アライメントで対処しようとする推進派（Amodei、Sutskever）まで、幅広いポジションが存在していた。一方、制御可能性への信念が低い象限には、分散化を志向する立場（LeCun、Ng）や地政学的競争を重視する立場（Schmidt）、楽観的加速主義（Musk、Son）が位置づけられた。注目すべきは、この見取り図において「共生パラダイム」― 本ワークショップのEMEが志向する、制御の限界を前提とした上での多様な知性間の共生 ― がダボスの議論からは不在であったという指摘である。超知能が現実的な射程に入りつつある中で、制御と道具的利用の枠組みに収まらないアプローチの不在は、EMEのような創発的アプローチが今後の国際的議論に加わることの必要性を示唆していた。

本自由討論の議論は、形式的手法による安全性保証という技術的枠組みの中で主に行われており、制御パラダイムの前提自体を問う視点には至っていなかった。しかし、QRコード注文の事例に見られるように、日常的な技術導入が人間の行動空間を静かに再構成していく現象への着目や、人間とAIの道徳判断における構造的類似性への気づきは、EMEが掲げるボトムアップ的な倫理創発の研究と今後接続しうる重要な知見であった。

8. 総括と今後の展望

本ワークショップは、形式手法コミュニティとEMEコミュニティの最初の国際的な接点として、いくつかの重要な成果を残した。

第一に、両アプローチの補完関係が抽象的な理念としてではなく、具体的な研究発表と議論を通じて確認されたことである。形式手法はEMEに対して「創発の方向性の検証」と「安全な境界の定義」を提供しうる。EMEは形式手法に対して「検証目標の発見」と「新たな要件の提示」を提供しうる。この相互貢献の構造は、招待講演においても、自由討論においても、繰り返し確認された。

第二に、国際的な研究者コミュニティの形成に向けた第一歩が踏み出されたことである。世界各国から23件の投稿が集まったことは、機械倫理における創発的アプローチへの関心が広がっていることを示している。「共生」パラダイムの世界的な出現（第4節参照）も、この潮流が一地域の現象ではないことを裏付けている。

第三に、機械倫理研究が直面する現代的課題 ― AIの急速な発展、動的な人間の価値観、AI-AI間相互作用の予測困難性、超知能への拡張性 ― に対して、単一のアプローチでは不十分であるという認識が共有されたことである。イントロダクションで提示された「Truth ≠ Desirability」の原則と、両アプローチの前提・失敗条件の対比は、この認識の知的基盤を提供した。

20年前のAAAI秋期シンポジウムが機械倫理の第一章を開いたとすれば、本ワークショップは新たな章の始まりである。形式手法の厳密さとEMEの適応性を兼ね備えた研究基盤の構築に向けて、ここから始まる国際的連携が実りあるものとなることを期待したい。

▲ ワークショップ終了後の参加者集合写真（2026年1月27日、シンガポール）

ワークショッププログラム

Part I: Emergent Machine Ethics (EME)

Session 1（9:00–10:30）

Session 2（11:00–12:30）

Part II: Formal Methods

Session 3（14:00–15:30）

Session 4（16:00–17:45）

オーガナイザー

• Louise Dennis（University of Manchester, UK）
• Taichiro Endo（Tokyo Gakugei University / Kaname Project Co. Ltd., Japan）
• Michael Fisher（University of Manchester, UK）
• Ryutaro Ichise（Institute of Science Tokyo, Japan）
• Raynaldio Limarga（University of Manchester, UK）
• Rafal Rzepka（Hokkaido University, Japan）
• Marija Slavkovik（University of Bergen, Norway）
• Hiroshi Yamakawa（University of Tokyo / AI Alignment Network, Japan）

関連リンク

• ワークショップ公式ページ: https://www.aialign.net/ws-machine-ethics/
• 採択論文（Google Drive）: Papers
• AAAI 2026 ワークショッププログラム: WS37
• EME参考論文: Emergent Machine Ethics: A Foundational Research Framework for the Intelligence Symbiosis Paradigm
• Intelligence Symbiosis Manifesto: https://intelligence-symbiosis.info/en/manifesto/

付表： 多様な共生パラダイム

お問い合わせ: AI Alignment Network (https://www.aialign.net/)