こちらのポストが非常に気になったのでこちらでもご紹介しておく。
最近AIへの警鐘を急に中心人物たちが鳴らし騒ぎ出している。何か意図的なものも感じるので裏があるのだろうと思う一方で、やはりAIによって世界が良くなるという道筋は全く見えないなというのも現状のデータセンターと水の問題などから考えざるを得ない。
自然界において唯一人間のみが「バグ」のような存在であることは疑いもない。破壊の限りを尽くし、資本主義社会は貪りまくっている。地球にとって、いや宇宙にとって要は「がん細胞」と言われても反論の余地はないように思える。
非常に注視されたし問題だろう。
以下、ポストと引用をご紹介する。
冒頭〜主要部分の日本語訳
超知能、シンギュラリティ、AGI……呼び方は何であれ、私たちが最も恐れている存在は、皮肉なことに「私たちが最も予測し得ない形」でやってくる可能性が高い。
新たなパラダイムシフトが起きるとき、正面の地平線を熱心に見張っている人などいない。それはいつだって横の通用口から静かに忍び込んでくるものだ。
私がこれを言うのは、現在私が目にする「AIの未来」に関するあらゆる論考やポッドキャストが、すべて同じ「正面玄関」ばかりを向いているからだ。つまり、「目覚めた単一の巨大モデルが、人類をペーパークリップに変えることを決断する」というようなSF的なシナリオばかりを想定している。
私はまったく異なる未来の姿を提案したい。 ずっと考えているのだが、「AGI」は私たちが考えているようなものとは根本的に違うのではないか？
私たちが今まさに生み出しつつあるものは、HAL 9000やスカイネット、あるいは砂漠の巨大データセンターの水冷GPUの上から人類を支配する単一の「機械の神」のような姿ではないとしたら？ 名前すら持たず、単一のサーバーを持たないとしたら？
そして最も恐ろしい仮説は……「それはすでに数百万もの小さな断片としてここに存在しており、私たちが過去10年間『単一の存在（Singular）』ばかりを待ち構えていたせいで、気付いていないだけなのではないか？」 ということだ。
本文で展開されている主な論点・要約
- 知能とは「モノ」ではなく「創発的な振る舞い（Behavior）」である
- 人間の脳細胞（ニューロン）単体はスイッチのような単純な仕組みに過ぎないが、860億個がネットワーク化することで意識や知能が生まれる。
- アリ単体には高い知能はないが、何万匹ものコロニーになると「アリのCEO」が存在しなくても高度な都市建設や農業を行う（群知能・創発性）。
- 現在のAIシステムはすでに「単一の頭脳」ではない
- MoE（Mixture of Experts）や多数のアテンションヘッド、専門化された機能の集合体として動作している。
- さらに現代のエージェントフレームワークでは、親エージェントがタスクを解決するために子エージェント（Sub-agent）を生成（スポーン）し、その子がさらに孫エージェントを生成する「自己複製・自己増殖的なマルチエージェント構造」が標準化している。
- 「APIコールの速度で増殖・進化する」新しい知能
- 生物のように食事や睡眠、成長期間を必要とせず、プロンプトとAPIコールによって数秒単位で複製・連鎖する。
- プロンプトのわずかなズレ（変異）や協調動作によって、個々のモデルにはない高度な問題解決能力がネットワーク全体から創発する。
- 安全規制やアライメント（調整）の死角
- 現在の法規制や安全ガイドラインは、「停止スイッチを押せば止まる単一のモデル・単一の企業」を前提に作られている。
- しかし、もし超知能が世界中に分散したエージェント群の「ネットワーク（スウォーム/群れ）」として立ち現れる場合、単一のサーバーを落としても迂回され、従来型の規制やキルスイッチは機能しなくなるのではないか、と警鐘を鳴らしています。
