https://www.ben-evans.com/benedictevans/2024/5/4/ways-to-think-about-agi の翻訳。
llmを使い、かなり意訳している。

AGI の考え方

背景と目的

汎用人工知能（AGI）が実現すれば、あらゆる作業の自動化にとどまらず、人類の知的活動に深い変革をもたらす。たとえばコンピュータ小説『A Logic Named Joe』（1946年）では、あらゆる疑問に対して瞬時に答えを返す “ロジック” が描かれた。技術的には未確定だが、実現した場合の社会的影響は極めて大きい。

過去の興奮と失望

AI 研究の歴史では、定期的に「ブレイクスルーが近い」との期待が高まっては失望に終わり、多くの学者や専門家が当初の予測を外してきた。1970 年代の AI ブームや、繰り返し訪れた “AI ウィンター” がそれを象徴する。理論的には「数年で人間並みの機械知能が生まれる」との意見もあったが、実際は多くの未知の問題が残されていた。

不確実性の本質

AGI がいつ、どのように実現するかは誰も正確に知らない。専門家の間でも意見は割れる。LLM（大規模言語モデル）がスケールして AGI に到達する可能性はあるが、多くの未知のブレイクスルーが必要だという見方もある。根本にあるのは「知能が本質的に何であるか」という問いへの答えがまだ得られていない点であり、神学や哲学に似た議論が繰り返されている。

悲観論か楽観論か

AGI による “人類滅亡” シナリオを懸念する専門家もいる。一方、AI 技術はただのソフトウェアと見る向きもある。既存の自動化が社会や産業を変えたように、AGI も新たなインパクトを与える可能性が大きい。しかし、起こりうるリスクをすべて排除することは難しい。オープンソース化が進む現状では、たとえ規制をかけても世界中で並行して開発が進むだろう。

具体例と類推

AGI のリスクを核分裂や隕石衝突になぞらえる議論もある。しかし、これらは一度起きれば確実に破滅をもたらす自然現象であり、ソフトウェアとは性質が異なる。ソフトウェアは災厄を起こす潜在力がある一方で、多大な恩恵をもたらす道具でもある。20 世紀から進行してきた自動化の多くは労働構造を変えたが、同時に多大な利便性も生んできた。

月ロケットにたとえる視点

アポロ計画では、重力とロケット工学の理論が確立していたために「ロケットを大きくすれば月に行ける」と計算で導けた。しかし、現在の AI には対応する理論モデルが存在せず、なぜ LLM が機能するのかさえ十分に分かっていない。それでもモデルは拡大し続け、何かに到達しつつあるように見える。だが、その到達点が本当に「人間を超える知能」なのかどうかは未知数である。

結論

AGI が真に実現するかどうか、あるいはいつ実現するかは確証を得られていない。悲観的なリスクを示唆する見解と、楽観的な技術開発論が同時に存在する。すべては「知能が本質的に何であるか」という未解明の問いに依存する。実現すれば大きな恩恵をもたらす可能性がある一方、取り返しのつかない被害をもたらすかもしれない。この不確実性こそが AGI 論の核心である。

人工知能 Benedict Evans 2024年5月4日