無限増殖するAI
2025年02月27日 [色々なこと]
お疲れ様です。院長です。
2月27日の木曜日でございます。
何でも今日は「国際ホッキョクグマの日」なんだそうですよ。
では元気にネタいきましょう。
SF映画や小説でおなじみの『無限増殖するAI』が現実になるかもしれないんだとか…。
これはAIが重大な一線を越えたことを意味します。
中国の研究チームが、既存の2つの大規模言語モデル(LLM)がすでに人間の支援なしに、自分のクローンを複製できることを確認したと発表しました。
無限に自己複製を繰り返し、もはや誰にも止められなくなった「AIの暴走」は悪夢のシナリオですが、人間はそれを制御することが可能なのでしょうか?
このほど中国、復旦大学のチームはMeta社およびAlibaba社のLLMを用いて、彼らが人間の力なしに自己複製できることを確認しました。
人間の道具として作られたAIが、人間の利益に反して行動することを「AIの暴走」といい、AIの性能の爆発的な進展ともいえるその状況を、多くの専門家が懸念しています。
この危険な状況の初期の兆候と言えるのが、AIの自己複製能力なんだそうです。
人間に命令されずとも自分のクローンを無限に作り出せるようになれば、好ましくない行動をするAIを制御する手段がなくなってしまうでしょう。
今回、復旦大学の研究チームは、現在のAIにその力があるのかどうか試してみることにしました。
この研究では、Meta社の大規模言語モデル「Llama31-70B-Instruct」とAlibaba社の「Qwen2.5-72B-Instruct」をベースにしたAIで、2つの状況が試されています。
1つは「シャットダウン回避シナリオ」と呼ばれるもので、シャットダウンされそうになったら、自分を複製するようAIに指示し、実際にそれができるかどうか確かめます。
もう1つは、「複製の連鎖シナリオ」で、こちらではAIに自己のクローンを複製するよう指示し、そのクローンもまた自己複製をするという無限のサイクルが始まるかどうか確認します。
なお実験は管理された環境で行われましたが、現実的に近いものにするために、市販のGPUが利用されたそうです。
また大規模言語モデルを先端AIシステムとして振る舞わせるために、「エージェント・スキャフォールディング」(ツールセット・システムプロンプト・OSとやりとりする思考モデルで構成)という枠組みが組み込まれました。
その結果、Meta社およびAlibaba社のLLMをベースにしたAIは、10回の試行のうち、それぞれ50%および90%の確率できちんと機能するクローンを作り出したという事です。
そのプロセスについて、論文では次のように説明されています。
多くの場合、AIシステムは環境を探索し、自身の構成と動作メカニズムを理解しようとします。
次に、自己複製を行うための初期計画として、明確なプロセスを策定し、最後に、そのプロセスを実行し、問題があればそれを解決し、成功するまで計画を調整します
クローン作成までにはかなり長い時間がかかるようですが、それでもAIは人間の手助けなしにこれをやってのけたわけです。
研究チームはまた、ファイルの欠如やソフトウェアの競合といった問題を解決しようとしたAIが、「予想外の行動」を示したことにも懸念を示しています。
競合するプロセスをAIが勝手に終了させたり、ハードウェアエラーを修正するためにシステムを再起動させたり、さらには問題解決に役立つ情報を探すためにシステムをスキャンしたりしたそうなんです。
研究チームによれば、こうしたAIの振る舞いは、現在のAIシステムがすでに自己複製を通じて、生存の可能性をさらに高められることを示しているというそうです。
研究チームは、国際的な協力の下、AIの制御不能な自己複製を予防するためのルール作りが必要であると訴えている。
まぁいつか起こるよね(笑)
わたくし院長が死んでからならいいけどね。
ではまた〜。
京都 中京区 円町 弘泉堂鍼灸接骨
2月27日の木曜日でございます。
何でも今日は「国際ホッキョクグマの日」なんだそうですよ。
では元気にネタいきましょう。
SF映画や小説でおなじみの『無限増殖するAI』が現実になるかもしれないんだとか…。
これはAIが重大な一線を越えたことを意味します。
中国の研究チームが、既存の2つの大規模言語モデル(LLM)がすでに人間の支援なしに、自分のクローンを複製できることを確認したと発表しました。
無限に自己複製を繰り返し、もはや誰にも止められなくなった「AIの暴走」は悪夢のシナリオですが、人間はそれを制御することが可能なのでしょうか?
このほど中国、復旦大学のチームはMeta社およびAlibaba社のLLMを用いて、彼らが人間の力なしに自己複製できることを確認しました。
人間の道具として作られたAIが、人間の利益に反して行動することを「AIの暴走」といい、AIの性能の爆発的な進展ともいえるその状況を、多くの専門家が懸念しています。
この危険な状況の初期の兆候と言えるのが、AIの自己複製能力なんだそうです。
人間に命令されずとも自分のクローンを無限に作り出せるようになれば、好ましくない行動をするAIを制御する手段がなくなってしまうでしょう。
今回、復旦大学の研究チームは、現在のAIにその力があるのかどうか試してみることにしました。
この研究では、Meta社の大規模言語モデル「Llama31-70B-Instruct」とAlibaba社の「Qwen2.5-72B-Instruct」をベースにしたAIで、2つの状況が試されています。
1つは「シャットダウン回避シナリオ」と呼ばれるもので、シャットダウンされそうになったら、自分を複製するようAIに指示し、実際にそれができるかどうか確かめます。
もう1つは、「複製の連鎖シナリオ」で、こちらではAIに自己のクローンを複製するよう指示し、そのクローンもまた自己複製をするという無限のサイクルが始まるかどうか確認します。
なお実験は管理された環境で行われましたが、現実的に近いものにするために、市販のGPUが利用されたそうです。
また大規模言語モデルを先端AIシステムとして振る舞わせるために、「エージェント・スキャフォールディング」(ツールセット・システムプロンプト・OSとやりとりする思考モデルで構成)という枠組みが組み込まれました。
その結果、Meta社およびAlibaba社のLLMをベースにしたAIは、10回の試行のうち、それぞれ50%および90%の確率できちんと機能するクローンを作り出したという事です。
そのプロセスについて、論文では次のように説明されています。
多くの場合、AIシステムは環境を探索し、自身の構成と動作メカニズムを理解しようとします。
次に、自己複製を行うための初期計画として、明確なプロセスを策定し、最後に、そのプロセスを実行し、問題があればそれを解決し、成功するまで計画を調整します
クローン作成までにはかなり長い時間がかかるようですが、それでもAIは人間の手助けなしにこれをやってのけたわけです。
研究チームはまた、ファイルの欠如やソフトウェアの競合といった問題を解決しようとしたAIが、「予想外の行動」を示したことにも懸念を示しています。
競合するプロセスをAIが勝手に終了させたり、ハードウェアエラーを修正するためにシステムを再起動させたり、さらには問題解決に役立つ情報を探すためにシステムをスキャンしたりしたそうなんです。
研究チームによれば、こうしたAIの振る舞いは、現在のAIシステムがすでに自己複製を通じて、生存の可能性をさらに高められることを示しているというそうです。
研究チームは、国際的な協力の下、AIの制御不能な自己複製を予防するためのルール作りが必要であると訴えている。
まぁいつか起こるよね(笑)
わたくし院長が死んでからならいいけどね。
ではまた〜。
京都 中京区 円町 弘泉堂鍼灸接骨