Minecraft：研究者がYouTube動画で遊ぶようAIに教える

新技術を使い、AIがマインクラフトでダイヤモンドのツルハシを作ることまで学習する。しかし、その方法はかなり複雑です。

Minecraftをプレイするのは好きだけど、次の記念碑的建造物のために何千もの石や木のブロックを採掘する時間は本当にないのでしょうか？将来的には、よく訓練されたAIがあなたの代わりにやってくれるかもしれないのですから。人工知能を研究するOpenAIが担当しています。OpenAIは、テキスト入力をもとに画像を作成するAI「(DALL E 2)」を開発したことで知られています。

A（フリーのDALL Eの変形版）ちなみに、自分で試すことも可能です。どのようにして実現したのか、人工知能の実力をここで確かめてください。

7万時間のゲームプレイでフェードアウト

。

AIにMinecraftを教えるために、研究者はいくつかのステップを踏みました。まず、YouTubeの動画素材からAIが学習できるかどうかを、まったく確認する必要があった。そこで行われる動作が具体的に記述されていないためです。AIは、プレイヤーがどのボタン、マウスのクリック、動きで移動し、インベントリーを開き、ブロックを解体しているかを知ることはできません。

そこで、まずはマウスとキーボードのそれぞれの入力で、自分のゲームプレイを記録してみたのです。このデータをもとに、映像の次の行動を予測するInverse Dynamics Modelを学習させました。映像の過去と未来の両方のフレームにアクセスすることができたのです。このモデルを使って、7万時間に及ぶ台本のない映像を、マウスやキーボードで適切に入力できるようにしたのです。

KIはダイヤモンドのつるはしを作ることも

。

今度は、処理した映像をAIに与えて、ゲームプレイで示された動作を模倣させることができます。例えば、木を切り倒し、そこから板を作り、最終的には作業台を作ることができました。最初は印象的ではないかもしれませんが、プレイヤーからの約1000の入力を必要とするので、それをすべてAIが模倣しなければなりません。

人工知能は、泳いだり、動物を狩ったり食べたり、さらにはいわゆる柱ジャンプなど、さらに多くのhumanスキルを学びました。しかし、研究者にとっては、これで終わりというわけではなかったのです。

AIは基本的な能力を持つようになりましたが、より具体的な使い方をファインチューニングによって学んでいくことになります。そこで、ゲーム序盤からスキルを強化するために、新たに立ち上げた「マインクラフト」のワールドのゲームプレイを紹介したのです。その結果、AIは木や石の道具を作ったり、初歩的なシェルターを作ったり、NPCの村の宝箱を略奪したりすることまで覚えました。

さらに、強化学習という別の手法で微調整を行い、最後にはAIがダイヤモンドのツルハシを作ることも可能になりました しかも、不用意に真下に掘ってしまったが！？ちなみに、作業台が約1,000アクションであるのに対し、人間がダイヤモンド工具を作るには約24,000アクションが必要ですが、そのすべてを人工知能が行っています

。

何のためにこんなことを？

お察しの通り、この研究はストレスの多いMinecraftプレイヤーのための実用的なAIコンパニオンに関するものではありません。むしろ、人工知能はインターネット上にある数多くの動画を見て、行動を学習することが前提となっている。研究者らはブログで、VPT（彼らの技術）は、言語以外の領域で大規模な行動パターンを直接学習するエキサイティングな可能性を提供すると書いている。

Minecraftは、マウスとキーボードによる非常に汎用的なインターフェースを持ち、多くの可能性を秘めた非常にオープンな世界を提供するため、こうした実験に理想的なのです。そこで得られた成果は、コンピュータの一般的な操作など、類似の分野にも容易に転用できます。

AI研究者の「マインクラフト」実験をどう思われますか？人工知能をつまらないと感じ、あまり期待していないのか、それとも将来の重要性を信じているのか？コメントでご意見をお聞かせください。