『逆転オセロニア』トッププレイヤー相当の最強AIが爆誕！開発の裏側をリポート【CEDEC 2022】

複雑化するゲーム環境にも対応できる高い柔軟性

2022年8月24日に開催された開発者向けカンファレンス“CEDEC 2022”にて、セッション“現代ゲームでの最強対戦 AI の作り方！『逆転オセロニア』AI がトップレベルの強さに到達した理由”が実施された。

本セッションではDeNAが配信するスマートフォンアプリ『逆転オセロニア』（以下、『オセロニア』）にて、同社所属の甲野佑氏、大渡勝己氏が、トップレイヤーに匹敵する強さを持つAIを紹介した。

“最強”は本当に“最強”だった

セッション冒頭では、AIがゲーム内でどのような挙動を取るか公開。一例としてファミ通Appで『オセロニア』の記事を担当する、世界のザキヤマ（筆者）が実際にAIと対戦した模様が紹介された。

『オセロニア』では、対戦が切断された際などに代打ちをする仕組みはあるものの、それらはプレイヤーに匹敵する動きをするものではない。

これもあり筆者は、「いくら強いと言っても、そこまでのものか？」と楽観視していたが、結果は5戦4敗と惨敗。

なお辛くも掴んだ1勝は、「攻撃性能の高いキャラを連続して使える状況でムリヤリ押し切った」という展開。9割がた運頼りのものであったことは明記しておく。

対戦ゲームである『オセロニア』では、多数のキャラクター（駒）が定期的に登場することもあり、強力なデッキのトレンドはつねに推移し続けている。

今回使用できたのは、どちらもAIが学習している2022年3月までのデッキだったが、どの対戦においてもいずれかが極端に有利・不利になるマッチングではなかったため、結果は実力によるところが大きかっただろう。

その中でとくにAIが「強い」と感じたのは、「人間のテンプレ戦術に沿わない選択をする」ことがあること。

『オセロニア』はオセロをベースとしたゲームのため盤面重視のほうが有利な部分はあるが、その前にHPが0になったら負けるというルール。

合わせて、キャラは固有のスキル（場に出して発動）、コンボ（場に出されている駒にスキルでつなぐことで発動）を所持しているため、理想を言えば「盤面を重視しつつ、スキル・コンボを適切に利用する」ことが勝ち筋となる。

しかしAIの場合、膨大な対戦データによって蓄積された挙動からか、人間のルーティンから外れた動きをすることも散見。

『オセロニア』プレイヤーの読者に向けてとはなるが、「一見すると初心者のような盤面進行でトゥールラを打ち、このコンボをくり返し発動してダメージを稼ぐ」という動きに、筆者はとくに面食らった。

人間の場合、仮にダメージ効率の点からこのような選択がよぎったとしても、ここまで思い切りのよい判断はそうできるものではない。培ったプレイ経験による思い込みが逆に足を引っ張ったことも、筆者の敗因のひとつと考えられる。

とはいえ、AIの動きがセオリー（プレイヤーのトレンド）をムシしているかと言えばそうではない。

『オセロニア』には罠や防御といった、相手の攻撃に備えるキャラも存在するが、AIはこれらのキャラを「相手が嫌がるタイミングで適切で使いこなす」という、人間さながらの動きもたびたび見せていた。

状況次第では一見奇策とも取れるフレキシブルな選択をしつつ、基本も十二分に抑えているという点で、筆者レベルの実力では、安定して勝つことは難しかったと言わざるを得ない。

本セッションのタイトルにもある“トップレベルの強さ”、まさに偽りなし。なお、AI側に相手の手駒を検知する機能は付いていない。

▼対戦の様子はこちら（※研究開発中のものでゲーム内には実装されていません）

最強AIが生まれた経緯とは

『オセロニア』にはAIによる先進的な試作が投入されてきた経緯があり、中でも代表的なものは“オススメ編成”と“オセロニア道場”のふたつ。

合わせて、AIはバランス調整アルゴリズムや、キャラクター画像や音声の自動生成（2022年エイプリルフール企画）にも利用。今回の対戦AIは2018年から開発が始まり、ついにトッププレイヤーに匹敵する強さに辿り着いた。

本AIには、人間以上の成績を弾き出せるとされる“強化学習”を採用。“教師あり学習”と異なり自身で試行錯誤しデータ生成が可能なことから、より広い範囲をフォローできることが強みとなっている。

具体的にはAIが自身VS自身で対戦をくり返し、その結果を記録して学習していく。「限界を作らず、強くしていくには強化学習をベースに考えることが重要」と甲野氏は語った。

また近年のスマホアプリを代表するゲームは、新しいコンテンツ（キャラ）が継続されるが、その都度の更新も比較的容易だという。

とはいえ、強化学習は時間がかかるという欠点も。これを解消すべく、分散強化学習による速度向上を図り、自己対戦向けの学習フレームワークを自社で開発。

盤面（空間情報）、デッキ（集合情報）を統合するため、ニュートラルネットワーク“Ohellonia-net v1”を考案し、多くの要素が複合するゲーム性には、プレイヤーの対戦ログを活用した学習補助を利用。分散深層強化学習用のフレームワークとしては、オープンソースの“HandyRL”を採用した。

なお実際の『オセロニア』の対戦では、大まかに分けて互いのHP、手駒、盤面、デッキの4要素を考慮することが不可欠。そのため、これら異なる属性を並列的に処理する必要が出てくるという。

また、『オセロニア』では多数のキャラクター・デッキからなる戦術が求められるが、これは現代の対戦ゲームでは共通する問題。これに対応するためAIがゼロから学習するのは現実的ではないことから、上位プレイヤーの対戦ログも参照したハイブリッド形式を採用している。

初期段階のAIの学習はまさに“赤ちゃん同士の戦い”とも言え、この間のデータは役立ちにくい。このため、プレイヤーログ（教師データ）からの学習促進は効果的とのことだ。

プレイヤーログを使うことに関して「学習後半でジャマにならないか」という懸念は生まれるものの、「現段階（の強さ）であればあったほうがよい」という結論に。環境遷移の速さからスピーディな学習が求められることに加え、“人間に勝ちやすい指しかた”を学習するためには非常に有効とのことだ。

なお、人間は初手をD5（右下）から始めることが多いが、学習後期になるとこの形から離れていくという観測結果も。『オセロニア』の初手はどこから打ち始めても同じではあるものの、「AIが人間と異なる戦略を使いたがるようになる」という、興味深い事例と言えるだろう。

強力な対戦AIはさまざまな分野に活用できる

続けては、「強力なAIがあれば何ができるか」といった事例を紹介。

実際の人間対AIの対戦からも見て取れたが、AIならではの戦術がプレイヤー側に輸入され、新たな選択肢が増えることも十分にあり得る。

またAIは弱く設定することでティーチングなどにも利用できるが、そのためには、「いずれにせよAIが強くならなければいけない」という前提は強調された。

ほか、『オセロニア』以外のゲームに関してもふれられた。とくに近年の運営型スマホアプリは、プレイヤーに継続的に遊んでもらうことは必須となっているが、その結果として環境が複雑化し、ひいてはバランスが崩れる可能性も孕んでいる。

この問題に対してもAIが役立つ可能性が高いという。たとえば人間が日中に設計案を作成し、夜にAIがこれを検証・評価し、最終的な設計につなげるというものだ。セッションではこれを「AIと人間の理想的な協業」と紹介。キャラ同士の性能が干渉するタイプのゲームであれば、AIによる恩恵はとくに大きいと言えるだろう。

最後は、「ゲームAIの開発も、アスリートとして扱えないか提案していきたい」という話題に。「AI開発の技術が子どもたちにとって、一般的なスポーツ同様に憧れられる対象になればさらに技術が発展していき、ひいては世界に貢献できるのでは」と甲野氏は語る。

なお、本セッションの講演者である大渡氏は“プロAIアスリート”としてDeNAとスポンサー契約を結び、「ワクワクするゲームにこそ、ワクワクするAIが存在する」をモットーに日々活躍している。

本セッションの概要は以上。トッププレイヤーに相当する実力を誇るAIがどのような目的で開発されたかを知る、貴重な場ともなった。

『オセロニア』はもちろんのこと、AIがゲーム業界にもたらす恩恵が拡大することを期待してやまない。