MM Analyser の勝敗予想モデルについて

目次

• 1. 予想モデルの概要
• 2. 予想精度について
• 3. どのようなときに外れやすいか
• 4. 予想勝率の活用方法

学習データ

アジアサーバーのランダム戦の戦闘データ(800件~)を使用し，機械学習を行っています． ランダム戦以外のゲームモードでも予想は表示されますが，ランダム戦のルールで考えた時の予想勝率です．

予想の方法

使用艦のスタッツ，艦艇別のスタッツから全プレイヤーの実力を推定し，チームの平均勝率・ダメージ・経験値や分艦隊・駆逐艦の実力差などを使用して予想勝率を算出しています．

非公開アカウントの扱い

戦績非公開のアカウントについてはサーバー平均から実力を推定しています．

以下に表示されているモデル評価は収集済みのデータセットに対する交差検証の結果です．
現状では3試合に2試合くらいの精度で勝敗を言い当てます． これは「既知のデータ内での一貫性」を示すものであり，未知のプレイヤーや異なるメタ環境でのモデルのパフォーマンスを保証するものではありません．(極端な例では空母の仕様変更やサーバーの違いがあると評価は意味を成しません) 現状は特定の時間帯・使用艦(開発者の環境)に偏って最適化されていますが，データ提供者が増えるにつれて汎化性能(汎用性)が上がるように設計されています．
「精度が低いな」と感じることが多い場合，モデルの知らない貴重なプレイ環境ですので，ぜひクラウド連携をONにして統計データ収集に協力していただけるとモデルの予想精度が向上します．

以下は予想勝率ごとの実績データ (検証試行回数 N=85,800) モデルの安定性を測るため，学習と評価を100回繰り返し実行した累積結果です． AIが算出した「予想勝率」と，その時の「実際の勝率」がおおむね比例しており，予測スコアが確率として信頼できることを示しています．

※ 上記は収集データを用いた100回の反復検証（延べ N=85,800）による結果です．
あくまで学習データ内での妥当性を示すものであり，あらゆる環境下での動作を保証するものではありません．

予想モデルの設計上，以下のような場合に予想が外れやすくなっています． 現バージョンではデータ不足のため考慮できていませんが，データ数が増え次第，改善を検討しています．

• 1. 艦載消耗品や相互作用

  煙幕・ソナー・レーダーを持っているかなどは考慮できていません． 煙幕介護など火力を底上げするプレイやレーダー艦が重要なマップでのレーダーの重要性は考慮せず，予想勝率が算出されます．

• 2. 初期配置

  マッチング画面から得られるプレーヤー情報のみから算出されているため，予想は初期配置の不確実性を含みます． 配置の噛み合わせが極端に悪い場合などは予想勝率よりも実際には難しい場合があります．

• 3. 空母の実力差が大きい

  空母の実力差は間接的な指標でしか考慮できていません． 空母の実力差が極端に大きいような場合は予想勝率よりも難しい試合になる可能性があります．

• 4. プレイスタイルが玄人な場合

  現バージョンはダメージを重視するモデルなため，スポット・占領・潜在ダメージを意識して控えめなダメージで勝っている場合は，予想が厳しめに出る可能性があります．

• 5. 軍拡競争

  データ数不足のため，軍拡競争の予想が苦手です． 最もデータ数の多い3拠点が得意で，2・4拠点は普通です． これに関してはデータが増え次第，専用の予想モデルに分割します．

将来的には，マップを考慮した予想モデルや艦艇の特徴を考慮した予想モデルなどを作ることによってマップの特性やゲームの構造をより深く理解することを目的としていますが，現状の簡単なモデルでも以下のように活用できます．

Q1. なぜ試合前に予想勝率が出ないのですか？

1. 健全なゲーム環境を守るため
   極端に低い予想勝率が出た際に，意図的な自沈をして次の戦闘に行ったり，チームメイトへの暴言を誘発したりするなど，ゲーム環境に悪影響を及ぼすリスクを防ぐためです．
2. 純粋な学習データを集めるため (正直、こちらが主目的です)
   試合前に予想勝率を見てしまうと，プレイヤーの行動が変化してしまいます．
   プレイヤーがバイアスなく全力で戦った結果こそが，AIにとって最も価値のある学習データとなるため，行動を変化させないよう配慮しています．

Q2. 予想勝率はどうやって使えばいい？

試合前に予想勝率を元に戦略を立てることはできませんが，予想勝率と実際の勝率の乖離を見ることで自分のプレイスタイルの分析が可能です．