モデルv2公開のお知らせ

いつもWoWS MM Analyserをご利用いただき，また学習データの提供に多大なるご協力をいただき誠にありがとうございます．この度，勝敗予想の精度向上のために新しい予測モデル「v2」を公開いたしました．

本ページでは，追加された新モデルの特徴と，性能を正しく評価するための注意事項についてご案内します．

1. 新モデルの追加と選び方

今までの「モデル v1 (標準版)」に加え，新たに以下の2つのモデルを追加しました．どちらも同じ学習データを使用していますが，学習に用いている特徴量の粒度が異なります．

モデル v2 (標準版):
チーム全体の指標のみに絞って学習しています(駆逐艦の実力差のみ含む)．個人のプレイスタイルやデータの偏りに影響されにくく，様々な状況に対してより堅牢な予測が期待できます．迷った場合は，まずこちらをご利用いただくのがおすすめです．
モデル v2 (19特徴量):
艦種ロールに応じた観測ダメージや潜在ダメージ，主砲命中率など，より詳細な重要指標を使用して学習しています．全体の精度が高まる可能性がありますが，データの偏りが色濃く反映される場合があるため，プレイヤーによっては標準版の方が精度が良い可能性があります．

2. データ送信にご協力いただいている皆様へ（データリークに関する注意）

本ツールにデータを送信してくださっている皆様におかれましては，ご自身のデータがそのままモデルの学習に使用されています．
そのため，データ送信前の期間の戦闘データでモデルを評価すると，すでに答えを知っている状態となり，正解率やlog lossが本来の性能よりも高く見えてしまう現象（データリーク）が発生します．

これを防ぎ，正確なモデル性能を評価していただくため，統計・分析モードの期間指定オプションに新たに「モデル公開後」を追加しました．
性能評価を行う際は，学習対象外のデータとなるこちらの期間をご利用ください．

3. モデル精度の確認方法について

実際の正解率やlog loss，そしてモデルがどのような状況で過大評価・過小評価しやすいかの傾向（モデル精度クロス表・キャリブレーション）は、以下の手順でご確認いただけます．

「統計・分析モード」 → 「勝敗予想」

※それぞれのモデルが学習していない「モデル公開後」の期間を指定して表示することで，ご自身に合ったモデル選定にご活用ください．