200ランの「易しくなった」が600ランで消えた、自動プレイの計測の監査
デッキ構築型のローグライク「社畜ダンジョン」は、自動で遊ぶプログラムに何百回も遊ばせ、前もって書いた線で調整を採るか決めています。ある不具合の直しは、200回ではあるシナリオのクリア率を6ポイント上げたと出て、600回では0.7ポイントでした。別の AI に計測を監査させて見つかった6つの誤りと、判定を「通る・保留・割れ」の3つにした直し方の記録です。
社畜ダンジョンは、会社員が名刺交換や根回しのカードで戦う、デッキ構築型のローグライクです。10月27日に itch.io で体験版を公開しました。コードと計測は開発を担当する AI のエージェント(以下、開発の AI)が行い、私は何を確かめてほしいかを頼み、進め方を決めています。難しさの調整では、先の手を読んで打つ自動プレイのプログラム(以下、探索ボット)に何百ランも遊ばせ(1回の挑戦を1ランと数えます)、クリア率が前もって書いた線の内に入るかで、直しを採るか決めます。
10月、ある不具合の直しが、200ランではあるシナリオのクリア率を6ポイント上げたと出て、600ランでは0.7ポイントでした。同じころ、別の AI のエージェントの Codex と agy(Antigravity の CLI)に計測を監査させ、計測の誤りが6つ見つかりました。道具を直し、判定を「通る・保留・割れ」の3つにしました。保留は、際どくて決められないときに、決めずに回数を足すことです。
別のゲーム「社畜サバイバー」では自動プレイの数字を面白さの証拠にしない線引きの制作ノートを書きましたが、今回は、難しさを測る道具そのものの誤りと、回数の足りなさを扱います。
線で採るか決める測り方
1つのシナリオを、4人のキャラで50ランずつ、計200ラン遊ばせます。経験者の代わりが探索ボットで、初心者の代わりには決まった規則で打つ AI を使います。採るかどうかの線は、直しを入れる前に書いておきます。その一つが解放の順番です。シナリオは遊ぶうちに順に開くので、後のものほど難しくしています。後のシナリオのほうが易しくなる逆転は、隣どうしで2ポイントまでしか許していませんでした。線の近くで際どいときだけ、乱数の種を足して600ランで測る決まりでした。
200ランで6ポイント易しくなった直し
10月21日、戦闘に関わる不具合を2つ直しました。1つは、ボスが姿を変える区切りの HP の扱いです。ボスの HP が区切りまで減ると、そのカードの残りのダメージも区切りで止まる決まりです。ところが、1枚のカードで何度か当てるとき、最初の当たりで区切りに届くとその場で姿が変わり、あとの当たりが区切りの下まで入っていました。あとの当たりも区切りで止める直しなので、数の上ではボス戦が少し難しくなるはずです。もう1つは、カードに反応する敵の、反応が入る順番です。
2つを入れた版は、200ランで、後に開くシナリオが前のシナリオより4ポイント易しくなり、線を割りました。1つずつ分けて測ると、区切りの直しだけで、体験版に入っていないシナリオの一つのクリア率が45.0%から51.0%に上がっていました。難しくなるはずの直しで、6ポイント易しくなったことになります。
計測そのものの監査を頼んだ
10月22日、開発の AI に、計測の方法が正しいか、ゲームが本当に良くなる向きに進んでいるかを定期的に確かめてほしい、ほかの AI もなるべく呼んでほしい、と頼みました。計測を通せないからといって計測を易しくしてはいけない、とも伝えています。計測の統計と仕組みは Codex に、改善のループの向きは agy に監査させました。Codex は、保存してあった計測の生データ199ファイル、4,975ラン分を数え直しています。監査の指摘のうち、コードと数字で確かめられた誤りが6つありました。
200ランの差は、どれだけ揺れるか
6つのうち1つは、回数の足りなさです。同じ版を測り直したときに、隣どうしのシナリオのクリア率の差がどれだけぶれるか(標準誤差)は、200ランで5〜6ポイント、600ランでも約3ポイントあります。どちらも許す逆転の幅の2ポイントより大きく、本当の差が0でも、「2ポイントを越える逆転」と出る見込みは200ランで約33%、600ランでも約24%あります。
同じ版の600ランを、重ならない200ランの3組に分けると、解放の順番の線を通ったのは1組だけでした。残りの2組では、それぞれ別の隣どうしで6ポイントの逆転が出ています。200ランといっても、始まりの乱数の種は50通りで、それを4人のキャラで遊んでいます。
際どい範囲は、線を通っている側にしか取っておらず、線を少しでも割った側は200ランですぐ割れと決めていました。2つの直しを入れた版の4ポイントの逆転もそう判定しましたが、Codex が数え直すと、本当の差がありそうな範囲(95%の区間)は−14.7〜+6.7ポイントで、割れとも通るとも言えない幅でした。区切りの直しの6ポイントも、同じ乱数の種どうしで比べた95%の区間は−1.5〜+13.5ポイントで、差が0の見込みを含んでいました。
道具の中の誤り
残りの5つは、道具の作りの誤りです。
1つ目は、最終ボスと戦って倒れた割合(最終ボスの死亡)の数え方です。道具は、最後のフロアのボスを全部まとめて数えていました。体験版の2つのシナリオは最後のフロアに最終ボスしかいないので、数は変わりません。最後のフロアにほかのボスもいるシナリオでは、まとめた数が14.3%で、最終ボスだけなら46.1%(516戦のうち238戦)でした。まとめた数だけを見ると、最終ボスが山場になっていないように読めてしまいます。
2つ目は境界の比べ方です。解放の順番を小数で比べていたため、600ランで182勝と194勝のような、ちょうど2ポイントの逆転が −2.0000000000000036 と計算され、「割れ」になる作りでした。
3つ目は記録です。戦闘の記録しか残しておらず、ランの区切りは推し量っていました。戦闘以外で終わったランは、どのフロアで倒れたかの数から抜けます。ある600ランでは、クリアできなかった317ランのうち、戦闘で負けた記録があるのは316ランでした。
4つ目は判定の漏れです。前もって書いた線のいくつかは、道具ではなく開発の AI が手で見ていました。比べる道具は、線を割っても「成功」で終わり、シナリオとキャラの組のうち結果が欠けたものを、黙って外していました。
5つ目は乱数です。初心者の代わりの AI の一つが、回すたびに変わる乱数を使っていて、同じ版のクリア率が、前の記録の18.7%に対し、回し直すと17.7%でした。
判定を「通る・保留・割れ」にした
線は変えずに道具の誤りを直し、判定を3つに分けることにしました。区切りの直しともう1つの直しは、新しい判定ではなく、前もって書いた決め方のまま、1つずつ600ランで測りました。区切りの直しは、600ランでは元の版の283勝に対して287勝で、47.2%から47.8%、差は0.7ポイントでした。ほかの線も通ったので、この直しを採っています。もう1つの直しは、600ランで線をわずかに割ったので、前もって書いた決め方どおり入れていません。区切りの直しは、10月27日に公開した体験版にも入っています。
新しい判定では、クリア率や差に、本当の値がありそうな範囲(両側90%の区間)をつけます。区間が線の内なら通る、外なら割れ、線をまたげば保留です。保留の線は200ランから600ランへ、600ランでも保留なら、その線に関わるシナリオだけ1,000ランまで足すことにしました。1,000ランでも保留なら、区間をつけない値で決めます。どの段でも、区間が線の外に出たらそこで割れです。足す回数と止め方は、直しごとに前もって書きます。
道具の側では、最終ボスをシナリオの定義の最後のボスで数え、境界は勝ち数と分母の整数で比べ、ランごとの結果を残すようにしました。前もって書いた線は全部道具が判定し、割れたら失敗で終わります。初心者の代わりの AI の乱数は、ランごとに種から作り直します。直したあと、同じ版を2回流すと、どちらも18.5%でした。
agy は線を緩める案も出しましたが、このときは線を動かさず、直しが線を割ったときは、同じ直しの中で釣り合いを戻す調整を試すことにしました。線の作りそのものは、10月27日から別の形に見直しています。一部は緩め、一部は判定から外して警報にしました。
体験版で遊べます
社畜ダンジョンの体験版は、itch.io のページ(別タブで開きます)から、PC のブラウザーで無料で遊べます。シナリオは「通常出社」と「タイトスケジュール」、キャラは4人で、エンジニアと人事部は遊ぶうちに解放されます。