自動プレイの計測を、面白さの証拠にしない線引き

「社畜サバイバー」は、AI のエージェントが実装し、自動で遊ぶ操作プログラム（以下、自動プレイ）で確かめながら作っています。2026年5月に評価の手順を1本にまとめてから、5つの職場を自動で遊ばせる測定や、手触りを点数にする計器まで増えました。計測が増えるほど、数字は面白さや難しさの代わりに読まれやすくなります。そこで7月に、自動プレイは破綻を見つけるために使い、面白さ・分かりやすさ・選ばれる理由は人の評価で確かめる、と線を引きました。線を引いたあとも、数字に引っぱられかけた場面は何度かあり、そのたびに運用を直しています。10月6日時点で、Steam での公開を判定する16の条件のうち、人や実機の確認が要る7つは、まだ確かめられていません。

自動プレイで測れるもの

5月5日、Codex（AI のエージェント）が、自動プレイの実行と評価を1つの手順にまとめました。実行ごとに、合格の条件、結果、評価、短い要約をファイルに残し、60秒の起動確認から330秒の観察まで段階を分けます。同じ文書は、見た目の評価について「まだ主観的」と書いています。

その後、5つの職場をそれぞれ3回通す測定や、時間帯ごとの手触りを点数にする計器が加わりました。自動プレイは、同じ条件で何度でも走らせられます。エラー、始まってすぐ倒れること、変更前後の差を見つけるのは得意です。敵「板挟み」の強さも、この比較で何度も差し戻しました（敵「板挟み」を A/B 比較で決めた制作ノート）。

証拠の種類を分ける

7月18日から19日にかけて、Codex は、Steam での公開を判定する契約と、評価の採点表を作りました。採点表は、証拠の種類を次のように分けています。

コード数・コンテンツ数は「存在証拠」、自動プレイは「破綻検出」、人間プレイは「面白さ・理解・意思決定」、市場比較は「選ばれるか」の証拠とする。代理指標だけで4以上を付けない。未測定は0点ではなく PENDING とし、正式ゲートでは公開不可にする。

0〜5点の採点で、4は競合と同じ水準を指します。自動プレイの数字だけでは、どれほどよくても4を付けません。測っていないものは0点ではなく、未確認として残します。

契約の条件は16で、5つは自動の測定結果で判定し、11は人数や台数などの値を記録して判定します。たとえば初見のプレイテストは12人以上で、面白さを4以上と答えた人が70%以上、自分から2回目を始めた人が60%以上です。競合とのブラインド比較は30人以上です。評価の軸は10あり、「戦闘の面白さ」の軸には、自動の手触りの点数と、人の初見のプレイテストの両方が結び付いています。

19日には、AI のエージェントへの作業規則に、次の1文が入りました。

自動AIを合格させるためだけに、ゲームの意図、難易度、敵やギミックの個性を弱めてはならない。

線を引いたあとも、数字に引っぱられかけた

7月25日から27日の夜間の改善ループでは、AI のエージェント自身が「今夜の判断ミス」を6つ記録しています。その1つは、自動プレイが倒せないことを理由に、難易度を下げる方向へ流れかけ、運営者の指摘で撤回した件です。3通りの種のうち最良の値だけで一般化した件もありました。同じ時期の記録には、7月25日以前の測定が、職場ごとに同じ乱数の種で3回測っていたことも残っています。3回と記録されていても、独立した結果は1つだけでした。7月28日に、種を変えて測り直しています。

このころ、自動プレイのクリア率を品質の合否に使うのをやめ、破綻の検出だけに縮めています。人のクリア率が取れた時点で、職場ごとの幅を決める必要がある、とも書いています。ボスについては、運営者が遊んで「かなり余裕をもってクリア」できたことから、HP と出現の時刻はこれ以上調整しないと決め、自動プレイが届くかどうかは下限の目安としてだけ残しました。

食い違いが目に見えた例もあります。会議室らしさを、その職場の固有の敵が撃破に占める割合で測る計器がありました。値は0.133〜0.154で、合格線の0.20に届きません。ところが7月28日に運営者が遊んだ記録では、印象に残った主役は、前半が動きを縛る敵、後半がレーザーポインター役員でした。記録は、撃破の割合では板挟みが1.2%、レーザーポインター役員が0.3%の少数派だと並べ、「kill-share計器は知覚上の個性を測れていない」と書いています。

計器の直し方にも、運営者が線を引きました。

計器の判定自体に問題があれば基準・方法を直してよい（通すための捻じ曲げは不可）

8月3日の振り返りは、自動の合格の幅を通った案が運営者の遊んだ感想で覆った件を受けて、「自動ガード通過はユーザー体感の必要条件であって十分条件ではない」と書き残しています。

10月の判定

10月6日の振り返りでは、16の条件は合格3・不合格6・未確認7です。自動で判定する5つも、この日の判定ではすべて不合格です。未確認の7つは、初見のプレイテスト、競合とのブラインド比較、職場の見分け、被弾や死因の理解、コントローラーの実機、最低動作環境、日英の全画面の確認で、どれも人か実機が要ります。記録は、総合点が0であることを面白さが0点だとは読まず、必要な証拠がまだそろっていないという意味だと書き添えています。

同じ日、自動プレイが本社オフィスの通常の勤務を最後までクリアしました。レベル44、撃破4,559、強化の選択43回です。それでも記録は、この1回は人の楽しさや初心者にとっての公平さを証明しないとし、序盤の成長が遅かったことを理由に敵を弱めることも、クリアできたことを理由に難しくすることもしない、と書いています。

その後、10月7日に日英の全画面の確認が合格になりました。

人の評価をどう集めるか

10月1日の計画は、常設のテスターがいない前提に切り替えました。12人・30人といった条件は正式な発売判断のためのもので、日々の改善の開始条件にはしません。ふだんの改善は、運営者自身が遊んで気づいた不便から直します。10月3日には itch.io で試遊版を公開し、同意した人からだけプレイデータを受け取る形にしました（試遊版のプレイデータの集め方を決めた制作ノート）。それでも、行動のログから楽しさは直接分かりません。

線を引いてみて

いまの作業規則には、自動プレイの勝ち負けから職場の難しさを調整する前に、自動プレイの強化の選び方や計測の誤りを先に調べる手順も入っています。一方で、計測を増やすこと自体が目的になりかけたこともあります。10月6日の振り返りの1つは、自動プレイの方針や記録を増やす作業を止め、まだ満たしていない条件を先に進めると決めています。

作った本人に採点させない、という考え方は、英会話アプリでも使いました（AI に作らせて別の AI に採点させたゲート設計の制作ノート）。社畜サバイバーでは、そのうえで、AI の採点が届かないものを人の評価として残しています。ゲームの紹介は社畜サバイバーのゲームページにあります。