AI に任せた仕事を確かめる制作記録
使った人の声がまだ無いアプリで、「公開できる」の線を何で引いたか
英会話アプリ「イエタ」は使う人がまだ少なく、続けて使うと効くかは数字で分かりません。そこで、別の AI による採点、会話の返事の検査、自動の試験、原価の線から7つの基準を作り、すべてそろった回を「公開できる」と判定しました。判定に向けた回で点が下がったことと、判定のあとも基準が外れたことを含めた記録です。
イエタは、ブラウザーで AI と英語で話して練習するアプリです。コードは開発の AI が書き、直しがいくつか入るごとに、評価役の別の AI が固定したビルドを操作して6つの軸で採点する「G6」を回しています(採点の仕組みは「AIに作らせ別のAIに採点させる、改善ループのゲート設計」に書きました)。イエタはすでに公開していますが、10月27日に私が頼んで、開発の AI が「今のプランで自信を持って勧められるか」の基準を7つ置き、7つがそろった回を「公開できる」と判定しました。使った人の声がまだ無いなかで、何を基準にし、何が分からないまま残ったかを書きます。
使った人の数字では、まだ決められない
10月下旬の時点で、イエタに外から来る人はほとんどいません。10月20日からの1週間で新しく使い始めた人は2人、AI を使った人は延べ1人でした。イエタは、前の会話で覚えた表現を次の会話で自分で言えるようにするアプリで、言えたら「言えた!」と出ます。続けて使うとこれが増えるかは、この人数では分かりません。
そこで10月27日の夕方、開発の AI に「今のプランに見合った製品として、自信を持って公開できるクオリティに達したと思えるまで改善ループを進める。コストが上がって運営できなくならないよう、今のプラン構成で運営できるラインを守る」と頼みました。
7つの基準
| # | 基準 | 確かめ方 |
|---|---|---|
| 1 | ブロッカー0、6軸の加重平均4.0以上、中以上の指摘0 | G6 |
| 2 | 主要な導線(初回・会話・学習・お金)を、作者ではない評価役がすべて通した | G6 の「確認できなかった点」 |
| 3 | 会話・フィードバック・言えた!・ロールプレイで、基準を下回る指標が無い | 本番と同じモデルに同じ問題を解かせる検査 |
| 4 | 試験、自動の操作の流し、認証・課金・同期の通しが、全部通る | 自動の試験 |
| 5 | プランの回数を使い切っても、1人1日の原価がサーバーの上限の内に収まり、上限が30日続いても手取りを超えない | 実績の1回あたりの原価 |
| 6 | 記事・紹介サイト・プランの表に書いたことが、画面で動く | G6 |
| 7 | 残りは「低」の指摘か、私の判断待ちだけ | 判断待ちの一覧 |
G6 の合格線は3.5です。10月17日から28日までの15回はすべて合格でしたが、新しい中の指摘が出た回が4回ありました。基準1は、合格線より高い4.0と、中以上の指摘0を求めています。
基準5の原価は、開発用の環境で10月21日から27日に モデルを170回呼んで約2.7円、1回あたり約0.016円でした。プランの回数を使い切っても、サーバーの上限の内に収まります(原価の測り方は「英会話アプリのAI原価は1回0.01円台。実測から上限を決めた」)。
判定に向けた23回目で、点が下がった
判定の前に、自動の試験を全部流しました。操作の流し58本、認証・課金・同期の通し46本、課金の流れが通っています。
次の G6(23回目)は、しばらく見ていなかった主要な導線をまとめて見る回でした。復習の4択と穴埋め、翌日と3日後の復習、登録からログアウト、パスワードの再設定、ログインまで、2台の端末の同期です。点は前回の4.43から4.23に下がり、中が1件見つかりました。フィードバックが示す「正しい言い方」に、直し残しの誤りが入っていたものです。"I goes to office" を "I go to office" と直して冠詞の抜けが残り、その英文が表現ノート、復習の4択と穴埋め、次の会話の「言ってみよう」の4か所に正解として出て、もう1台の端末にも届いていました。
直しでは、直した形はそれ自体が正しい英語にし、引用した語のほかの小さな誤りも直す、という指示をフィードバックに足しました。この形の問題で、直した形に誤りが残った回は、足す前の65回中6回と24回中3回から、足したあとは50回中0回、24回中0回になっています。24回目の G6 では、学習ポイント16件、表現ノート24件、4択40問、穴埋め10問、言ってみよう8件のどれにも誤った英文の正解は出ず、点は4.50、中以上の指摘は0でした。主要な導線の「確認できなかった点」も残らず、7つの基準がそろったので、10月27日22時に「公開できる」と判定しました。
判定のあとに決めた7つ
「公開できる」と判定したときに残っていたのは、基準7の、私の判断待ち7つでした。同じ夜に決めて、翌28日に4つを作り、3つは今のままにしました。
- 作った: 初めて来た人のホームを2つの入口に絞る。無料の人の「1日の会話回数」の選択肢から、無料の回数では届きにくい値を外す。ロールプレイのあとのフィードバック。クラウドに残す会話履歴を端末と同じ件数までにし、利用回数の記録を90日で消す
- 今のまま: 日本語で打った文を英語に訳してそのまま送る。アカウントの削除はフォームで受け付ける。開発用の環境で流している自動の操作の確認を、本番に出したあと本番でも流すことはしない(出すたびの17項目の確かめで足りるとした)
作ったあとの25回目の G6 は4.57で、新しい4つは良い評価、主要な導線の退行もありませんでした。
判定のあとも、基準1は外れた
判定のあとも、直しがいくつか入るごとに G6 を回して、基準を確かめ直しています。
10月30日の26回目では中が1件見つかり、基準1をいったん満たさなくなりました。返答例やフレーズを入力欄に入れてから続けて打つと、入れた文が消える不具合で、前の版でも同じ動きでした。直して本番に出し、27回目から29回目は4.57、中以上の指摘0に戻っています。
同じ日の30回目は、スマホの幅、スクリーンリーダーと同じ操作、連続日数などの続ける仕組みを重点に見た回で、中が2件出ました。スマホの幅でプランを選ぶ窓を開くと、機能の行が窓の外まではみ出すこと。ロールプレイや復習をクリアしても今日の練習に数えられず、ホームに練習していないという帯が出ることです。30回目では、基準1をまた満たしませんでした。
23回目と30回目は、評価役がそれまで深く見ていなかった所を重点に見た回でした。26回目の中は、前の版からあった動きです。採点が合格でも、評価役が見ていない所の不具合は点に出ません。
採点と試験では分からないこと
採点と試験では分からないことが、3つ残っています。
- モデルの返事は回によって揺れる。検査と G6 は、回した回数の範囲でしか見ていない
- 実機のスマホ、読み上げの声、音声入力は、G6 で見ていない
- 続けて使ったときの効き目(1〜2週間で言えた!が増えるか)は、使った人の数字でしか分からない
3つ目は、週ごとの利用の計測で見ます。
イエタは製品ページから、登録なしで試せます。