Holiday ExtrasがCodexでアプリを「2週間」で作り直し　成果は別期間の比較

米OpenAIは11月12日、旅行の予約と管理を扱うHoliday ExtrasのCodexの導入事例を、OpenAIの事例ページとYouTubeの動画で公表した。主力のスマートフォンアプリを作り直し、2週間で動く版に届いた点は、事例ページと動画の説明文で一致する。

一方で、予約の転換率32.5%増とエラー率の19%から9%への低下は事例ページだけの数字で、作り直しの前後で別の期間を比べたものだ。2週間と比べた相手は、事例ページでは従来なら6か月超という見積もりだ。動画の説明文は2週間で作り直したと書くが、転換率とエラー率には触れていない。

転換率32.5%増、エラー率は9%に

事例ページは冒頭に3つの数字を並べる。作り直した主力アプリでは、アプリを開いてから予約に至る割合（open-to-book conversion）が32.5%増えた。エラー率は19%から9%に下がり、ページはこれを「10% reduction」と書く。動く版までの期間は「6 months → 2 weeks」と示す。

同じページの「Results at a glance」の節は、ほかに2つの変化を挙げる。主力アプリは年1回の大きなリリースから、作り直し後の最初の1か月は毎週のリリースに変わり、各回に複数の新機能を入れた。別のアプリ「Countdown」は、約半年に1つだった機能の追加が週に複数になった。

動画の説明文も、主力アプリを2週間で作り直し、顧客の声への対応を速くしたと書く。説明文は、顧客を理解する人がその人たちを助けるソフトを作れるようにすることが狙いだと書き、CEOのMatthew Pack氏、David Lee氏、Liam Thompson氏が同僚に作る自信を持たせ、旅行の体験を良くし、OpenAIで事業がどこまでできるかを見直していると紹介する。

使う人の範囲も事例ページに出てくる。事例ページによると、全社に「ChatGPT Enterprise」を入れたうえで、Codexでソフトを作る段に広げた。CEOのMatthew Pack氏は、全員にAIを試す許可を出し、使うよう後押ししているという。動画の説明文は、同僚に作る自信を持たせていると書くが、全社のChatGPT Enterpriseや許可の範囲までは書いていない。

事例ページは、作り直しの分担も書いている。Thompson氏が顧客の理解をソフトに移し、エンジニアは設計の骨組み、API、セキュリティ、開発の流れを受け持った。小さく文書化したパッケージを、再利用の土台にしたという。

比べた期間と相手が資料で違う

測り方について事例ページが書くのは1点だけだ。転換率とエラー率は、従来のアプリと作り直したアプリを別々の期間で比べた結果だと注記している。どの期間を比べたか、利用者の数がどれだけかは資料に記載がない。

エラー率の「10% reduction」は、19%から9%への差の10ポイントにあたる。ページは単位を書いていない。元の値に対する割合で言えば、エラー率はおよそ半分になった。何をエラーと数えたかも資料に記載がない。

「2週間」の比べた相手は、事例ページでは以前なら6か月超かかったはずの開発の進み具合だ。これは従来の見積もりで、事例ページは「fully working rebuild」までの期間としている。動画の説明文は2週間で作り直したと書く一方、比べた相手や試作の期間は書いていない。

リリースの頻度について、事例ページは最初の1か月を毎週のリリースとし、各回に複数の新機能を入れたと書く。事例ページにも動画の説明文にも、作り直しに関わったエンジニアの人数は記載がない。

数字はOpenAIの事例の申告

資料はどれも、OpenAIが自社の製品の顧客事例として出したものだ。第三者が測った結果ではなく、転換率とエラー率の算出の元になる記録も公開されていない。事例ページ自身が付けた留保は、比べた期間が違うという1文だ。

転換率32.5%増、エラー率、Countdownの変化は、どれも事例ページだけに出てくる。動画の説明文はこれらの数字に触れていない。経理の担当者が財務のシステムを作り直した例は事例ページに出てくるが、費用や効果の数字は示されていない。

自分の仕事で試すなら

事例と同じ比べ方を自社でするなら、作り直しの前後を同じ長さの期間で測り、その期間を記録に残す。エラー率は、差のポイントと元の値に対する割合の両方を書いておくと、「10%」のような書き方の取り違えを防げる。

開発の速さを比べる時は、動く版までと、従来の見積もりを分けて数える。業務を知る人が顧客の理解をソフトに移し、エンジニアがAPIとセキュリティと開発の流れを受け持つ分担は、事例ページにある形だ。小さく文書化したパッケージを再利用の土台にする流れも、事例ページが書く。

利用者の声を直しにつなぐ流れも、事例ページに例がある。Countdownの利用者が一覧の表示が無いと不満を書くと、エージェントが修正を用意し、Thompson氏が承認して更新を出した。エージェントに直しの案を作らせ、人が承認してから出す分担は、小さな改善から試せる。

編集部の見方

この事例で確かなのは成果の数字より、業務を知る人が顧客の理解をソフトに移し、エンジニアが設計の骨組みと開発の流れを受け持ったという分担だと編集部は見る。2週間は事例ページと動画の説明文で一致したが、比べた相手は従来の見積もりで、転換率とエラー率は別の期間の比較だ。数字を社内の稟議に引くなら、同じ期間で測り直した自社の値を使いたい。OpenAIが比べた期間と算出の元を示せば、この見方は改める。