2026年9月2日（日本時間・米国では9月1日）、Anthropic から Claude Fable 5.1（および Mythos 5.1）が公開されました。当社は公開から3時間以内に顧客提供中の生成AIシステムで比較検証を行い、同日中に本番3システムを Fable 5.1 へ切り替えました。この記事では、何をどう検証し、何が変わったかを実務の記録として残します。
要点
- 検証は本番のAIエージェントをそのまま使い、モデル指定だけを差し替えて同じ入力を再実行（プロンプト・読取ルールは無変更）
- 従来モデルでは読取ルールを足しても改善しなかった項目で精度改善を確認
- 所要時間・API料金は Fable 5 と同水準（usage実測）
- 切替はモデル指定の変更のみ。図面・帳票の読取と業務システムへの自動入力を行う3システムを運用中
なぜ公開から3時間で検証できたのか
当社が提供している読取システムは、7月の実証で実用水準の精度を出していました。一方で、一部の入力では誤りが残り、実行ログを追うと、AIは正しい箇所を読み、正しい箇所を拡大した上で誤っていました。読取ルールの記述を足しても直らない領域だと判断し、最終報告書には「モデルの世代が上がったときに再検証する」と書いて、そのための検証スクリプトを本番エージェントから切り出しておきました。
そのため、新モデル公開後にやることは、モデルIDを差し替えて同じ入力を流し直すだけでした。並列で実行し、料金は API の usage から実測、予算上限に達したら自動停止するガードを入れています。
結果：ルール無変更で精度が改善
再実行した案件はいずれも誤差が縮小し、7月に「現行モデルの限界」と位置づけていた項目も、読取ルールを一切変えずに正解と一致しました。難度の高い案件では近似が残りますが、AIが自己申告する信頼度「低」が人の確認の目安として機能する点は Fable 5 と同じで、「信頼度が高い案件は自動、低い案件は人が確認」という運用の仕分けはそのまま使えます。
本番切替の方針
- 切替はモデル指定の差し替えのみ。プロンプト・読取ルール・後処理は触らない（検証と同じ条件で本番に入れる）
- 読取システムは単一モデル固定。応答モデルを検証し、指定と一致しなければ即エラーで止める。下位モデルへの自動フォールバックは行わない
- 帳票OCR・自動入力は同格の Fable 5 をフォールバックに置き、モデル障害時も業務が止まらないようにする
- 料金は据え置き。プロンプトキャッシュの読み取り単価が75%下がったため、同じ入力を繰り返す帳票処理は実質コスト減
考察：人の技能に頼っていた仕事が自動化されるタイミングは、ぐっと近づいた
今回いちばん大きいのは切替作業の速さではなく、1ヶ月前に「現行モデルの限界＝人が確認する領域」と線を引いた項目が、モデルが1世代進んだだけで自動化できる側に移ったことです。7月の時点では、この項目は経験者が図面や帳票を見て判断するしかないと考え、運用も「AIが信頼度を低く申告したら人が見る」で設計していました。その線が、ルールを一切変えずに動きました。
当社は製造業の現場で、ベテランの目や手に頼っている作業をどこまでAIに任せられるかを日々見ています。これまで「ここから先は人」と置いていた境界は、自分たちのプロンプトの工夫で動かすものだと思っていました。しかし実際には、境界を動かすのはモデルの世代交代であり、それは数ヶ月単位で来る。人の技能に頼っていた仕事がAIで自動化されるタイミングは、1年前の見立てよりも、そしてこの夏の見立てよりも、はっきり近づいています。
だからこそ、ルールの追記で粘るより、限界をログで特定して記録し、次世代モデルを公開当日に試せる体制を持っておく方が、顧客にとって価値が高い。生成AIを組み込んだシステムは「納品して終わり」ではなく、モデルの進化に本番を追従させる運用まで含めて価値になります。当社ではこの運用を、顧客ごとの提供システムに標準で組み込んでいます。
関連ページ
※ 顧客名・業務内容・検証数値の詳細は守秘のため記載していません。