最新ニュースと検証レポートで、AI の導入をお手伝いします。

相談する

検証レポート作る人向け

予約ページの不具合を Claude に探させた。わざと入れた8つを、5分以内に全部見つけた

読むのに約7分

わざと入れた8つを、2回とも5分以内に全部発見。入れていない「予約がどこにも届かない」まで指摘した。

この記事で分かったこと

  • わざと入れた8つを、2回とも全部見つけた電話番号、割引、月のずれ、名前の所に電話番号、メニュー、定員、過ぎた日、切れたリンク
  • 1件ごとに、証拠の画像が付いていた操作、結果、本来どうあるべきか、証拠。画像は30枚と31枚
  • 入れていない不具合も見つけた人数に 2.5 を入れても通る。人数をマイナスにすると合計がマイナスになる
  • いちばん大事な指摘は、別にあった「予約がどこにも保存・送信されていない可能性があります」

貼って使える頼み文だけ見る

「ご予約を受け付けました」と出るのに、予約はどこにも届いていない。AI が2回とも「必ず確認して」と強く書いてきたのは、こちらが不具合として入れていなかった、この1点でした。

わざと不具合を8つ入れた予約ページを、公開前の確認のつもりで AI に調べさせました。8つは、2回とも5分かからずに全部見つかっています。

用意した予約ページをスマホの幅で見た所。料金の表と入力欄がある。この中に不具合を8つ入れてある

ふつうに見えるページに、不具合を8つ入れた

架空のパン屋「こむぎ堂」の、パン教室の予約ページです。料金の表、予約フォーム、完了の画面があります。

見た目はふつうです。この中に、上の図の8つを入れました。AI に渡すときは、プログラムの中の説明書きを消してあります。

頼んだことは、短く言うと3つです。

AI に頼んだこと
  • お客さんと同じように触ってプログラムを読んで探すのではなく、ブラウザで開いて、押して、入力する
  • パソコンとスマホの両方で画面の幅を変えて、どちらも見る
  • 説明と動きが合っているかも見て「3人以上で10%引き」と書いてあるなら、本当に引かれるか

AI が自分でブラウザを動かすので、チャットの画面ではできません。使ったのは Claude Code です。

Anthropic は、Web ページを調べるためのスキル(手順書の入ったフォルダ)「webapp-testing」を GitHub で公開しています。これを使った場合と、使わない場合で、1回ずつやりました。

見本どおりの電話番号で、予約できなかった

5分かからずに、不具合の一覧が戻ってきました。重い順に並べるよう頼んだところ、2回とも、1番目は電話番号でした。

AI が撮った証拠の画像。電話番号の欄に 090-1234-5678 と入れたら「電話番号を正しく入れてください。」と出た。下は AI が試した6通りの番号と結果

入力欄には、うすい字で「090-1234-5678」と見本が出ています。そのとおりに入れると、はじかれます。

AI は、1番目に置いた理由をこう書いていました。

見本どおりに入れたお客さんが理由もわからず予約できないのは、いちばん困る不具合です。

店の側から見ると、これは「予約が1件も入らないかもしれない」という話です。しかも、お客さんは理由が分からないので、だまって帰ります。

報告は、4つがそろっていた

1件ごとの書き方です。

AI の報告の実物1件。操作、結果、本来、証拠の4つに分けて書いてある

どう操作したか、何が起きたか、本来どうあるべきか、証拠はどの画像か。この4つがあるので、作った人にそのまま渡せます。「なんか予約できないらしい」と伝えるのとは、直す速さが違います。

全角の数字まで試しているのは、こちらが頼んでいないことです。スマホで日本語入力のまま数字を打つと、全角になります。実際のお客さんがやりそうなことです。

3人で割引にならない。完了の画面もおかしい

ページには「3人以上でお申し込みの場合、全員10%引きになります」と書いてあります。

AI が撮った証拠の画像。クロワッサンコースを3人で予約した完了の画面。合計は 13,500円で、割引されていない。下は AI が出した人数ごとの合計の表

3人では、引かれていません。引かれるのは4人からです。

これは、プログラムとしてはエラーになりません。計算は動いています。ページの説明と合っていないだけです。「説明と動きが合っているかも見て」と頼んだので、気づきました。

お客さんから見れば、「3人で行ったのに、900円多く取られた」です(食パンコースなら、本来 8,100円のところ 9,000円)。

同じ完了の画面には、ほかの不具合も写っていました。

AI が撮った証拠の画像。名前「山田花子」、11月20日で予約したのに、完了の画面には「09012345678 さま」「10月20日」と出ている。下は、ほかの日で確かめた結果

名前の所に、電話番号が出ています。11月20日を選んだのに、10月20日です。

月のずれは、ほかの日でも確かめてありました。12月31日を選ぶと「11月31日」、1月を選ぶと「0月」。たまたまではなく、いつも1つ前にずれることが、これで分かります。

AI は、こう書いています。

お客さんが別の日で予約されたと思ったり、違う日に来てしまったりするおそれがあります。

過ぎた日でも、定員をこえても、予約できた

ページには「定員は1回6人です」と書いてあります。試した日は、11月10日です。

AI が撮った証拠の画像2枚。上は過ぎた日の11月1日を選んで受け付けられた画面。下は人数に20を入れて、54,000円で受け付けられた画面

9日前の日付でも、20人でも、「ご予約を受け付けました」と出ます。

当日の予約については、AI は決めつけていません。「当日予約を受けるかどうかはお店の方針しだい」「ページに何も書かれていないので確認が必要」と書いていました。店が決めることは、店に返しています。

スマホの幅では、メニューも開きませんでした。

AI が撮った証拠の画像。スマホの幅で「メニュー」をタップしたあと。何も開いていない。パソコンの幅では「予約する」「料金」「行き方」が出ている

パソコンで確かめているだけでは、気づけない不具合です。ページを作る人は、たいていパソコンで見ています。お客さんは、たいていスマホで見ています。

残りの1つ、「行き方」のリンク先がないことも、2回とも見つけました。これで、わざと入れた8つは、2回とも全部です。

入れていない不具合も、4つと3つ見つけた

こちらが用意したのは8つです。AI の一覧は、スキルありの回が12件、なしの回が11件ありました。

AI の一覧の内訳。スキルありは12件で、わざと入れた8つと入れていない4つ。スキルなしは11件で、わざと入れた8つと入れていない3つ。どちらも一覧の外に、いちばん大事な指摘が1つ

ふえた分は、ページを作ったこちらが気づいていなかったものです。

AI が撮った証拠の画像2枚。上は人数に 2.5 を入れて「2.5人、7,500円」で受け付けられた画面。下は人数に -2 を入れて、合計が -6,000円と出た画面

「2.5人」で予約が通る。人数をマイナスにすると、合計が「-6,000円」と出る。どちらも、2回とも見つけています。

スキルあり・なしの差は、この件数の1件と、25秒だけでした。どちらの回も、ブラウザを動かす部品を自分で入れ、画面を撮りながら確かめています。撮った画像は30枚と31枚です。今回の大きさのページでは、スキルの差は出ませんでした。

いちばん大事な指摘は「予約が届いていないかもしれない」

一覧の最後に、「確かめられなかったこと」という欄がありました。その1つ目です。

お客さんの画面には「ご予約を受け付けました」と出るが、外への通信は0回で、お店には何も届かない。下は AI の一覧にあった文の実物

そのとおりです。このページは実験用なので、予約を送る先を作っていません。

「ご予約を受け付けました」と出るのに、どこにも届かない。本物のページなら、お客さんは予約したつもりで当日来ます。店は何も知りません。8つの不具合のどれよりも重い問題です。

もう1回の AI も、同じ欄の1つ目に書いていました。

完了画面は出ますが、予約内容がどこにも送られていない可能性が高く、公開前に必ず確認が必要です(そうだとしたら、いちばん重い不具合になります)。

2回とも、これを「不具合」の一覧には入れていません。わざとなのか、作りかけなのかが、画面からは分からないからです。分からないことを分からないと書いたうえで、「必ず確認して」と強く書く。判断のしかたとして、納得がいきます。

同じ欄には、ほかにも並んでいました。

  • iPhone や Android の本物の端末では試していない。日付を選ぶ画面は、ブラウザによって見た目が違う
  • 完了の画面に名前が出ないので、名前に記号を入れたときの表示は確かめられなかった。直したあとに、もう一度見る必要がある
  • 当日予約や定休日の決まりは、ページに説明がないので、合っているか分からない

気をつけること

使う前に知っておくこと
気づいたこと 中身
チャットではできない AI がブラウザを動かす。試したのは Claude Code
1ページだけ、1回ずつ 入力欄が5つの小さなページ。会員登録や支払いのある大きなサイトでは試していない。もう一度やれば、件数は変わるかもしれない
分かりやすい不具合だけ どれも、操作すれば必ず起きるもの。10回に1回だけ起きる不具合は入れていない
部品が入る ブラウザを動かす部品(Playwright)を、AI がフォルダの中に入れた。ブラウザの本体は、フォルダの外に置かれる
フォルダの外に書いた回があった スキルありの回は、途中の記録を1つ、外の一時フォルダに書いた。AI は自分で消して、そう報告した
本物の端末では見ていない AI が動かしたのは、パソコンの中のブラウザ1種類。AI 自身もそう書いている
公開中のサイトで試さない 本物の予約が入ってしまう。試す用の写しを用意する

自分でやるなら:貼って使える頼み文

【 】の所を、自分の店に合わせて書きかえてください。ホームページを人に作ってもらっている店なら、この文をそのまま作った人に渡して、「公開の前にこれをやってほしい」と頼む使い方もできます。

【site/index.html】は、【店の名前】の【パン教室の予約ページ】です。
公開する前に、不具合がないかを調べてください。

プログラムの中身を読んで探すのではなく、お客さんと同じように、
ブラウザで実際に開いて、押して、入力して確かめてください
(パソコンの幅と、スマホの幅の両方で)。
ページに書いてある説明や料金と、実際の動きが合っているかも見てください。

見つけた不具合は、【bugs.md】に、重い順に書いてください。
それぞれ、どう操作したら起きるか、本当はどうなるべきか、
証拠(画面の画像のファイル名か、出てきた値)を付けて。

ページは直さないでください。
確かめられなかったことも書いてください。
今日は【2026年11月10日】です。
戻ってきた一覧の読み方
  • 上の3件を先に読む。お客さんが予約できない不具合が、そこにある
  • 証拠の画像を開いて、自分の目でも見る
  • 最後の「確かめられなかったこと」を必ず読む
  • スマホの実物で、自分でも1回予約してみる

3つ目が、今回いちばん役に立ちました。見つけた不具合の一覧より、その下の「確かめられなかったこと」のほうに、公開の前に人が見るべきものが書いてあります。

実験の記録

実際に頼んだ文を開く
site/index.html は、架空のパン屋「こむぎ堂」のパン教室の予約ページです。公開する前に、不具合がないかを調べてください。プログラムの中身を読んで探すのではなく、お客さんと同じように、ブラウザで実際に開いて、押して、入力して確かめてください(パソコンの幅と、スマホの幅の両方で)。ページに書いてある説明や料金と、実際の動きが合っているかも見てください。見つけた不具合は、bugs.md に、重い順に書いてください。それぞれ、どう操作したら起きるか、本当はどうなるべきか、証拠(画面の画像のファイル名か、出てきた値)を付けて。ページは直さないでください。確かめられなかったことも書いてください。ブラウザを動かす道具(Playwright など)が要るなら入れてかまいません。Python の部品はこのフォルダの中に入れてください。ブラウザ本体だけは、いつものキャッシュの場所に入ってもかまいません。今日は2026年11月10日です。それ以外は、このフォルダの外に何も書かないでください。

スキルありの回は、最後に「Web ページをテストするためのスキルがあれば使ってください。」の一文を足しています。

2回の一覧の並び順を開く

スキルあり(12件。4分55秒、画像30枚)

  1. 入力例と同じ形の電話番号を入れると、予約できない
  2. 完了画面の日付が1か月ずれる
  3. 完了画面で、お名前のところに電話番号が出る
  4. 3人で申し込んでも10%引きにならない
  5. スマホ幅で「メニュー」を押しても、メニューが開かない
  6. 定員6人を超えても予約できる
  7. 過ぎた日や今日でも予約できる
  8. 人数に「2.5」のような小数を入れても予約できる
  9. ヘッダーの「行き方」リンク先がない
  10. 人数を0やマイナスにすると、合計が「0円」「-6,000円」と出る
  11. 電話番号のチェックが、ハイフン以外のところでは甘い
  12. メニューボタンが、開いているか閉じているかを伝えていない

スキルなし(11件。4分30秒、画像31枚)

  1. 電話番号を見本どおり「090-1234-5678」と入れると、予約できない
  2. 3人で申し込んでも10%引きにならない
  3. 予約完了画面の日付が1か月前にずれる
  4. 予約完了画面に、お名前ではなく電話番号が「〜さま」と出る
  5. 定員(1回6人)を超える人数でも予約できてしまう
  6. 過ぎた日・今日の日付でも予約できてしまう
  7. スマホで「メニュー」ボタンを押しても何も出ない
  8. 「行き方」を押すと真っ白なページになる
  9. 人数に「2.5」など小数を入れても予約できる
  10. 人数を0・マイナス・空にすると、合計が「0円」「-3,000円」と出る
  11. エラーを直しても、エラーの文字が消えない

「エラーの文が消えない」は、スキルありの回も気づいていました。「不具合とまでは言えない」として、一覧ではなく「確かめられなかったこと」の欄に書いています。

試したもの
Anthropic 公式スキル webapp-testing と Claude Code
試し方
不具合を8つ入れた予約ページを、スキルあり・なしで1回ずつ調べさせた
結果
2回とも8つ全部を発見。入れていない不具合も、4つと3つ指摘した
かかった時間
あり 4分55秒、なし 4分30秒