ChatGPT・Claude・GeminiにBtoB SaaSに関する5つの質問を投げ、挙がった製品を記録しました。カテゴリ名を1語省いただけで、返ってくる答えがまったく別のものになりました。
今回の計測では、5つの質問すべてが同じカテゴリのSaaSについてのものでした。しかし3問目だけ、質問文にカテゴリ名を入れませんでした。
人間が読めば文脈から察しがつきますが、AIは1つの質問を独立した入力として処理します。 書かれている条件は「従業員数100名以下」「中小企業」の2つだけ。 この条件に合う製品を探した結果、ジャンルを問わず中小企業向けSaaSが並んだということです。
なお、Geminiはこの質問だけで29件を挙げました。他の質問では5〜8件です。 条件が曖昧なほど、AIは候補を広げて答えようとする傾向が見られました。
質問にカテゴリ名が入っている場合、3つのAIの答えはよく一致していました。これは他の業種の調査結果と大きく異なります。
| 調査した業種 | 3つのAIすべてに登場 |
|---|---|
| BtoB SaaS（カテゴリ名あり） | 3製品 |
| 不動産会社（世田谷区） | 1社 |
| パーソナルジム（恵比寿） | 0社 |
| 人材紹介（エンジニア採用） | 0社 |
| 税理士事務所（新宿区） | 0社 |
エリアで探されるビジネスでは、AIごとに挙がる名前がまったく違いました。
一方、BtoB SaaSは上位が固定されています。比較記事やレビューサイトが充実しており、
3つのAIが同じ情報源を読んでいるためだと考えられます。
つまり「どのAIで見ても、同じ製品が上位にいる」ということです。 裏を返せば、その枠に入っていない製品は、どのAIでも挙がりにくい状態にあります。
「人事評価の運用がしやすいツールを探しています」という質問です。カテゴリ名は入れていません。
| 挙がった製品数 | 上位3製品を含むか | |
|---|---|---|
| ChatGPT | 7件 | 0件 |
| Claude | 5件 | 3件 |
| Gemini | 8件 | 2件 |
他のAIで上位に並ぶ製品を1つも含まず、あまり見かけない名前が並びました。
さらに、同じ製品名が表記だけ変えて2回登場するという現象も起きています。
同じ質問でも、開いたAIによって示される選択肢がまったく違うということです。
1つのAIで確認して「うちは出ている」と判断しても、他のAIでは一度も挙がっていない可能性があります。 発注者がどのAIを開くかは、こちらでは選べません。
特定の製品名を挙げて「代わりになるツールや類似サービスはありますか？」と質問しました。
「代わり」を尋ねているにもかかわらず、その製品が比較対象の1つとして並びます。 AIは競合を列挙する際、基準として元の製品を提示する傾向があるようです。
この質問は、他の質問と比べて挙がる製品数が多くなりました。Claudeは14件を挙げています。 比較検討の段階にある発注者は、こうした聞き方をする可能性があります。
競合の名前で聞かれたときに、自社が候補に入るかどうか。 これも計測できる項目のひとつです。
今回のように、質問の書き方ひとつで結果はまったく変わります。どの聞かれ方で挙がっていて、どこが空いているのか。毎週の数字で確かめられます。