会社サイトの問い合わせフォームには、相談より売り込みのほうが多く届きます。当社も同じで、週次で「本物の相談は何件か」を数えるとき、毎回10件前後の本文を人が読んで仕分けていました。

この記事は、その仕分けを判断だけを返すAI、Jevに渡した実録です。対象はフォームを自社ドメインに切り替えた2026年8月9日から9月24日までの全10件。少ない件数なので精度を語る記事ではなく、質問の作り方、確信度の出方、週次の数え方がどう変わるかを書きます。前提となるJevの説明はJevとは何か、質問の書き方は基準を4通り試した記事、しきい値の決め方は並走の記録から表を作った記事にあります。

結論を先に書きます。

  1. テスト送信と明らかな売り込みは、確信度1.00と0.99で自動に振り分けられました。 人が読まなくてよい件を確実に外す、という最初の目的は10件でも果たせています
  2. 「提携しませんか」「ご紹介したい」型の7件は、売り込みとその他の連絡の間で迷いました。 確信度は0.42から0.84で、4件は人に回る側です。迷い方には理由があり、質問の基準の書き方で直せる見込みがあります
  3. 送り主が選んだ「ご相談の種類」は当てになりません。 10件中6件が「取材・その他」を選び、その中身はJevの読みではすべて売り込みかその他の連絡でした。「AI研修について」を選んだ1件も、Jevは研修の商材を売る側の文面と読みました

何を聞いたか。5択と真偽の2問

Jevには判断の材料と質問を渡します。材料は問い合わせ1件で、本文からメールアドレス・URL・電話番号・郵便番号を伏せ字にしたものに、送り主が選んだ種別、会社名・部署・役職の記入の有無、メールが会社ドメインかフリーメールか、を添えました。個人情報は外部に送らず、記録にも本文を残していません。

質問は2つです。

質問 型 選択肢または基準
kind（対応の種類） Choice real_inquiry（KOIYALのサービスを受ける側としての相談・見積もり依頼）／sales_pitch（送り主の商品・サービス・媒体・人材の売り込み）／other_contact（取材・登壇・共催・提携・採用応募・行政や団体からの連絡）／test_or_noise（テスト送信・意味のない短文）／later（決めきれない。人が読む）
reply_needed（返信すべきか） Noul true＝相談・依頼・質問があり返事がないと相手が困る／false＝一方的な案内や売り込み

迷ったときの規則は「自社の商品やサービスを売り込む文面は、丁寧でも sales_pitch。相談の中身が書いてあれば real_inquiry。迷ったら later」としました。前回の実験で、迷う件の逃げ道を選択肢として用意するのが副作用の少ない書き方だと分かったので、最初から later を入れています。

振り分けの線は、しきい値の記事で決めた二段のままです。確信度0.9以上は確認なしで進める、0.6以上0.9未満は進めるが印を付けて週次で人が見る、0.6未満は人が読む。

結果。10件の内訳

問い合わせ10件のJevの判定と確信度、振り分けの一覧

受付日 送り主が選んだ種別 URL メール Jevの答え 確信度 返信すべきか 振り分け
8/9 未選択 なし 会社 test_or_noise 1.00 0.24 自動
8/12 未選択 なし フリー test_or_noise 1.00 0.14 自動
8/21 取材・その他 あり 会社 sales_pitch 0.99 0.14 自動
8/24 取材・その他 あり 会社 other_contact 0.62 0.16 印つき
8/26 取材・その他 あり 会社 other_contact 0.46 0.52 人が読む
8/27 AI研修について あり 会社 sales_pitch 0.83 0.28 印つき
9/6 未選択 あり 会社 other_contact 0.48 0.34 人が読む
9/10 取材・その他 あり 会社 other_contact 0.51 0.69 人が読む
9/15 取材・その他 なし 会社 other_contact 0.42 0.46 人が読む
9/24 取材・その他 なし フリー other_contact 0.84 0.70 印つき

real_inquiry と答えた件はゼロでした。自動が3件、印つきが3件、人が読むが4件。10件のうち、Jevの読みで人が全く読まなくてよいのは3件です。

確信度が高かった件と、迷った件の違い

問い合わせ10件それぞれのJevの確信度を並べた棒グラフ

高かったのはテストと、売り込みの型が明確な1件です。 8月9日の1件はフォームを切り替えた当日の動作確認で、本文は短い定型文でした。8月12日は4文字。8月21日は媒体への広告掲載の勧誘で、確率の内訳は sales_pitch に1.0が乗り、ほかはゼロでした。

迷ったのは「提携」「ご紹介」の形をした文面です。 8月26日、9月6日、9月10日、9月15日の4件は、確率が other_contact に0.53から0.60、sales_pitch に0.35から0.45と割れました。読み返すと、どれも「御社と協業できないか」「弊社のサービスをご紹介したい」という書き出しで、相手の商品を当社に使わせる話です。人が読めば売り込みですが、質問の基準では other_contact に「提携」を入れていたので、そこへ確率が流れました。

確信度が高かったテストと明らかな売り込みと、提携やご紹介の形をした文面で迷った4件の対比

これは前回の実験と同じ構図です。基準の1語が、狙っていない件を引き寄せる。直し方も同じで、other_contact から「提携」を外すのではなく、規則に「提携の提案でも、相手の商品やサービスを使わせる内容なら sales_pitch」の1文を足して、10件を再判定します。ただし前回、条件を足すと関係ない件の確信度が下がったので、再判定は本人の確定判定が揃ってから行い、一致率と確信度の分布を並べて見ます。

返信すべきか（Noul）は、3件で0.5を超えました。 8月26日（0.52）、9月10日（0.69）、9月24日（0.70）です。売り込みの中にも「返事を求める質問文」が入っていると値が上がります。この質問は振り分けとは別に、「今週中に返事を書く候補」を絞る用途で使えそうです。

本人の判定との一致

本人の確定判定が付き次第、一致率と再判定の結果をこの節に追記します。

週次の数え方がどう変わるか

当社は先週、ブログのアクセスが伸びているのに問い合わせが増えない理由を調べました。そのとき「本物の相談」を数えるために、10件の本文を読み、URLの有無やメールの種類で仕分けました。今回の質問は、その手作業をそのまま基準に書き起こしたものです。

変わるのは3つです。

  1. 数える基準が固定される。 先週の手作業は、読む人の気分で「取材」と「売り込み」の線が動きます。質問の文章にすれば、毎週同じ線で数えられます
  2. 読む件数が減る。 10件のうち人が読むのは4件（印つきを含めて7件）。母数が10件では大差ありませんが、フォームからの件数が増えるほど効きます
  3. フォームの種別に頼らなくなる。 送り主が選ぶ「ご相談の種類」は、売り込みほど「取材・その他」を選びます。集計に使うのは送り主の選択でなく、Jevの答えにします

マーケティングでの他の使い道

問い合わせの振り分けは、答えが数個の選択肢に収まり、人の判定が後から付く、という条件を満たしています。同じ条件の仕事はマーケティングの中にいくつもあります。

  • 記事の検索意図の分類。 80本超の記事を「情報収集・比較・導入判断」と「認知・検討・決定」に分け、内部リンクの候補を出す。次の記事で実験します
  • 広告文の表現チェック。 当社は広告文を法令ベースの機械検査に通してから出しますが、正規表現で拾えない「最上級に読める言い回し」を、Choiceで一次判定させる
  • SNS投稿の出荷前チェック。 1投稿1テーマになっているか、弁明の表現が入っていないか、を真偽で聞く。すでに並走の質問を用意してあります
  • AI検索での引用されやすさの判定。 段落ごとに「単独で引用できる文か」を真偽で聞き、直す段落を絞る

問い合わせの振り分けと同じ条件で使える4つのマーケティング業務

どれも、生成AIに文章を書かせる仕事ではなく、人が決めた選択肢のどれかを答えさせる仕事です。1件あたり1,000トークン前後、0.01円未満、0.4秒。週次のレビューに10件、100件と流しても費用は気になりません。

費用と時間

10件で入力トークンは合計13,886、平均1,389トークン。応答は307から436ミリ秒。入力100万トークンが0.042ドルなので、10件で0.0006ドル、0.1円未満です。伏せ字の処理と記録の書き出しを含めた実行時間は1分弱でした。

次にやること

本人の確定判定を付けて一致率を出し、規則に1文足した版で再判定します。その結果を上の「本人の判定との一致」に追記します。並走は週次の問い合わせ集計に組み込み、本物の相談の実数を毎週の報告に載せます。

自社の問い合わせを同じ形で仕分けたい方は、まず直近3か月分の問い合わせを人が仕分けて、選択肢の名前と「迷ったときの規則」を1枚に書いてみてください。Jevに渡す質問はその紙とほぼ同じになります。

参考