AIに丸投げ事故はなぜ起きるのか？

こんにちは。and,aの中田です。ウェブ解析の仕事を30年近く続けてきました。

先日、こんな話を聞きました。

AIで作った月次レポートを、 数字はきれいに整理されているし、分析の内容、来月の改善施策もOK。 チェックして問題なし。クライアントに提出したとのこと。

ーー3日後、「今月のCVRの計算方法、前月のCVRの計算方法と少し違っていませんか」と指摘された。 間違いに気づいたのは、クライアントでした。 血の気が引きますね。

とはいえ、特別な話ではありません。 AIを導入した現場で、よく起こる典型的な事故です。

「AIに分析を丸投げすれば、月次レポートはもう自分で作らなくていい」 最近、あちこちでこう言われます。

本当でしょうか？

半分は肯定できます。 とはいえ、どこで事故が起こるのかを把握しておかないと、大惨事につながります。

たとえば、自動車の運転を例にすると、 「このあたりの道はスピードを上げた対向車が来そうだな。速度を少し落として、先を見えるようにしておこう」と人間なら考えます。 事故になりそうな予感を持って運転をします。

でも、AIには予感はない。 決められた手順で、順番通りに処理をする。この道は危ない/安全という、経験則が働きません。 （ちょっと別の話ですが、文脈が増えるとAIが「誤読」しやすくなることも！）

AI任せでの事故は、人間なら遭いにくい事故に遭遇する危険性があります。 ですが、AIを他の人が使っているのに自分が使わなかったら、確実に遅れをとってしまう…。

手間を減らしながら、ちゃんと評価される成果を出す。

AIに待ったをかけるのではなく、AIを使うなら、押さえておきたいコツをお届けします。

なぜ、丸投げすると事故になるのか

GA4（Googleのアクセス解析ツール）の画面を、そのままスクリーンショットで撮る。それをAIに「これを分析して」と渡す。

一番よく見る、失敗の始まり。

AIは画像から数字を読み取りますが、グラフの線と数値を取り違えたり、桁を読み間違えたりすることが普通に起こります。 見た目だけは自信満々で、間違った数字のまま分析結果を返してきます。

厄介なのは、それらしく見えること。文章は整っていて、もっともらしい。 だから間違いに気づかないまま、そのままクライアントや上司に出してしまう人がいます。

AIは、自分が間違えていることを教えてくれません。気づくのは、たいてい提出したあとです。 冒頭の場面は、決して大げさな例ではありません。

「下ごしらえ」で、精度が激変

私自身、この1年ほどでたどり着いた結論があります。

分析の精度を決めるのは、AIの性能より、渡し方。

具体的には、こういう「下ごしらえ」をしてから渡すようにしています。

• スクリーンショットではなく、CSVでエクスポートする
• 分析に使わない列は、先に削除する
• 列名（ヘッダー）を、できれば英語に統一する

たったこれだけです。ただ、やるかやらないかで、AIが数字を読み違える確率は大きく変わります。

理由は単純です。画像から数字を推測する作業と、整った表を読む作業とでは、AIにとっての難易度がまったく違うからです。 人間なら「見ればわかる」ことでも、AIは推測の余地が大きいほど間違えます。

「丸投げで楽をする」ために本当に要るのは、渡す前のひと手間。 ここを飛ばすと、手間が減るどころか、間違ったレポートの尻拭いをする羽目になります。

ここまでやれば、分析そのものの精度は上がります。

ただ、月次レポートの仕事は、分析だけで終わりません。 今月どこを見るかという切り口を考え、分析結果を提案書の形に組み上げ、前月までと品質を揃える。 ここは下ごしらえとは別の工程です。

楽をすると評価が上がる

「AIに丸投げすれば楽できる」という言説は、半分は正しい。 定型的な作業から、人の手を離すことはできます。

ただ、渡し方ひとつで、精度もかかる手間も、大きく変わります。 ここを飛ばさない人と、そうでない人。 最初はちいさな差であっても、数ヶ月後は……ご想像におまかせします。

一度ひな型をつくってしまえば、毎月ゼロから思い出す必要はありません。 担当が変わっても、一から教え直さなくて済みます。

私たちは、この「渡し方」から「レポート出力」まで、工程ごと型にして仕組み化するお手伝いをしています。

毎月似たような集計・分析を繰り返している方、お気軽にご相談ください。

注）切り口が毎月変わる案件は、まず現状整理のご相談からになります。