AIに丸投げ事故はなぜ起きるのか？

こんにちは。
and,aの中田です。
ウェブ解析の仕事を30年近く続けてきました。

先日、
こんな話を聞きました。

AIで作った月次レポートを、
数字はきれいに整理されているし、
分析の内容、
来月の改善施策もOK。
チェックして問題なし。
クライアントに提出したとのこと。

ーー3日後、
「今月のCVRの計算方法、
前月のCVRの計算方法と少し違っていませんか」と指摘された。
間違いに気づいたのは、
クライアントでした。
血の気が引きますね。

とはいえ、
特別な話ではありません。
AIを導入した現場で、
よく起こる典型的な事故です。

「AIに分析を丸投げすれば、
月次レポートはもう自分で作らなくていい」
最近、
あちこちでこう言われます。

本当でしょうか？

半分は肯定できます。
とはいえ、
どこで事故が起こるのかを把握しておかないと、
大惨事につながります。

たとえば、
自動車の運転を例にすると、
「このあたりの道はスピードを上げた対向車が来そうだな。
速度を少し落として、
先を見えるようにしておこう」と人間なら考えます。
事故になりそうな予感を持って運転をします。

でも、
AIには予感はない。
決められた手順で、
順番通りに処理をする。
この道は危ない/安全という、
経験則が働きません。
（ちょっと別の話ですが、
文脈が増えるとAIが「誤読」しやすくなることも！）

AI任せでの事故は、
人間なら遭いにくい事故に遭遇する危険性があります。
ですが、
AIを他の人が使っているのに自分が使わなかったら、
確実に遅れをとってしまう…。

手間を減らしながら、
ちゃんと評価される成果を出す。

AIに待ったをかけるのではなく、
AIを使うなら、
押さえておきたいコツをお届けします。

なぜ、丸投げすると事故になるのか

GA4（Googleのアクセス解析ツール）の画面を、
そのままスクリーンショットで撮る。
それをAIに「これを分析して」と渡す。

一番よく見る、
失敗の始まり。

AIは画像から数字を読み取りますが、
グラフの線と数値を取り違えたり、
桁を読み間違えたりすることが普通に起こります。
見た目だけは自信満々で、
間違った数字のまま分析結果を返してきます。

厄介なのは、
それらしく見えること。
文章は整っていて、
もっともらしい。
だから間違いに気づかないまま、
そのままクライアントや上司に出してしまう人がいます。

AIは、
自分が間違えていることを教えてくれません。
気づくのは、
たいてい提出したあとです。
冒頭の場面は、
決して大げさな例ではありません。

「下ごしらえ」で、精度が激変

私自身、
この1年ほどでたどり着いた結論があります。

分析の精度を決めるのは、
AIの性能より、
渡し方。

具体的には、
こういう「下ごしらえ」をしてから渡すようにしています。

• スクリーンショットではなく、CSVでエクスポートする
• 分析に使わない列は、先に削除する
• 列名（ヘッダー）を、できれば英語に統一する

たったこれだけです。
ただ、
やるかやらないかで、
AIが数字を読み違える確率は大きく変わります。

理由は単純です。
画像から数字を推測する作業と、
整った表を読む作業とでは、
AIにとっての難易度がまったく違うからです。
人間なら「見ればわかる」ことでも、
AIは推測の余地が大きいほど間違えます。

「丸投げで楽をする」ために本当に要るのは、
渡す前のひと手間。
ここを飛ばすと、
手間が減るどころか、
間違ったレポートの尻拭いをする羽目になります。

ここまでやれば、
分析そのものの精度は上がります。

ただ、
月次レポートの仕事は、
分析だけで終わりません。
今月どこを見るかという切り口を考え、
分析結果を提案書の形に組み上げ、
前月までと品質を揃える。
ここは下ごしらえとは別の工程です。

楽をすると評価が上がる

「AIに丸投げすれば楽できる」という言説は、
半分は正しい。
定型的な作業から、
人の手を離すことはできます。

ただ、
渡し方ひとつで、
精度もかかる手間も、
大きく変わります。
ここを飛ばさない人と、
そうでない人。
最初はちいさな差であっても、
数ヶ月後は……ご想像におまかせします。

一度ひな型をつくってしまえば、
毎月ゼロから思い出す必要はありません。
担当が変わっても、
一から教え直さなくて済みます。

私たちは、
この「渡し方」から「レポート出力」まで、
工程ごと型にして仕組み化するお手伝いをしています。

毎月似たような集計・分析を繰り返している方、
お気軽にご相談ください。

注）切り口が毎月変わる案件は、
まず現状整理のご相談からになります。