「生成AIはコンサルタントの脅威 or 味方 or どちらでもない？ 」シリーズの「~大手戦略ファームによる実証実験~」・「~利用例まとめ~」に続き、今回は生成AIの得意なこととそうでもないことを踏まえ、生成AIとどう付き合っていくべきかを考えてみます。
まずは、前回の「利用例まとめ」で掲載した、「コンサルティング業務における生成AIの利用例」の図にある利用例を、「従来の汎用的な生成AIツール（ChatGPTなど）」の「得意（緑）なこと」「注意が必要（黄）」で色分けしました。
念のため強調しますが、ここで評価しているのは現時点の汎用的な生成AIツール（ChatGPTなど）で、特定の用途や業界に特化してカスタマイズされた生成AIアプリケーションは別です。
また、「不得意」ではなく「注意が必要」としたのは、使い方や事前の対応次第で有益に使えるケースもあるためです。例えば、回答を精査しながら使ったり、読み込ませるデータやプロンプト内容などを改善したり、特定のデータ処理を学習させるファインチューニングを行ったりです。
そして得意なタスクも使い方次第でかなり質が向上します。例えば、用途に応じたファインチューニングやプロンプトの改善など、これらも生成AIを活用する上で重要なポイントです。
得意なこと・そうでもないこと
大雑把なタスクの種類でまとめると以下のようになります。
- ドラフト、企画立案出しは得意
- 情報収集、整理、分析は要注意
では「コンサルティング業務における生成AIの利用例」の図にある利用例の色分けです。
要注意の理由
情報収集や要約は、代表的なユースケースとして紹介されることが多いのですが、要注意としたのは以下のような課題が起きることがあるためです。
- Google検索で簡単に見つかる情報が見逃される＝生成AIは検索ツールの代替ではない
- 参照サイトのURLがついていても、参照サイトの内容と生成AIのアウトプットが異なる（アウトプットの情報が書かれていない or 趣旨が異なる）
- 要約が不十分または少しおかしい（要約が必要以上に省略されてたり、欲しい情報が抜けてたり、情報の並びがおかしかったり、元データに含まれていない情報が入っていたりする）
- 財務情報をはじめ表に入っている値など、数値データを正しく抜き出せず処理できない（エクセルも同様で、シンプルな構造のデータでシンプルな処理を実行させる場合を除き、読み込みエラーが出がち）
- 有報のようなボリュームの大きいファイルは読み込めない
もちろん処理する情報やタスクの複雑性、プロンプトの内容にも依存するので、必ずしもこういう問題が起きるわけではありませんが、コンサル業務や自社の課題分析・戦略立案をはじめ、ビジネスレベルで使うなら生成AIに頼り切るのはリスクとなりかねません。
以前のブログ「大手戦略ファームによる実証」でご紹介した、Harvard Business Schoolとボストン・コンサルティング・グループによるレポートでも、エクセルデータとヒアリング文書を分析し課題を特定させるタスクでは（そもそも簡単なタスクではなかったようですが）、AIの回答に依存しきっていると正答率が下がったという点が指摘されていました。
要注意なことも踏まえ、生成AIとどう付き合うべきか
では生成AIとどう付き合うべきでしょうか。
付き合わないという選択肢もありますが、それはもったいないかもしれません。
- まずどんなケースでも共通して言えるのは、クライアントに出すアウトプットを1としたら、0→0.9にするのにAIを使い、0.9→1にするのは人という感覚で使うのが良いと考えます（厳密には、0.9まで持っていけるかはタスク種類によりますし、0.8→0.9にする部分だけで使うこともありえます）。
言い方を変えると、AIは部下のように使う（上司や先生みたいには使わない）、つまりアウトプットはちゃんと評価するのが重要です。 - アウトプットを評価すると同時に、対話しながら使うという点も肝心です。
例えば若手アナリストがいたら、ドラフトの過不足や不備を指摘したり、新しいインプットやヒントを与えたりしながら、アナリストのアウトプットはブラッシュアップされていきます。
AIにも同様に接してあげることで一層の価値が発揮されます。
前述の「大手戦略ファームによる実証」でも同様のことが指摘されています。 - エクセル処理や財務データの処理などに関しては、試してみてうまくいく定型タスクだけ任せる、もしくはニーズが大きくなければ生成AIは使わないという使い方もあり得ます。
- あるいは、ビジネスレベルでのさらなる活用を求める場合は、ユースケースに合わせて独自開発をするか、専用に作られたアプリケーションを使うのも手です。
以上、「生成AIはコンサルタントの脅威 or 味方 or どちらでもない？ ~生成AIの得意なこととそうでもないこと~」でした。
ご覧いただきありがとうございました。
要注意ポイントの問題が起きる背景や、それへの対処方法など、ご質問やブログで書いてほしいことのリクエストなどございましたら、お気軽にご連絡ください。
