評価指標入門
ひとこと紹介
事業のKPIにつながるように評価指標を設計しましょう、という本。
感想
精度があがってもビジネス貢献するとは限らない、というのが、納得のいく内容でした。
まず、評価指標とは、AUCやR2のようにモデルの精度計測のために使われる指標であり、モデルで最適化している関数（最小二乗法で言う所の残差）と事業のKPIを繋ぐ架け橋となる指標を指しています。
評価指標はモデルの精度を計りますが、モデルの評価指標を適切に定められていない場合は、精度の向上が事業貢献に直結しない事があります。実際、モデルの精度改善と事業貢献は、相関が高くない事が知られているそうです。
例えば、今考えているビジネスモデルが、正例の予測を当てた時の利得よりも、負例の予測を外した際の損失が桁違いに大きいような場合は、単純にAUCだけでモデルの精度を見れば良いわけではなさそうに思えますね。
既存の評価指標だけでは適切なモデリングができない場合もあり、時には自身で評価指標を作成する事も視野に入れて、モデリングをしなければなりません。
この本では、そういった状況を事例を踏まえて紹介し、各評価指標がどういったパターンに適しているのか、さらには、評価指標の設計方法について説明されていました。
データサイエンティストは、「モデルの精度改善をさせたら後はビジネス部門任せ」ではだめで、ビジネスモデルにも精通している必要があります。モデルの精度の評価指標と事業のKPIが強い相関を持つように、予測モデルの精度改善が事業貢献に直結するように、評価指標を設計する必要があります。
データアナリスト・データサイエンティスト・データエンジニア、データ/モデリングに関わるすべての職種の人にとって、一読の価値がある書籍だと思いました。