はじめに
回帰モデルの評価はモデルの性能を正確に理解し、改善のための手がかりを得る上で極めて重要です。その中でも、MAPE（Mean Absolute Percentage Error）は一般的に使用される指標の一つです。本記事では、MAPEの基本的な概念から特徴、使いどころ、さらには注意点について掘り下げていきます。また、似た指標の一つであるSMAPE（Symmetric Mean Absolute Percentage Error）についても触れます。
MAPEとは
MAPEは予測モデルの性能を評価するための指標であり、予測値と実際の値の絶対パーセンテージ誤差の平均を表します。具体的な計算方法は、各データポイントにおける絶対パーセンテージ誤差を求め、それらを平均することで得られます。
ここで、\( n \)はデータポイントの数、\( y_i \)は実測値、\( \hat{y_i} \)はモデルによる予測値です。
数式だと分かりずらい点もあるので、下記テーブルにてイメージいただければと思います。
| 実績値 | 予測値 | 誤差率 |
| 5 | 6 | |(5-6)/5| = 0.2 |
| 6 | 7 | |(6-7)/6| = 0.16 |
| 4 | 4 | |(4-4)/4| = 0.0 |
| 5 | 8 | |(5-8)/5| = 0.6 |
| 10 | 11 | |(10-11)/10| = 0.1 |
5個の実績値/予測値がある場合、一個一個の誤差率を算出し、MAPEを最終的に算出します。MAPEは誤差率の平均です。
MAPE = (0.2 + 0.16 + 0.0 + 0.6 + 0.1) / 5 = 0.212 = 21.2%
※最後に100をかけて%に直します。
MAPEの特徴と使いどころ
特徴
- パーセンテージ誤差の平均： MAPEは予測誤差をパーセンテージで表現し、異なる尺度のデータを比較しやすくします。
- 小さな誤差に敏感： 小さな予測誤差に敏感であるため、モデルの精度向上が求められる場合に有用です。
使いどころ
- 需要予測： 商品やサービスの需要を予測する際に、実際の販売数とモデルによる予測数のパーセンテージ誤差を評価するのに適しています。
- 金融予測： 株価や為替などの金融市場において、モデルの予測と実際の値の差異をパーセンテージで評価するのに利用されます。
MAPEの注意点
ゼロ除算の可能性
MAPEは実測値がゼロの場合、MAPEの分母が0になる部分が発生し、MAPEが発散する可能性があります。この場合、別の評価指標を検討するか、データの変換が必要です。
外れ値の影響
外れ値がある場合、MAPEはそれに敏感に反応する可能性があります。外れ値の検出と処理が重要です。
非対称性
MAPEは予測誤差の対称性を考慮していません。予測値が実測値を過大または過小に予測した場合、同じようにペナルティが課せられます。
SMAPEとは
データセットに多くのゼロが含まれる場合、SMAPEはその対応力から優れた評価指標となります。MAPEが零除算の問題を抱えるのに対し、SMAPEはゼロを含むデータに対しても適切に評価できます。
まとめ
MAPEは予測モデルの評価に広く使用される指標であり、特にパーセンテージ誤差を考慮する場合に優れています。ただし、零除算や外れ値の影響に注意する必要があります。どちらの指標を使用するかは、具体的なケースやデータの特性に依存します。最適な評価指標の選択がモデルの性能評価において鍵となります。
MAPEなどの評価指標を学ぶ際におススメの書籍
評価指標入門〜データサイエンスとビジネスをつなぐ架け橋
こちらの書籍は様々な評価指標が書かれているため、MAPE含めビジネスにマッチする評価指標を学ぶ際にはおススメです。様々な評価指標を知っていることは様々な観点から精度を担保することにつながるので、この機会に学ぶことをおススメします。
コメント