Recommendation System 推薦系統 — 衡量模型成效的指標

這篇 推薦系統—常見演算法 紀錄了推薦系統常用的兩種演算法，接著要選擇適合的指標來衡量推薦結果的成效，以下分為 3 種 — 常見的模型指標、推薦模型的指標、目標導向型指標。

1. 常見的模型指標

Fig. 常見的模型指標 — Precision, Recall, F1 Score

• Precision: 預測為 positive 的樣本中，有多少比例預測正確
• Recall: 實際為 positive 的樣本中，有多少比例是預測正確
• F1 score: precision、recall 兩者為 trade-off，F1 score 為綜合兩者平均來衡量的指標

2. 推薦模型的指標

Fig. 推薦模型的指標 — Coverage, MRR, NDCG

• Coverage:
  評估推薦商品的多元性，避免模型推薦單一的商品（推薦不夠個人化）
• Mean Reciprocal Rank:
  以最前面且且命中的推薦商品排名倒數計算，評估模型排名前面的商品的推薦能力
• Normalized Discounted Cumulative Gain:
  衡量模型推薦排序的準確性，判斷模型是否有滿足排名越前面，推薦的準確度越高，並且不同模型推薦數量不一樣，比較時所以需要正規化 Normalized。
  產品的介面設計會出現排名低，曝光率下降的問題。舉例來說，在電商網站搜尋的商品結果，出現在第二頁的商品曝光度會比第一頁大幅下降，許多人很少點擊下一頁去看到後面的搜尋結果，所以會希望模型推薦順序越前面，命中準確度越高，以應對推薦順序與曝光度之間的關係。

Fig. 指標計算範例 (Mean Reciprocal Rank, Discounted Cumulative Gain)

3. 目標導向型指標

除了根據現有的指標來衡量模型外，衡量標準更需要扣緊建立推薦模型的目的

常見的目標像是消費總金額、點擊率、觀看數、總下單次數…等等。

Fig. 目標導向的衡量指標範例

推薦系統相關文章：

Recommendation System 推薦系統-常見演算法 Content-based Filtering and Collaborative Filtering

Reference

• Evaluating a solution version with metrics
• [Day 14] 改善 Airbnb 的房源排序模型（上）- NDCG 介紹