機器學習中，如何挑選適宜的損失函數(shù)

考慮任務類型

• 回歸任務：
  • 均方誤差（Mean Squared Error，MSE）：計算預測值與真實值之間差值的平方的平均值。它對誤差進行了平方操作，所以會放大較大誤差的影響，常用于線性回歸等任務中。例如預測房價，若真實房價是 500 萬，預測值為 400 萬，差值為 100 萬，MSE 會計算這個差值的平方等相關運算來衡量損失。其數(shù)學表達式為：，其中是樣本數(shù)量，是真實值，是預測值。
  • 平均絕對誤差（Mean Absolute Error，MAE）：計算預測值與真實值之間差值的絕對值的平均值。相比于 MSE，它對異常值沒那么敏感，因為沒有進行平方放大操作。比如同樣預測房價的例子，它只計算差值的絕對值來衡量損失，數(shù)學表達式為：。
  • 均方根誤差（Root Mean Squared Error，RMSE）：它是 MSE 的平方根，和 MSE 類似，但量綱與目標變量一致，使得其在實際解釋損失大小時更直觀，公式為。
• 分類任務：
  • 交叉熵損失（Cross Entropy Loss）：在多分類問題中廣泛應用，比如圖像分類識別是貓、狗還是兔子等類別。它衡量了兩個概率分布之間的差異，模型輸出的預測概率分布和真實的類別概率分布（通常是 one-hot 編碼形式，即正確類別為 1，其余為 0）之間的差異越小，交叉熵損失越小。對于二分類的情況，其表達式可以簡化為，其中是真實標簽（0 或 1），是預測為正類的概率；多分類的一般形式相對復雜些，和類別數(shù)量以及概率分布計算相關。
  • 鉸鏈損失（Hinge Loss）：常用于支持向量機（SVM）中，特別是在處理線性可分的二分類問題時表現(xiàn)良好。它鼓勵正確分類的樣本與決策邊界保持一定的間隔，表達式為，其中是樣本的真實標簽（表示正負類），是權重向量，是樣本特征向量，是偏置項。
  • 對數(shù)損失（Log Loss）：和交叉熵損失類似，常用于衡量分類模型的性能，本質上也是基于概率的一種損失衡量方式，特別在邏輯回歸等模型中常用，其計算公式為，這里是真實標簽，是預測為正類的概率。

根據(jù)數(shù)據(jù)特點選擇

• 存在異常值的數(shù)據(jù)：如果數(shù)據(jù)集中存在少量較大或較小的異常值，像在一些金融數(shù)據(jù)預測（如股票價格預測）中，MAE 相對更合適，因為 MSE 會因為對誤差的平方操作而過度受到異常值的影響，導致模型訓練可能偏向于減小異常值帶來的巨大損失，而忽略了其他正常樣本的擬合情況。
• 數(shù)據(jù)分布不均勻的情況：在分類任務中，若不同類別樣本數(shù)量差異很大（比如正類樣本占比極少，負類樣本占比極大，像在疾病檢測中健康樣本遠多于患病樣本），可以考慮使用加權的交叉熵損失，對少數(shù)類樣本的損失賦予更高權重，使得模型能更關注對這些少量但重要的樣本的學習，避免總是傾向于預測多數(shù)類而忽略少數(shù)類。

考慮模型特性

• 基于概率輸出的模型：像邏輯回歸、神經(jīng)網(wǎng)絡用于分類時，交叉熵損失就很契合，因為這些模型最后輸出的是類別的概率，而交叉熵損失正是基于概率分布差異來衡量損失的，能很好地引導模型去優(yōu)化概率輸出，使其更接近真實的類別分布。
• 基于距離衡量的模型：例如 K 近鄰等簡單的基于樣本距離進行決策的模型，在回歸場景下使用 MAE 或者 MSE 這類基于預測值和真實值距離（差值）來衡量損失的函數(shù)就比較自然，能夠讓模型去調整特征空間中的距離關系來更好地做出預測。

優(yōu)化難易程度

• 某些損失函數(shù)的梯度特性好：例如 MSE 損失函數(shù)，它在求導等梯度計算方面形式比較簡單，在使用梯度下降等優(yōu)化算法訓練模型時，計算的復雜度低、效率高，能夠比較平穩(wěn)快速地更新模型參數(shù)。而像一些復雜的自定義損失函數(shù)，如果其梯度計算復雜甚至不連續(xù)，那么在模型訓練優(yōu)化時就會面臨困難，可能導致訓練難以收斂或者收斂到局部最優(yōu)的情況。

模型評估指標關聯(lián)

• 選擇的損失函數(shù)最好和最終用于評估模型好壞的指標有一定關聯(lián)性，比如在回歸任務中，如果最終關注模型預測的平均絕對誤差情況，那在訓練時選擇 MAE 作為損失函數(shù)，就能在訓練過程中直接朝著優(yōu)化這個評估指標的方向去調整模型，更有利于達到期望的模型性能。