一、概念

在機器學習中，很多學習算法經常會對學習的問題做一些關於目標函數的必要假設，稱為 歸納偏置 (Inductive Bias)。

歸納 (Induction) 是自然科學中常用的兩大方法之一 (歸納與演繹，Induction & Deduction)，指從一些例子中尋找共性、泛化，形成一個較通用的規則的過程。偏置 (Bias) 則是指對模型的偏好。

通俗理解：歸納偏置可以理解為，從現實生活中觀察到的現象中歸納出一定的規則 (heuristics)，然後對模型做一定的約束，從而可以起到 “模型選擇” 的作用，類似貝葉斯學習中的 “先驗”。

例如，深度神經網絡 就偏好性地認為，層次化處理信息有更好效果；卷積神經網絡 認為信息具有空間局部性 (Locality)，可用滑動卷積共享權重的方式降低參數空間；循環神經網絡 則將時序信息考慮進來，強調順序重要性；圖網絡 則認為中心節點與鄰居節點的相似性會更好引導信息流動。

事實上，將 Inductive Bias 翻譯成 歸納性偏好 可能更符合我們的理解和認知。

二、例子

• “奧卡姆剃刀” 原理：希望相同性能下，學習到的模型復雜度更低
• KNN 中假設特征空間中相鄰的樣本傾向於屬於同一類
• SVM 中假設好的分類器應該最大化類別邊界距離

CNN 的 Inductive Bias 是 局部性 (Locality) 和 空間不變性 (Spatial Invariance) / 平移等效性 (Translation Equivariance)，即空間位置上的元素 (Grid Elements) 的聯系/相關性近大遠小，以及空間 平移的不變性 (Kernel 權重共享)。

RNN 的 Inductive Bias 是 序列性 (Sequentiality) 和 時間不變性 (Time Invariance)，即序列順序上的時間步 (Timesteps) 有聯系，以及時間變換的不變性 (RNN 權重共享)。

註意力機制，也是基於從人的直覺、生活經驗歸納得到的規則。

三、意義

歸納偏置的意義或作用是使得學習器具有瞭泛化的能力。

對於上圖中的 6 個離散實心點，可由很多不同的曲線擬合之。但訓練的模型必然存在一定的 “偏好” 或者說 “傾向”，才能學習出模型自己認為正確的擬合規則。

顯然，加瞭一定正則的偏置的實線 A 比虛線 B 更為簡單而通用 (模型復雜度受到懲罰而更低，恰當擬合數據點，泛化性能更好)。