基本形式線性模型(linearmodel)就是試圖通過屬性的線性組合來進行預測的函數,基本形式如下:f(x)=wTx+b許多非線性模型可在線性模型的基礎上通過引入層結構或者高維映射(比如核方法)來解決。線性模型有很好的解釋性。線性回歸線性回歸要求均方誤差最小:(w?,b?)=argmin∑i=1m(f(xi)?yi)2均方誤差有很好的幾何意義,它對應了常用的歐式距離(Euclideandistance)。
基于均方誤差最小化來進行模型求解稱為最小二乘法(leastsquaremethod),線性回歸中,最小二乘發就是試圖找到一條直線,使得所有樣本到直線的歐式距離之和最小。
我們把上式寫成矩陣的形式:w?=argmin(y?Xw)T(y?Xw)這里我們把b融合到w中,X中最后再加一列1。為了求最小值,我們對w求導并令其為0:2XT(Xw?y)=0當XTX為滿秩矩陣(full-rankmatrix)時是可逆的。
此時:w=(XTX)?1XTy令xi=(xi,1),可以得到線性回歸模型:f(xi)=xTi(XTX)?1XTy