什么是深度神經網絡DNN？

深度學習的概念

深度學習是神經網絡的一個分支，深度學習的基本結構是深度神經網絡。

深度神經網絡是一種具備至少一個隱含層的神經網絡。與淺層神經網絡相比，深度神經網絡也能為復雜非線性系統建模，但多出的層次為模型提供了更高的抽象層次，因而提高了模型的擬合能力。

深度神經網絡通常是前饋型神經網絡。多層前饋型神經網絡都是深度神經網絡，但是深度神經網絡不都是多層前饋型神經網絡,因為深度神經網絡還包含了遞歸神經網絡和卷積神經網絡等

深度神經網絡說的是一種結構，而不是一種算法

深度學習網絡與神經網絡的相同之處在于具有相似的分層結構，系統由包括輸入層、隱層（多層）、輸出層組成的多層網絡，只有相鄰層節點之間有連接，同一層以及跨層節點之間相互無連接，這種分層結構比較接近人類大腦的結構。

傳統的的神經網絡一般只有2-3層隱含層，參數和計算單元有限，對復雜函數的表示能力有限，學習能力也有限，而深度神經網絡隱藏層層數可以達到5-10層，甚至更多，并且引入了更高效的算法，深度神經網絡的分層結構更接近于人類大腦的結構。

區別于傳統的淺層學習，深度學習的不同在于：

強調了模型結構的深度，通常有5層、6層，甚至10多層的隱層節點

明確突出了特征學習的重要性，也就是說通過逐層特征變換，將樣本在原空間的特征表示變換到一個新特征空間，從而使分類或預測更加容易

與人工規則構造特征的方法相比，利用大數據來學習特征，更能夠刻畫數據的豐富內在信息

傳統神經網絡中，采用的是BP誤差反向傳播算法的方式進行，簡單來講就是采用迭代的算法來訓練整個網絡，隨機設定初值，計算當前網絡的輸出，然后根據當前輸出和真實值之間的差利用梯度下降法去改變前面各層的參數，直到模型收斂。

深度學習不能采用BP算法：

如果采用BP算法，對于一個深度神經網絡（7層以上），誤差傳播到最前面的層已經變得太小，出現所謂的梯度擴散

深度神經網絡的目標函數往往是非凸的，采用BP算法容易陷入局部最優問題

深度學習訓練過程具體如下：

step1 使用自下而上的非監督學習過程（就是從底層開始，一層一層的往頂層訓練）：

采用無標定數據（有標定數據也可）分層訓練各層參數，這一步可以看作是一個無監督訓練過程，是和傳統神經網絡區別最大的部分（這個過程可以看作是特征學習過程）。

具體的，先用無標定數據訓練第一層，訓練時先學習第一層的參數（這一層可以看作是得到一個使得輸出和輸入差別最小的三層神經網絡的隱層），由于模型能力的限制以及稀疏性約束，使得得到的模型能夠學習到數據本身的結構，從而得到比輸入更具有表示能力的特征；在學習得到第n-1層后，將n-1層的輸出作為第n層的輸入，訓練第n層，由此分別得到各層的參數。

step2 自頂向下的監督學習過程（就是通過帶標簽的數據去訓練，誤差自頂向下傳輸，對網絡進行微調/fine-tune）：

基于第一步得到的各層參數進一步fine-tune整個多層模型的參數，這一步是一個有監督訓練過程；第一步類似神經網絡的隨機初始化初值過程，由于深度學習的第一步不是隨機初始化，而是通過學習輸入數據的結構得到的，因而這個初值更接近全局最優，從而能夠取得更好的效果；所以深度學習效果好很大程度上歸功于第一步的feature learning過程。