如果說「知機」是單個的神經元，那麼「多層知機」就是將分散的神經元，連接了網路。
在輸層和輸出層之間，再加若干層，每層若干個神經元。
然後每一層的每個神經元，與下一層的每個神經元，都通過權重參數建立起連接……
層與層之間，完全連接。
也就是說，第i層的任意一個神經元，一定與第i+1層的任意一個神經元相連。
這就是多層知機，簡稱MLP。
但僅僅簡單組合在一起，還不算真正的「人工神經網路」，必須對「知機」的基本結構，做出一定的改進。
首先，必須加藏層，以增強模型的表達能力。
藏層可以有多層，層數越多，表達能力越強，但與此同時，也會增加模型的複雜度，導致計算量急遽增長。
其次，輸出層的神經元允許擁有多個輸出。
這樣模型就可以靈活地應用於各種分類回歸，以及其他的機學習領域，比如降維、聚類等。
此外，還要對激活函數做出擴展……
前一篇「知機」論文中，主要使用的是階躍函數sign，雖然簡單易用，但是理能力有限。
因此神經網路的激活函數，一般使用其他的非線函數。
備選的函數有很多：sigmoid函數，tanh函數，ReLU函數……
江寒逐一進行了分析。
通過使用多種能各異的激活函數，可以進一步增強神經網路的表達能力。
對於二分類問題，只需要一個輸出神經元就夠了。
使用sigmoid作為激活函數，來輸出一個0到1之間的數值，用來表示結果為1的概率。
對於多類分類問題，一般在輸出層中，安排多個神經元，每個分類一個。
然後用softmax函數來預測每個分類的概率……
描述完結構之後，就可以討論一下「多層知機」的訓練了。
首先是MLP的訓練中，經典的前向傳播演算法。
顧名思義，前向傳播就是從輸層開始，逐層計算加權和，直到算出輸出值。
每調整一次參數值，就需要重頭到尾重新計算一次。
這樣運算量是非常大的，如果沒有強大的基礎，本無法支撐這種強度的訓練。
好在現在已經是2012年，計算機能已經足夠強悍。
前向傳播無疑是符合直覺的，缺陷就是運算量很大，訓練起來效率比較差。
與「知機」的訓練相比，MLP的訓練需要引損失函數和梯度的概念。
神經網路的訓練，本質上是損失函數最小化的過程。
損失函數有許多種選擇，經典的方法有均方誤差、叉熵誤差等，各有特和利弊。
整個訓練過程是很清晰的。
先隨機初始化各層的權重和偏置，再以損失函數為指針，通過數值微分求偏導的辦法，來計算各個參數的梯度。
然後沿著梯度方向，以預設的學習率，逐步調整權重和偏置，就能求得最優化的模型……
寫完這些就足夠了，再多的容，可以安排在下一篇文章里。
不過，江寒想了想，覺得這篇論文的容，還是有點過於充實。
仔細琢磨了一下，乾脆將其一分為二。
多層知機的結構和前向傳播的概述部分，單獨篇。
神經網路訓練中，關於激活函數和損失函數討論的部分，再來一篇。
然後分開投稿，這樣不就可以多拿1個學點了？
反正學點又不看字數……
當然，這兩篇論文都必須以前一篇的知機為基礎，分別進行闡述，而不能互為前提、互相引用。
這樣就需要多點腦筋了。
江寒又花了一個多小時，才將它們全都補充完整，並滿起來。
接下來校隊、潤一番后，翻譯英文，轉換PDF……
投稿的時候，江寒仔細琢磨了一下，在三區里選了兩家方向對口的期刊，投了出去。
沒有選擇影響因子更大的二區或一區期刊。
因為二區以上的期刊，雖然影響因子更高，發表后收穫的學點也多。
但發表難度太大，萬一被打回來，再重新投遞……
時間耽擱不起。
要知道，江寒只有三個月的時間。
一系列作下來，差不多就到了10點半。
江寒掉外，去洗了個澡，然後換上睡。
忙了一下午帶一晚上，直到這時才閑了下來。
然後他就想起了夏雨菲，也不知道下午過得好不好，開不開心？
一深切的思念，從心底湧出。
拿過手機，指紋解鎖。
這才發現，有好多條未讀微信。
寫論文的時候太投，本聽不到提示音。
點進夏雨菲的聊天界面，就看到了一排文字消息。
「在哪呢？」
「終於寫完作業了，好累啊。」
「你在忙什麼？」
「看來真的很忙，都沒時間看微信了。」
「先睡了，明天還要上學……」
……
除了第一條是放學時間發來的，後面幾條都來自10點之後，差不多5分鐘一條。
「這傻姑娘，我沒回復微信，也不說撥個電話或者語音通話……」
江寒嘆了口氣，發了個表圖過去。
夏雨菲很快就回復：「忙完了嗎？」
江寒微微一笑。
這個時間還沒睡，莫非在一直等著我回復？
前一陣天天哄上床，不會已經養了習慣吧？
一天不哄，就睡不著……
「嗯，正準備休息，剛上床。」江寒回復。
夏雨菲：「那你趕休息吧，別太勞累了。」
江寒笑了笑，撥了個語音通話。
「喂？」夏雨菲秒接。
江寒聲音溫和：「想我了沒？」
「沒有。」
江寒微微一笑。
否認得這麼乾脆？
那就是想了。
孩子的話，有時候就得反著聽……
「想我你就打個電話，要不撥個語音通話，微信我有時不能及時看到。」江寒溫和地囑咐。
夏雨菲沉默了一小會兒，低聲說：「我擔心你在忙，別再耽誤了你的正事……」
江寒笑了笑：「你要是一直都這麼懂事，我可就有點捨不得欺負你了啊。」
夏雨菲臉一紅。
他所說的「欺負」，不知道到底是哪種「欺負」？
那自己以後，到底是應該始終這麼「懂事」，還是偶爾也「不懂事」一次呢？
「你在哪了？」夏雨菲不敢深想，就沒話找話。
「酒店裡。」江寒實話實說。
「嗯？」夏雨菲有點意外，「怎麼沒回寢室？」
「寢室里有點鬧，我想專心研究點東西。」江寒回答。
「哪家酒店？」夏雨菲問。
「星河。」
「條件怎麼樣？」夏雨菲又問。
「還行。」江寒回答。
「你剛才說什麼？」夏雨菲好像沒聽清楚。
「我說還行。」江寒稍微提高音量。
「什麼？」夏雨菲仍然沒有聽清。
「信號怎麼忽然變差了……」
那邊嘀咕了一聲，然後通話就突然中斷了。
江寒正打算重撥，一個視頻通話的邀請，忽然跳了出來。
視頻……
不會是學人家查崗吧？。