神經(jīng)網(wǎng)絡(luò)從根本上不同于其他信號(hào)處理系統(tǒng)。實(shí)現(xiàn)某種信號(hào)處理目標(biāo)的“正?！狈椒ㄊ菓?yīng)用算法。

在這個(gè)模型中，研究人員創(chuàng)建了一種數(shù)學(xué)方法來以某種方式分析或修改信號(hào)。有多種方法可以去除音頻中的噪聲、查找圖像中的邊緣、根據(jù)熱敏電阻的電阻計(jì)算溫度、確定 RF 波形的頻率內(nèi)容等。然后，設(shè)計(jì)人員通過將該方法轉(zhuǎn)換為可由處理器執(zhí)行并適應(yīng)給定應(yīng)用程序需求的算法，以研究人員的工作為基礎(chǔ)。

FIR 濾波器是信號(hào)處理系統(tǒng)的一個(gè)例子，我們可以用的數(shù)學(xué)方法對(duì)其進(jìn)行評(píng)估和理解。 

另一方面，經(jīng)過訓(xùn)練的神經(jīng)網(wǎng)絡(luò)是一個(gè)經(jīng)驗(yàn)系統(tǒng)。

網(wǎng)絡(luò)中發(fā)生的數(shù)學(xué)過程并不構(gòu)成旨在對(duì)手寫字符進(jìn)行分類、預(yù)測(cè)龍卷風(fēng)的形成或開發(fā)極端航空機(jī)動(dòng)控制程序的特定算法。相反，神經(jīng)網(wǎng)絡(luò)中的數(shù)學(xué)是一個(gè)框架，使網(wǎng)絡(luò)能夠根據(jù)訓(xùn)練數(shù)據(jù)創(chuàng)建定制的計(jì)算模型。

我們了解允許神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)和實(shí)現(xiàn)其所需功能的數(shù)學(xué)框架，但實(shí)際的信號(hào)處理算法特定于訓(xùn)練數(shù)據(jù)、學(xué)習(xí)率、初始權(quán)重值和其他因素。

與 FIR 濾波器不同，神經(jīng)網(wǎng)絡(luò)取決于許多不同的因素。

這就像小時(shí)候?qū)W習(xí)語言和成人學(xué)習(xí)語言之間的區(qū)別。

一個(gè)甚至從未聽過“語法”這個(gè)詞的孩子可以重復(fù)說出正確的動(dòng)詞形式，因?yàn)樗蛩拇竽X自然地識(shí)別并保留了孩子從與他們互動(dòng)的老年人那里接收到的大量語言輸入數(shù)據(jù)中包含的模式。

然而，成年人通常無法訪問所有這些輸入，并且可能不會(huì)以相同的方式吸收模式，因此我們記住并實(shí)施使我們能夠正確結(jié)合動(dòng)詞和選擇時(shí)態(tài)的語言“算法”。

驗(yàn)證的重要性

神經(jīng)網(wǎng)絡(luò)可以解決極其復(fù)雜的問題，因?yàn)楫?dāng)給定大量輸入時(shí)，它們“自然地”找到類似于兒童尋找語言模式的數(shù)學(xué)模式。但這種信號(hào)處理方法絕不是萬無一失的。

考慮說英語的孩子說“goed”而不是“went”或“holded”而不是“held”。這些被稱為過度正則化錯(cuò)誤。他們已經(jīng)選擇了過去時(shí)的 -ed 模式，但出于某種原因——可能是數(shù)據(jù)不足或認(rèn)知特質(zhì)——他們還沒有改進(jìn)他們的語言模型來解釋過去時(shí)不規(guī)則的動(dòng)詞。

當(dāng)然，沒有人會(huì)因?yàn)橐粋€(gè)四歲的孩子說“我去了公園”而責(zé)備他。但是，如果一位杰出的政治家在發(fā)表重要演講時(shí)反復(fù)說“去”、“舉行”、“發(fā)現(xiàn)”、“知道”等等，聽眾會(huì)非常不高興（或完全困惑），演講者的政治生涯可能會(huì)受到影響。戛然而止。

這些過度正則化錯(cuò)誤是一個(gè)很好的例子，說明訓(xùn)練有素的神經(jīng)網(wǎng)絡(luò)在實(shí)現(xiàn)所需信號(hào)處理功能的能力上可能存在意想不到的差距。盡管當(dāng)我們只是在進(jìn)行實(shí)驗(yàn)時(shí)，微小的差距可能看起來不重要，甚至很有趣，但政客的例子提醒我們，它們?cè)趯?shí)際應(yīng)用中可能是災(zāi)難性的。

當(dāng)網(wǎng)絡(luò)面對(duì)真實(shí)的應(yīng)用程序數(shù)據(jù)時(shí)，訓(xùn)練不足和過度訓(xùn)練都可能導(dǎo)致意外和有問題的行為。有關(guān)詳細(xì)信息，請(qǐng)參閱第 4 部分。

現(xiàn)在我們明白了為什么驗(yàn)證是神經(jīng)網(wǎng)絡(luò)開發(fā)的一個(gè)重要方面。訓(xùn)練是不夠的，因?yàn)橛?xùn)練數(shù)據(jù)集本身是有限的，因此網(wǎng)絡(luò)對(duì)該數(shù)據(jù)集的響應(yīng)也是有限的。

此外，訓(xùn)練會(huì)產(chǎn)生一個(gè)“黑匣子”計(jì)算系統(tǒng)，我們無法像典型的公式或算法那樣對(duì)其進(jìn)行分析和評(píng)估。因此，我們需要驗(yàn)證，我將其定義為盡一切合理努力確保網(wǎng)絡(luò)能夠成功處理典型的現(xiàn)實(shí)輸入數(shù)據(jù)，并且在出現(xiàn)非典型數(shù)據(jù)時(shí)不會(huì)產(chǎn)生驚人的故障。