人類糊狀的大腦似乎與計(jì)算機(jī)處理器中的固態(tài)硅芯片相去甚遠(yuǎn)，但科學(xué)家將二者進(jìn)行比較已經(jīng)有很多年的歷史。正如「人工智能之父」阿蘭 · 圖靈在 1952 年所說，「我們對大腦具有冷粥粘稠度這一事實(shí)不感興趣。」換句話說，介質(zhì)不重要，重要的是計(jì)算能力。

當(dāng)前，最強(qiáng)大的 AI 系統(tǒng)采用機(jī)器學(xué)習(xí)的一個(gè)分支——深度學(xué)習(xí)，這些 AI 系統(tǒng)的算法通過處理互連節(jié)點(diǎn)隱藏層的大量數(shù)據(jù)來學(xué)習(xí)，這被稱為深度神經(jīng)網(wǎng)絡(luò)。顧名思義，深度神經(jīng)網(wǎng)絡(luò)受到了人類大腦中真實(shí)神經(jīng)網(wǎng)絡(luò)的啟發(fā)，它們的節(jié)點(diǎn)模擬真實(shí)神經(jīng)元�；蛘咧辽俑鶕�(jù) 1950 年代神經(jīng)科學(xué)家對神經(jīng)元的了解，當(dāng)時(shí)一個(gè)被稱作「感知器」的有影響力的神經(jīng)元模型已經(jīng)誕生了。

自那時(shí)起，我們對單個(gè)神經(jīng)元的計(jì)算復(fù)雜度的理解急劇增加，也清楚了生物神經(jīng)元要比人工神經(jīng)元更加復(fù)雜。但復(fù)雜多少呢？這個(gè)問題一直沒有明確的解答。

為了找出答案，耶路撒冷希伯來大學(xué)的計(jì)算神經(jīng)科學(xué)博士生 David Beniaguev、神經(jīng)科學(xué)教授 Idan Segev 和副教授 Michael London 訓(xùn)練了一個(gè)人工深度神經(jīng)網(wǎng)絡(luò)來模擬生物神經(jīng)元的計(jì)算。他們表示，一個(gè)深度神經(jīng)網(wǎng)絡(luò)需要 5 至 8 層互連神經(jīng)元才能表征（或達(dá)到）單個(gè)生物神經(jīng)元的復(fù)雜度。

作者們也沒有預(yù)料到會(huì)呈現(xiàn)出這種復(fù)雜度。一作 Beniaguev 表示：「我原以為生物神經(jīng)元會(huì)更簡單些，3 至 4 層人工神經(jīng)元就足以捕獲細(xì)胞內(nèi)執(zhí)行的計(jì)算�！� 

從左至右依次為耶路撒冷希伯來大學(xué)博士生 David Beniaguev、神經(jīng)科學(xué)教授 Idan Segev 和副教授 Michael London。

DeepMind 決策算法設(shè)計(jì)師 Timothy Lillicrap 認(rèn)為，新的研究結(jié)果表明有必要重新思考將大腦神經(jīng)元與機(jī)器學(xué)習(xí)領(lǐng)域神經(jīng)元進(jìn)行松散比較的舊傳統(tǒng)了。

5 至 8 層人工神經(jīng)元才能達(dá)到單個(gè)生物神經(jīng)元的復(fù)雜度

人工神經(jīng)元和生物神經(jīng)元之間最基本的比較是它們?nèi)绾翁幚韨魅氲男畔�。這兩種神經(jīng)元都接收傳入信號(hào)，并根據(jù)輸入信息決定是否將信號(hào)發(fā)送給其他神經(jīng)元。雖然人工神經(jīng)元依賴簡單的計(jì)算做出決定，但數(shù)十年的研究表明，生物神經(jīng)元的這個(gè)過程要復(fù)雜得多。計(jì)算神經(jīng)科學(xué)家使用輸入 - 輸出函數(shù)來模擬生物神經(jīng)元樹突接收到的輸入與神經(jīng)元發(fā)出信號(hào)之間的關(guān)系。

研究者讓一個(gè)人工深度神經(jīng)網(wǎng)絡(luò)模仿輸入 - 輸出函數(shù)（生物神經(jīng)元樹突接收到的輸入與神經(jīng)元發(fā)出信號(hào)之間的關(guān)系），以確定其復(fù)雜性。他們首先對一種神經(jīng)元的輸入 - 輸出函數(shù)進(jìn)行了大規(guī)模模擬，這種神經(jīng)元的頂部和底部有不同的樹突分支，稱為錐體神經(jīng)元，來自大鼠的皮層。然后，他們將模擬結(jié)果輸入到一個(gè)深度神經(jīng)網(wǎng)絡(luò)中，該神經(jīng)網(wǎng)絡(luò)每層最多有 256 個(gè)人工神經(jīng)元。

接著，他們不斷的增加層數(shù)，直到在模擬神經(jīng)元的輸入和輸出之間達(dá)到毫秒級(jí)別 99% 的準(zhǔn)確率。深度神經(jīng)網(wǎng)絡(luò)成功地預(yù)測了神經(jīng)元的輸入 - 輸出函數(shù)的行為，所使用的層數(shù)至少有 5 層，但不超過 8 層。在大多數(shù)網(wǎng)絡(luò)中，這相當(dāng)于 1000 個(gè)人工神經(jīng)元對應(yīng)一個(gè)生物神經(jīng)元。

如下圖 2 所示，具有 7 個(gè)隱藏層、每層包含 128 個(gè)特征圖的時(shí)間卷積網(wǎng)絡(luò)（TCN）忠實(shí)地捕獲了一個(gè) L5PC （layer 5 pyramidal neuron）模型。

在下圖 3 中，研究者展示了沒有 N - 甲基天冬氨酸（NMDA）突觸的 L5PC 神經(jīng)元，它能夠被具有單個(gè)隱藏層（包含 128 個(gè)隱藏單元）的深度神經(jīng)網(wǎng)絡(luò)忠實(shí)地捕獲。其中 A 為 L5PC 模型示意圖、B 為類比的深度神經(jīng)網(wǎng)絡(luò)。

現(xiàn)在已經(jīng)了解了單個(gè)神經(jīng)元的計(jì)算復(fù)雜度，如下動(dòng)圖所示，左邊的椎體神經(jīng)元依賴樹突狀的分支，這些分支會(huì)受到信號(hào)的影響。在神經(jīng)元決定是否發(fā)送 spike 信號(hào)之前，信號(hào)變化會(huì)導(dǎo)致局部電壓變化，表現(xiàn)為神經(jīng)元顏色的變化（紅色表示高電壓，藍(lán)色表示低電壓）。這一 spike 出現(xiàn)了 3 次，如右側(cè)單個(gè)分支的軌跡所示，顏色代表樹突從頂部（紅色）到底部（藍(lán)色）的位置。

來自貝勒醫(yī)學(xué)院的計(jì)算神經(jīng)科學(xué)家 Andreas Tolias 表示，這種結(jié)果建立了從生物神經(jīng)元到人工神經(jīng)元的橋梁。但研究者表示，這還不是一個(gè)直接的對應(yīng)關(guān)系（生物神經(jīng)元到人工神經(jīng)元）。

Michael London 認(rèn)為「神經(jīng)網(wǎng)絡(luò)中的層數(shù)與網(wǎng)絡(luò)的復(fù)雜性之間的關(guān)系并不明顯，所以我們不能說網(wǎng)絡(luò)層數(shù)從四層增加到五層復(fù)雜度會(huì)增加多少。我們也不能說需要 1,000 個(gè)人工神經(jīng)元就意味著生物神經(jīng)元的復(fù)雜度恰好是生物神經(jīng)元的 1,000 倍。最終，即使在每一層中使用指數(shù)級(jí)的人工神經(jīng)元，最終也有可能形成只有一層的深層神經(jīng)網(wǎng)絡(luò)——但這可能需要更多的數(shù)據(jù)和時(shí)間來讓算法學(xué)習(xí)。」

研究者嘗試了很多架構(gòu)，幾乎都失敗了。他們還公開了代碼，以鼓勵(lì)其他研究人員找到更少層的解決方案。但是，找到一種能夠模仿神經(jīng)元且準(zhǔn)確率高達(dá) 99% 的深度神經(jīng)網(wǎng)絡(luò)是非常困難，研究者相信他們的結(jié)果為進(jìn)一步的研究提供了有意義的比較。

Timothy  Lillicrap 認(rèn)為，這可能提供了一種新的方法，將圖像分類網(wǎng)絡(luò)（通常需要 50 層以上）與大腦聯(lián)系起來。如果每個(gè)生物神經(jīng)元都像一個(gè)五層人工神經(jīng)網(wǎng)絡(luò)，那么一個(gè) 50 層的圖像分類網(wǎng)絡(luò)可能相當(dāng)于一個(gè)生物網(wǎng)絡(luò)中的 10 個(gè)真實(shí)神經(jīng)元。

此外，該研究還希望他們的結(jié)果將改變 SOTA 人工智能深度網(wǎng)絡(luò)架構(gòu)。「我們呼吁替換深度網(wǎng)絡(luò)技術(shù)，使其工作方式更接近大腦，這一實(shí)現(xiàn)過程是將深度網(wǎng)絡(luò)中的每個(gè)簡單單元替換為代表神經(jīng)元單元，而這種神經(jīng)元單元本身就是有深度的，」Segev 表示。在這種替代方案中，AI 研究人員和工程師可以插入一個(gè)五層深度網(wǎng)絡(luò)作為「迷你網(wǎng)絡(luò)」，用來取代每一個(gè)人工神經(jīng)元。

各路專家學(xué)者如何看

但有些人懷疑這是否真的有利于 AI�！肝艺J(rèn)為這是一個(gè)懸而未決的問題，這種做法是否存在實(shí)際的計(jì)算優(yōu)勢，」來自冷泉港實(shí)驗(yàn)室的神經(jīng)科學(xué)家 Anthony Zador 表示道。這項(xiàng)工作為測試奠定了基礎(chǔ)。

除了 AI 應(yīng)用之外，該研究還加深了人們對樹突狀樹和單個(gè)神經(jīng)元強(qiáng)大計(jì)算能力的共識(shí)。早在 2003 年，三名神經(jīng)科學(xué)家展示了錐體神經(jīng)元的樹突樹可以進(jìn)行復(fù)雜的計(jì)算，通過將其建模為兩層人工神經(jīng)網(wǎng)絡(luò)。在這項(xiàng)新研究中，研究者探索了金字塔神經(jīng)元的哪些特征激發(fā)了 5 到 8 層深度神經(jīng)網(wǎng)絡(luò)的復(fù)雜性。他們得出結(jié)論，這來自樹突樹，樹突表面接收化學(xué)信使的特定受體——這一發(fā)現(xiàn)與先前研究者在該領(lǐng)域的研究一致。

而一些人認(rèn)為，這一結(jié)果意味著神經(jīng)科學(xué)家應(yīng)該把單個(gè)神經(jīng)元的研究放在更重要的位置�！高@篇論文使得對樹突和單個(gè)神經(jīng)元的思考比以前更加重要」，賓夕法尼亞大學(xué)計(jì)算神經(jīng)科學(xué)家 Konrad Kording 說。另外還有一些人如 Lillicrap 和 Zador，它們認(rèn)為關(guān)注回路中的神經(jīng)元對于了解大腦如何實(shí)際利用單個(gè)神經(jīng)元的計(jì)算復(fù)雜性同樣重要。

無論如何，人工神經(jīng)網(wǎng)絡(luò)的語言可能為理解神經(jīng)元和大腦的能力提供新的洞見。倫敦大學(xué)學(xué)院的計(jì)算神經(jīng)科學(xué)家 Grace Lindsay 表示：「從層數(shù)、深度和寬度這幾方面思考讓我們對計(jì)算復(fù)雜度有了更直觀的認(rèn)識(shí)，不過這項(xiàng)研究仍然只是模型與模型之間的比較�！�

遺憾的是，目前神經(jīng)科學(xué)家無法記錄真實(shí)神經(jīng)元的完整輸入 - 輸出功能，因此生物神經(jīng)元模型無法捕獲到的信息可能更多。也就是說，真實(shí)神經(jīng)元可能更加復(fù)雜。

Michael London 對此也表示：「我們并不確定 5 至 8 層是否就是最終數(shù)字�！�