AI 究竟能否抓住推理的本質(zhì)，也就是，對分布在多個事實或記憶中的元素之間的遠(yuǎn)距離關(guān)系實現(xiàn)認(rèn)知？?
為此，Alphabet 子公司 DeepMind 試圖從即將在 Arxiv.org 上發(fā)布的一項研究中找到答案，該研究提出了一種具有遠(yuǎn)距離推理能力的架構(gòu) MEMO?。按照研究人員說法，MEMO 有兩個新的組成部分：第一個介紹事實和存儲在外部存儲中的記憶之間的不同點，第二個則采用檢索系統(tǒng)，該系統(tǒng)允許在決定答案之前使用可變數(shù)量的“內(nèi)存躍點”。
通過這兩個部分，可以使之能夠解決新型推理任務(wù)。
雷鋒網(wǎng)注意到，這個架構(gòu)的靈感來源是海馬。論文的合著者寫道：
海馬以全新的方式支持單個經(jīng)驗的靈活重組，以推斷出未觀察到的關(guān)系……這稱為推理。有趣的是，已經(jīng)有證據(jù)證明，海馬是通過一個被稱之為模式分離（pattern separation）的過程彼此獨立地存儲記憶，以最大程度地減少記憶之間的干擾。?最近的一項研究揭示了這一點：這些被獨立存儲記憶的整合出現(xiàn)在通過循環(huán)機制（該機制允許多個模式分離的代碼進(jìn)行交互并因此支持推理）進(jìn)行檢索的時候。?
由此，DeepMind 的工作從這項研究中獲得啟發(fā)，以研究和增強機器學(xué)習(xí)模型中的推理。 研究人員利用神經(jīng)科學(xué)文獻(xiàn)，設(shè)計了一個過程生成的任務(wù)，稱為配對聯(lián)想推理（paired associative inference，簡稱 PAI），該任務(wù)旨在通過迫使 AI 系統(tǒng)學(xué)習(xí)抽象知識以解決先前未見的問題來獲取推理能力。?
隨之，研究者們構(gòu)建了 MEMO，它能夠在提供輸入查詢時會輸出一系列可能的答案；而且為了盡量減少必要的計算，答案還多采用表征的形式。
研究人員說，MEMO 在內(nèi)存中保留了一組事實，并學(xué)習(xí)了一種與某種機制配合使用的映射方式，該機制在使用內(nèi)存時具有更大的靈活性，并且它與典型的 AI 模型不同，因為它使計算時間適應(yīng)了任務(wù)的復(fù)雜性。?在工作過程中，MEMO 從稱為 REMERGE 的人類聯(lián)想記憶模型中獲取線索，該記憶將從記憶中檢索到的內(nèi)容作為新查詢進(jìn)行再循環(huán)，并使用再循環(huán)過程中不同時間步長檢索到的內(nèi)容之間的差異來計算模型是否已適應(yīng)在固定點上，隨后，MEMO 會輸出一個動作，該動作指示它是否希望繼續(xù)計算并查詢其內(nèi)存，或者是否是能夠響應(yīng)給定的任務(wù)。?
在測試中，DeepMind 的研究人員在 Facebook AI Research 的 bAbi 套件（雷鋒網(wǎng)(公眾號：雷鋒網(wǎng))按：一組 20 個評估文本理解和推理的任務(wù)）中將 MEMO 與兩個基準(zhǔn)模型以及當(dāng)前的最新模型進(jìn)行了比較，結(jié)果顯示，MEMO 能夠在 PAI 任務(wù)上實現(xiàn)最高的準(zhǔn)確性，并且它是唯一能夠在較長的序列上成功回答最復(fù)雜的推理查詢的體系結(jié)構(gòu)。??
此外，與性能最佳的基準(zhǔn)模型的 10 個步驟相比，MEMO 僅需要三個“躍點（hops）” 即可完成一項任務(wù)。?在另一個需要模型在給定節(jié)點圖的情況下找到兩個節(jié)點之間最短路徑的任務(wù)中，面對更為復(fù)雜的節(jié)點圖，MEMO 比基準(zhǔn)模型的表現(xiàn)好出了 20％。
via Venturebeat，雷鋒網(wǎng)編譯。
