考慮下面這段話：
小明邀請(qǐng)小華周末去爬山。小華非常興奮，因?yàn)?/span>他一直想去那座著名的山峰。出發(fā)前一天，小明不小心扭傷了腳踝。他感到非常沮喪，擔(dān)心計(jì)劃泡湯。但是小華安慰他說，等他腳好了再去也一樣，重要的是他沒事。
問題： 這段話里出現(xiàn)了 4 次 他，它們分別指代誰？（小明還是小華？）
他： “小華非常興奮，因?yàn)?/span>他一直想去那座著名的山峰。”他： “小明不小心扭傷了腳踝。他感到非常沮喪...”他： “但是小華安慰他說...”他： “等他腳好了再去也一樣...”他： “重要的是他沒事。”Transformer 的核心武器是 自注意力機(jī)制（Self-Attention）。它處理這段話時(shí)，會(huì)這樣工作：
小明、邀請(qǐng)、小華、周末、爬山、...、他、他、他、他）一起輸入。他**時(shí)，它會(huì)問自己：“在這個(gè)上下文中，哪些詞對(duì)這個(gè)他最重要？”他 之前的詞（“小華非常興奮，因?yàn)椤保?huì)獲得很高關(guān)注，尤其是最近的小華。小明離得較遠(yuǎn)且是動(dòng)作發(fā)起者（邀請(qǐng)者），關(guān)注度較低。他極大概率指代 小華。他**時(shí)：小明 是主語，是動(dòng)作（扭傷）的發(fā)出者/承受者，距離這個(gè)他非常近。小華和第一個(gè)他相對(duì)較遠(yuǎn)，且與當(dāng)前事件（扭傷腳踝）無關(guān)。他極大概率指代 小明。他（“小華安慰他”）時(shí)：小華。動(dòng)作“安慰”需要一個(gè)對(duì)象（安慰誰？）。小明扭傷了腳踝并且感到沮喪（第二個(gè)他已指向小明）。小華是安慰的發(fā)出者，所以對(duì)象他就不太可能再指小華自己（除非是自言自語）。他指代 小明（被安慰的對(duì)象）。他（“等他腳好了”）時(shí)：小明（在“安慰他”中已確認(rèn)）。他指代 小明（腳受傷的人）。他（“重要的是他沒事”）時(shí)：他），討論小明的腳傷（第四個(gè)他）。他指代 小明（被關(guān)心的對(duì)象）。他時(shí)，都能動(dòng)態(tài)地、有側(cè)重地關(guān)注整個(gè)段落中所有相關(guān)的詞，而不僅僅是相鄰的詞。它能通過注意力機(jī)制：他指回第一個(gè)句子中的小明）。Transformer 的自注意力機(jī)制能有效捕捉這種跨越文本長(zhǎng)度的聯(lián)系，不受“遺忘”問題困擾（這是 RNN 的致命弱點(diǎn)）。小明, 小華），且他反復(fù)出現(xiàn)。Transformer 能根據(jù)動(dòng)態(tài)變化的上下文焦點(diǎn)，準(zhǔn)確判斷每個(gè)他的指向。它知道在談?wù)摗笆軅睍r(shí)，焦點(diǎn)是小明；在談?wù)摗鞍参俊睍r(shí)，焦點(diǎn)還是小明（作為對(duì)象）；在最初談?wù)摗芭d趣”時(shí)，焦點(diǎn)是小華。這就是 Transformer 賦予 AI 大模型“深度理解”語言能力的核心體現(xiàn)之一。 它不再只是機(jī)械地匹配詞匯或語法規(guī)則，而是像人一樣，在閱讀時(shí)構(gòu)建一個(gè)動(dòng)態(tài)的、相互關(guān)聯(lián)的“心理模型”，從而真正理解文本的含義。指代消解只是其強(qiáng)大能力的一個(gè)縮影，這種深度理解能力支撐著聊天對(duì)話的連貫性、翻譯的準(zhǔn)確性、摘要的全面性等幾乎所有大模型的高級(jí)語言任務(wù)。
