在19世紀，法國臨床醫生紀堯姆-本傑明-阿芒·杜欽提出，人類普遍使用面部肌肉做出至少60種不同的表情，每種表情都反映了60種特定情緒之一。查爾斯·達爾文對這個數字持懷疑態度，他致力於探索面部表情的普遍性，以此作為人類共同進化歷史的證據。他最終寫了一本關於人類表情的書，傾向於認為至少有一些表情在所有文化中都是共通的。
自從該領域的早期嘗試以來，關於我們所做的某些面孔是否為我們所有人所共有，以及如果是，有多少是共通的，爭論一直很激烈。杜欽確定了60種，而從1970年代開始，心理學家保羅·埃克曼最著名地描述了六種（厭惡、悲傷、快樂、恐懼、憤怒、驚訝），這種構建在幾十年裡一直佔據主導地位。
一項於12月16日發表在《自然》雜誌上的新研究更進一步，並得出了另一種普遍面部表情的統計結果，這次是基於數百萬張動態影像，而不是早期研究中使用的小量靜態照片。作者使用人類對186,744個影片的評級，這些影片顯示人們在不同情況下的反應，訓練了一個神經網路，以從情緒標籤列表（例如敬畏、困惑和憤怒）中標記面部表情。透過這種訓練，神經網路評估了來自144個國家/地區的六百萬個影片，並將相似的面部表情與全球12個地區的相似社會背景持續關聯起來。例如，被標記為“勝利”的面部反應通常與體育賽事相關聯，而與地理區域無關，這表明在這種背景下存在普遍的反應。
支援科學新聞報道
如果您喜歡這篇文章，請考慮透過以下方式支援我們屢獲殊榮的新聞報道 訂閱。透過購買訂閱，您正在幫助確保未來能夠繼續刊登關於發現和塑造我們當今世界的想法的有影響力的故事。
儘管結果暗示我們在某些情況下移動面部的方式可能在不同文化中是共通的，但它們並未解決這些表情是否準確地表達了情緒的內在體驗。許多因素可能影響了結果：機器學習的侷限性，僅使用印度以英語為母語的評分員來訓練演算法，以及對發現的一些潛在誤解都引起了關注。
東北大學教授兼心理學家麗莎·費爾德曼·巴雷特說，使用影片並考慮情境對於該領域來說“絕對是向前邁進了一步”，她撰寫了一篇隨附的評論，評論該研究。“他們提出的問題直接觸及了情緒的本質，”她評論道。但是，存在這種資訊可能被用來評判他人的風險，“這將是不成熟的，因為有多種方式可以解釋這些結果。”
該研究的第一作者，加州大學伯克利分校的研究員兼谷歌的訪問研究員艾倫·考恩對此表示贊同，他說，使用機器學習研究情緒生理學才剛剛開始。“當然，現在還處於早期階段，這還很幼稚，”他說。“我們只關注機器學習是否以及如何幫助研究人員回答關於人類情感的重要問題。”
在這種情況下進行學習的機器是深度神經網路，它接受輸入（例如影片剪輯），並透過多個層對其進行解析，以預測輸入材料包含的內容。在本例中，神經網路跟蹤影片中面部的運動，並標記不同社交場合的面部表情。但首先，它必須學習應用人類評分員與特定面部配置相關的各種標籤。
為了訓練網路，考恩和他的同事需要一個由人類觀看者評分的大型影片庫。印度的一組以英語為母語的評分員完成了這項任務，對186,744個時長為一到三秒的YouTube影片剪輯進行了273,599次評分。研究團隊使用結果訓練神經網路，以將面部運動模式分類為16個與情緒相關的標籤之一，例如痛苦、懷疑或驚訝。
然後，科學家們讓另一個神經網路分析來自144個國家/地區的300萬個影片中的視覺線索，為每個影片分配一個社交背景，從婚禮到舉重到觀看煙花，最終表徵了653種情境。
然後，他們在這些300萬個影片上測試了面部表情網路，評估了在相似的社交情境中（例如看到玩具時的“喜悅”）分配特定面部表情標籤的一致性。結果顯示，全球12個地區都存在相似的關聯模式。例如，無論地區如何，神經網路都傾向於將標記為“滑稽”的面部表情與標記為“惡作劇”的情境最常關聯起來，而“痛苦”表情標籤始終與不舒服的情境（例如舉重）相關聯。
為了排除這300萬個影片中的面孔對社交情境分配的影響，研究人員讓另一個網路僅使用標籤和影片隨附描述中的詞語來分配情境。該網路處理了另外300萬個影片，並分配了1,953種社交情境。當面部表情網路將16個標籤應用於這些影片時，面部表情標籤與影片情境分配之間存在相似但稍微較弱的一致性。考恩說，這種結果是預期的，因為來自語言的情境遠不如基於影片的情境分配準確，“這開始說明當你過度依賴語言時會發生什麼。”
當他們比較各個地區的結果時，考恩和他的同事發現，在地理位置相鄰的地區，共享的相似性更高，儘管存在一些地區差異。非洲在表情-情境關聯方面與附近的近東地區最相似，而與較遠的印度不太相似。
然而，考恩說，平均而言，每個單獨的地區都與所有12個地區的平均水平相似——通常比與其任何直接鄰居都更相似。
皮茨堡大學心理學教授傑弗裡·科恩也對該論文進行了同行評審，他斷言，需要注意的是，這些面部表情並未提供情緒或意圖的解讀。“它們在情境中相關，但這與推斷任何特定表情的含義相去甚遠。面部表情和情緒之間沒有一對一的對映關係。”
考恩證實，“我們不知道某人的感受是基於他們的面部肌肉運動，我們也沒有聲稱要推斷這一點。” 例如，“在一種文化與另一種文化中的體育賽事中使用相同的面部表情可能與更積極或更消極的情緒體驗相關聯。”
巴雷特承認，機器學習是一種強大的技術，但必須謹慎使用。“您必須小心不要將人類評分員的信念編碼到這些模型中，以及信念將在何處影響訓練，”她說。“無論建模多麼花哨，它都無法保護您免受人類推理參與其中時潛入的弱點的影響。” 她指出，例如，用於訓練面部表情演算法的影片的人類評分員都來自同一文化和地區，並且被限制使用他們自己就是情緒詞彙的標籤列表，例如“憤怒”，而不是諸如“皺眉”之類的描述。
科羅拉多大學博爾德分校資訊科學助理教授凱西·菲斯勒沒有參與這項工作，她對作者用於評估種族因素影響的四類種族的應用可能產生的偏見表示擔憂。“例如，有大量文獻談到，在判斷不同種族的人的面部表情時，存在內隱偏見，”她指出。
密歇根大學資訊科學學院助理教授納扎寧·安達利比說，以錯誤的方式使用時，關於面部表情普遍性的假設可能會對邊緣化或經濟上弱勢群體造成傷害。她舉例說明了早期面部識別應用，她說，“無論一個人微笑多少，某些演算法仍然會將負面情緒與黑人面孔聯絡起來，因此存在許多個人層面的危害。”
科恩說，該技術也提供了一些潛在的好處，例如識別有自殺風險的人的面部表情線索。他補充說，這項工作中情境的相關性是朝著這個方向邁出的重要一步。“我不是說我們可以走上街頭並檢測某人是否患有抑鬱症，”科恩說，“但在臨床訪談等特定情境中，我們可以衡量抑鬱症的嚴重程度。”
未來努力使用該技術——用於預防自殺或其他用途——需要關注當演算法對人做出判斷時可能出現的各種現實世界中的陷阱。“機器學習技術很酷且非常有用，但它們不是靈丹妙藥，”巴雷特說。“這不僅僅是學院圍牆內或谷歌圍牆內的一種深奧的辯論。”