本文發表於《大眾科學》的前部落格網路，反映了作者的觀點，不一定反映《大眾科學》的觀點
沒有哪位科學家的影響力與名氣之比能超過資訊理論的創造者克勞德·埃爾伍德·夏農。夏農於 2001 年去世，享年 84 歲。吉米·索尼和羅布·古德曼撰寫了一部精彩的新傳記《玩耍的心智：克勞德·夏農如何發明資訊時代》來紀念他。他們剛剛在《大眾科學》上發表了一篇關於夏農的妻子貝蒂的精彩專欄，稱她為“默默無聞的數學天才”。1989 年拜訪夏農夫婦後，我於 1990 年在《大眾科學》上撰寫了克勞德的簡介。以下是該簡介的編輯版本，以及我們採訪的編輯摘錄。請參閱“進一步閱讀”部分，瞭解夏農的詩歌傑作《魯比克魔方的規則》》和其他與資訊理論相關的文章的連結。——約翰·霍根
克勞德·夏農坐不住。我們當時坐在他波士頓北部家中的客廳裡，那棟房子被稱為“熵屋”，我試圖讓他回憶起他是如何提出資訊理論的。夏農當時 73 歲，帶著孩子般的笑容和雪白的頭髮，他已經厭倦了沉湎於過去。他想給我展示他的小玩意。
不顧妻子貝蒂溫和的抗議，他從椅子上跳起來，消失在另一個房間裡。當我追上他時，他自豪地向我展示了他的七臺下棋機器、汽油動力彈跳杆、百葉摺疊刀、雙座獨輪車和無數其他奇蹟。
關於支援科學新聞報道
如果您喜歡這篇文章，請考慮透過以下方式支援我們屢獲殊榮的新聞報道： 訂閱。透過購買訂閱，您正在幫助確保未來能夠繼續講述關於塑造我們當今世界的發現和想法的具有影響力的故事。
他的一些個人創作——例如可以導航迷宮的機械老鼠、玩雜耍的 W. C. 菲爾茲人體模型和用羅馬數字計算的計算機——已經佈滿灰塵且年久失修。但夏農似乎像聖誕節早晨的 10 歲兒童一樣，對他的玩具感到高興。
這就是 1948 年在貝爾實驗室撰寫了“通訊的數學理論”——數字時代的大憲章——的那個人嗎？他的作品被 AT&T 貝爾實驗室的研究執行主管羅伯特·拉基稱為“技術思想史上最偉大的作品”？
是的。資訊理論的發明者還發明瞭火箭動力飛盤和雜耍理論，他仍然因在貝爾實驗室大廳裡騎獨輪車玩雜耍而被人銘記。“我一直追求自己的興趣，不太在意經濟價值或對世界的價值，”夏農高興地說。“我花了很多時間在完全無用的事情上。”
夏農對數學抽象和機械裝置的喜愛在他密歇根州的童年時期就顯現出來了，他於 1916 年出生在那裡。他玩無線電套件和埃克托積木，並喜歡解數學難題。“我從小就對密碼學和類似的東西感興趣，”夏農說。他最喜歡的故事之一是埃德加·愛倫·坡的神秘小說《金甲蟲》，內容是關於一張神秘的加密地圖。
在密歇根大學讀本科時，夏農主修數學和電氣工程。在他的麻省理工學院碩士論文中，他展示了英國數學家喬治·布林發明的一種代數——處理諸如“如果 X 或 Y 發生但不是 Z，則產生 Q”等概念——如何表示電子電路中開關和繼電器的工作原理。
這篇論文的意義是深遠的：電路設計可以在構建之前進行數學測試，而不是透過繁瑣的試錯法。工程師現在通常藉助布林代數來設計計算機硬體和軟體、電話網路和其他複雜系統。（“我一直很喜歡‘布林’這個詞，”夏農說。）
在麻省理工學院獲得博士學位後，夏農於 1941 年進入貝爾實驗室。在二戰期間，他幫助開發了加密系統，這激發了他的通訊理論。他意識到，正如程式碼可以保護資訊免受窺探一樣，它們也可以保護資訊免受靜電和其他形式的干擾。這些程式碼還可以用於更有效地打包資訊。
“我對[資訊理論]的最初想法，”夏農說，“是如何最好地改進噪聲通道上的資訊傳輸。這是一個具體的問題，你考慮的是電報系統或電話系統。但是當你開始思考這個問題時，你就會開始在腦海中概括所有更廣泛的應用。”
他 1948 年論文的中心內容是他對資訊的定義。他避開了關於意義的問題（他的理論“不能也不打算解決”），證明了資訊是一種可衡量的商品。粗略地說，一條訊息的資訊量與其不可能性——或其讓觀察者感到驚訝的能力——成正比。
夏農還將資訊與熵聯絡起來，熵在熱力學中表示系統的隨機性，或一些物理學家所說的“混亂度”。夏農將資訊的基本單位——貝爾實驗室的一位同事將其稱為二進位制單位或“位元”——定義為表示兩種狀態之一的訊息。人們可以用少量位元編碼大量資訊，就像在古老的“二十問”遊戲中，人們可以透過巧妙的提問迅速鎖定正確的答案。
夏農表明，任何給定的通訊通道都具有可靠傳輸資訊的最大容量。實際上，他表明，儘管可以透過巧妙的編碼來接近這個最大值，但永遠無法完全達到它。這個最大值後來被稱為夏農極限。
夏農 1948 年的論文確立瞭如何計算夏農極限——但沒有說明如何接近它。夏農和其他人後來接受了這一挑戰。第一步是從訊息中消除冗餘。正如簡潔的羅密歐可以用一句簡單的“我愛你”來傳達他的資訊一樣，一個好的程式碼首先將資訊壓縮到其最有效的形式。所謂的糾錯碼只新增足夠的冗餘，以確保精簡後的訊息不會被噪聲掩蓋。
夏農的思想過於有先見之明，以至於沒有立即產生影響。直到 20 世紀 70 年代早期，高速積體電路和其他進步才使工程師能夠充分利用資訊理論。今天，夏農的見解幾乎塑造了所有以數字形式儲存、處理或傳輸資訊的技術。
像量子力學和相對論一樣，資訊理論也吸引了超出其預期受眾的讀者。物理學、語言學、心理學、經濟學、生物學，甚至音樂和藝術領域的研究人員都在尋求將資訊理論應用於他們的學科。1958 年，一份技術期刊發表了一篇題為“資訊理論、光合作用和宗教”的社論，譴責了這種趨勢。
夏農認為，將資訊理論應用於生物系統並非牽強附會。“神經系統是一個複雜的通訊系統，它以複雜的方式處理資訊，”他說。當被問及他是否認為機器可以“思考”時，他回答說：“當然。我是一臺機器，你也是一臺機器，我們都在思考，不是嗎？”
1950 年，他為《大眾科學》撰寫了一篇關於下棋機器的文章，並且他對人工智慧領域仍然很著迷。就原始資訊處理而言，計算機仍然“尚未達到人類水平”。在機器中簡單地複製人類視覺仍然是一項艱鉅的任務。但是“對我來說，在幾十年內機器將超越人類是肯定合理的。”
近年來，夏農最大的痴迷一直是雜耍。他製造了幾臺雜耍機器，並設計了一套雜耍理論：如果 B 等於球的數量，H 等於手的數量，D 等於每個球在手中停留的時間，F 等於每個球的飛行時間，E 等於每隻手空閒的時間，那麼 B/H = (D + F)/(D + E)。（不幸的是，該理論無法幫助夏農一次雜耍超過四個球。）
1956 年離開貝爾實驗室前往麻省理工學院後，夏農很少發表關於資訊理論的文章。一些前貝爾實驗室的同事認為他厭倦了他創造的領域。夏農否認了這一說法。他說，他已經對人工智慧等其他主題產生了興趣。他繼續研究資訊理論，但他認為他的大多數成果都不值得發表。“大多數偉大的數學家都在年輕時完成了他們最出色的工作，”他觀察到。
幾十年前，夏農停止參加資訊理論會議。同事們說他患有嚴重的舞臺恐懼症。但在 1985 年，他意外地出現在英國布萊頓的一次會議上，會議組織者說服他在晚宴上發言。他講了幾分鐘。然後，他擔心自己會使聽眾感到厭煩，就從口袋裡掏出三個球開始玩雜耍。觀眾歡呼雀躍，排隊索要簽名。一位工程師回憶說：“就好像牛頓出現在物理學會議上一樣。”
夏農訪談摘錄，1989 年 11 月 2 日。
霍根：當您開始研究資訊理論時，您是否有明確的目標？
夏農：我對它的最初想法是：如何在噪聲通道中最好地轉發傳輸，類似這樣的問題。這種具體的問題，當你在電報系統或電話系統中考慮它們時。但是當我開始思考這個問題時，你就會開始在腦海中概括所有更廣泛的應用。所以幾乎所有的時候，我都在考慮它們。我經常用非常簡化的通道來表達，是或否，或者類似的東西。所以我很早就有了所有這些普遍性的感覺。
霍根：我讀到約翰·馮·諾依曼建議您應該使用“熵”這個詞作為資訊的度量，因為沒有人理解熵，這樣你就可以在關於你的理論的爭論中獲勝。
夏農：這聽起來像我可能會開玩笑說的話……粗略地說，資訊量就是系統中存在的混亂程度。但是數學計算結果是正確的，可以這麼說。用熵衡量的資訊量決定了通道中要留出多少容量。
霍根：當人們試圖使用資訊理論來分析神經系統時，您感到驚訝嗎？
夏農：如果你認為神經系統是一個複雜的通訊系統，以複雜的方式處理資訊，那就不足為奇了……我寫的大部分內容都是關於從一個點到另一個點的通訊，但我也花了很多時間以複雜的方式轉換資訊的形式、組合資訊，大腦和現在的計算機都在做這些事情。所以所有這些事情都被我視為資訊理論的一種擴充套件，你談論的是努力改變資訊的形式或以某種方式與其他資訊結合，這與從一個地方獲取資訊到另一個地方形成對比。所以，是的，所有這些我都視為資訊理論的一種擴充套件。也許它不應該被稱為資訊理論。也許它應該被稱為“資訊轉換”或類似的東西。
霍根：《大眾科學》在 1972 年出版了一期關於通訊的特刊。約翰·皮爾斯[一位電氣工程師和夏農的朋友]在介紹性文章中說，您的工作可以擴充套件到包括[語言中的]意義。
夏農：意義是一個很難把握的東西……在數學、物理和科學等等領域，事物確實有意義，關於它們與外部世界的關係。但是它們通常處理的是非常可衡量的量，而我們人類之間的大部分談話都不是那麼可衡量的。這是一個非常廣泛的東西，當你聽到這些詞時，會在你的腦海中引起各種情緒。所以，我認為將它全部包含在數學形式中並不那麼容易。
霍根：有人告訴我，到 20 世紀 50 年代後期，您已經厭倦了資訊理論。
夏農：不是我厭倦了它。而是我當時在研究不同的東西……我當時在擺弄用於計算的機器。這比資訊理論本身更讓我感興趣。智慧機器的想法。
霍根：您擔心機器會接管我們的一些職能嗎？
夏農：機器或許能夠解決我們一直疑惑的許多問題，並減少我們的體力勞動問題……如果你說的是機器接管，我真的不擔心這一點。我認為只要是我們製造它們，它們就不會接管。
霍根：在貝爾實驗室，您是否曾感到任何壓力，要求您從事更實際的工作？
夏農：沒有。我一直追求自己的興趣，不太在意經濟價值或對世界的價值。我更感興趣的是一個問題是否令人興奮，而不是它會帶來什麼。……我花了很多時間在完全無用的事情上。
進一步閱讀: