美國國家安全域性與區分好壞想法的問題

著名技術史學家喬治·戴森在Edge網站上發表了一篇發人深省的文章,他不僅從法律或道德層面,而且從基本技術層面批評了政府監控。

加入我們的科學愛好者社群!

本文發表於《大眾科學》的前部落格網路,反映作者的觀點,不一定反映《大眾科學》的觀點


著名技術史學家喬治·戴森在Edge網站上發表了一篇發人深省的文章,他不僅從法律或道德層面,而且從基本技術層面批評了政府監控。戴森的擔憂很簡單;當您試圖從大量的想法中識別出危險想法的萌芽時,您很可能在網羅壞想法的同時也網羅了具有創造性的好想法。這可能會導致充斥著誤報的情況,您會經常標記——如果您的程式一切順利,還會試圖壓制——好想法。這個問題部分出現的原因是,您不需要,實際上也不能,以百分之百的準確率將每個想法標記為“危險”或“安全”;您所需要的只是大致瞭解。

“訊號情報和分析的最終目標不僅是瞭解正在說的事情和正在做的事情,還要了解正在思考的事情。隨著搜尋引擎的普及,它們直接追蹤個人頭腦與表徵並日益構成他們思想的文字、影像和想法之間的聯絡,這一目標似乎最終觸手可及。“但是,機器怎麼知道我在想什麼?”您問道。它不需要知道您在想什麼——就像一個人永遠無法真正知道另一個人在想什麼一樣。對您在想什麼進行合理的猜測就足夠了。”

當您試圖大致瞭解,特別是關於某人複雜的思考過程時,顯然有更高的機率犯錯並未能透過區分測試。


關於支援科學新聞

如果您喜歡這篇文章,請考慮透過以下方式支援我們屢獲殊榮的新聞報道 訂閱。透過購買訂閱,您正在幫助確保有關當今塑造我們世界的發現和想法的具有影響力的故事的未來。


雖然每個資料分析師都會遇到將麥子從穀殼中分離出來的問題,但戴森的反對意見的有趣之處在於,它呼籲在實現這種區分方面存在一個非常根本的侷限性,即使動用世界上每一臺超級計算機的服務也無法克服。當艾倫·圖靈證明即使是一個無限強大的演算法也無法確定任意程式碼串是否代表可證明的陳述(由大衛·希爾伯特提出的所謂“判定問題”)時,他啟動了現代計算機科學領域。圖靈為世界提供了庫爾特·哥德爾不完備定理和海森堡不確定性原理的資料對應物;有些程式碼的真假只能透過實際執行而不是透過任何預先存在的測試來判斷。同樣,戴森認為,真正區分好想法和壞想法的唯一方法是讓它們在現實中發揮作用。現在沒有人真正主張應該允許每一個潛在的壞想法都發揮作用,但這一論點確實強調了試圖預先篩選好壞想法的根本問題。正如他所說

“由哥廷根的大衛·希爾伯特提出的判定問題,涉及抽象的數學問題,即是否可以存在任何系統的機械程式,在有限的步驟內確定任何給定的符號串是否代表可證明的陳述。

答案是否定的。用現代計算術語(這恰好是圖靈以意想不到的天才之筆構建他的論點的方式)來說,無論您擁有多少數字馬力,除了讓程式碼執行並找出結果之外,沒有系統的方法可以預先確定每個給定程式碼串將要執行的操作。對於任何複雜到足以包含簡單算術的系統,任何允許新事物的防火牆都永遠無法阻止一切危險的東西……

這裡有一個問題——而且它又一次是判定問題。永遠不可能在不嘗試的情況下,系統地將真正危險的想法與看起來可疑的好想法區分開來。任何被授予(或假設)絕對權力以保護自己免受危險想法侵害的正式系統,必然也會對原創和創造性的想法進行防禦。而且,對於人類個體和人類社會整體而言,那將是我們的損失。這就是安全國家理想的致命缺陷。

從某種意義上說,這個問題並不新鮮,因為幾個世紀以來,政府和私營公司都在試圖分離和壓制他們認為危險的想法;這是一個可以追溯到中世紀焚書的傳統。但與您可以實際閱讀和評估的書不同,基於片段、間接聯絡、谷歌連結和元資料對想法的評估充其量是站不住腳的,而且極不可能準確地成功。這就是那些試圖根據谷歌搜尋和臉書個人資料來確定想法和行動的機構所面臨的根本障礙,而且很可能無論投入多少複雜的計算能力和資料,都無法使他們解決這個普遍問題。

最終,無論是政府機構、公司還是個人,都容易陷入作家葉夫根尼·莫羅佐夫所稱的“技術解決方案主義”——即認為關鍵的人類問題將屈服於最新的技術進步的信念——這種誘惑是勢不可擋的。但是,當您處理人們的生活時,您需要比處理家庭垃圾處理時更加警惕技術解決方案主義。不僅有法律和道德上的必要性,而且還有純粹科學上的必要性來尊重資料,並消除您認為只要投入更多的人力、計算能力和資源就可以完全理解資料的想法。

在文章的結尾,戴森講述了他與赫伯特·約克的一次對話,赫伯特·約克是一位強大的國防機構人物,他設計了核武器,為總統提供建議,並監督了數十億美元的國防和科學資金。約克告誡我們,不僅要警惕艾森豪威爾著名的軍工聯合體,還要警惕在過去五十年中與國防機構結盟的科技聯合體。隨著大量資料的出現,這種聯盟正在將自己磨練成一個可以對我們的生活產生比以往任何時候都更大的影響的實體。與此同時,我們從未如此需要科學和技術工具來幫助我們理解被資料淹沒的海洋。正如約克所說,這正是我們需要警惕它的原因。

“約克比我見過的任何人都更瞭解艾森豪威爾所說的軍工聯合體的運作方式。“艾森豪威爾的告別演說非常有名,”他在午餐時向我解釋說。“每個人都記得它的一半,那就是警惕軍工聯合體的一半。但他們只記得四分之一。他實際上說的是我們需要一個軍工聯合體,但正是因為我們需要它,所以要警惕它。現在我已經告訴你一半了。另一半:我們需要一個科技精英。但正是因為我們需要一個科技精英,所以要警惕它。這就是全部,所有四個部分:軍工聯合體;科技精英;我們需要它,但要警惕;我們需要它,但要警惕。這是一個四位的矩陣。”

Ashutosh Jogalekar is a chemist interested in the history, philosophy and sociology of science. He is fascinated by the logic of scientific discovery and by the interaction of science with public sentiments and policy. He blogs at The Curious Wavefunction and can be reached at curiouswavefunction@gmail.com.

More by Ashutosh Jogalekar
© .