以下文章經 The Conversation 許可轉載，這是一個報道最新研究的線上出版物。
對於某些人來說，“黑箱”一詞讓人聯想到飛機上的記錄裝置，如果發生不可思議的事情，這些裝置對於事後分析很有價值。 對於另一些人來說，它讓人聯想到小型、裝置簡陋的劇院。 但“黑箱”在人工智慧領域也是一個重要的術語。
關於支援科學新聞
如果您喜歡這篇文章，請考慮透過以下方式支援我們屢獲殊榮的新聞報道 訂閱。 透過購買訂閱，您正在幫助確保未來能夠繼續講述關於發現和塑造我們當今世界的想法的有影響力的故事。
人工智慧 黑箱 指的是內部運作對使用者不可見的人工智慧系統。 您可以向它們輸入內容並獲得輸出，但您無法檢查系統的程式碼或產生輸出的邏輯。
機器學習是人工智慧的主要子集。 它是生成式人工智慧系統（如 ChatGPT 和 DALL-E 2）的基礎。 機器學習有三個組成部分：演算法或一組演算法、訓練資料和模型。 演算法是一組程式。 在機器學習中，演算法在經過大量示例（訓練資料）訓練後學會識別模式。 一旦機器學習演算法經過訓練，結果就是一個機器學習模型。 模型是人們使用的東西。
例如，機器學習演算法可以設計為識別影像中的模式，而訓練資料可以是狗的影像。 由此產生的機器學習模型將是一個狗識別器。 您可以向其輸入影像作為輸入，並獲得作為輸出的影像中一組畫素是否以及在何處代表狗。
機器學習系統的三個組成部分中的任何一個都可能被隱藏，或者放在黑箱中。 通常情況下，演算法是公開的，這使得將其放入黑箱的效果降低。 因此，為了保護其智慧財產權，人工智慧開發人員通常將模型放入黑箱中。 軟體開發人員採取的另一種方法是模糊用於訓練模型的資料——換句話說，將訓練資料放入黑箱中。
黑箱的對立面有時被稱為 玻璃箱。 人工智慧玻璃箱是一個系統，其演算法、訓練資料和模型都可供任何人檢視。 但研究人員有時甚至將這些系統的某些方面描述為黑箱。
這是因為研究人員 並不完全理解 機器學習演算法，特別是 深度學習 演算法是如何運作的。 可解釋人工智慧 領域正在努力開發演算法，這些演算法雖然不一定是玻璃箱，但可以更容易被人類理解。
為什麼人工智慧黑箱很重要
在許多情況下，有充分的理由對黑箱機器學習演算法和模型保持警惕。 假設一個機器學習模型對您的健康狀況做出了診斷。 您希望模型是黑箱還是玻璃箱？ 開處方治療方案的醫生呢？ 也許她想知道模型是如何得出結論的。
如果一個決定您是否符合銀行商業貸款資格的機器學習模型拒絕了您，該怎麼辦？ 您不想知道為什麼嗎？ 如果您知道原因，您可以更有效地對該決定提出上訴，或者改變您的情況以增加下次獲得貸款的機會。
黑箱也對軟體系統安全具有重要意義。 多年來，計算機領域的許多人認為，將軟體儲存在黑箱中可以防止駭客檢查它，因此它是安全的。 這種假設在很大程度上被證明是錯誤的，因為駭客可以 逆向工程 軟體——即透過密切觀察一段軟體的工作方式來構建一個副本——並發現可利用的漏洞。
如果軟體在玻璃箱中，那麼軟體測試人員和善意的駭客可以檢查它並告知建立者其弱點，從而最大限度地減少網路攻擊。
本文最初發表於 The Conversation。 閱讀 原文。