走出示範的自主

十八個自由房間

自主系統研究院已經搭建過十八場公開的機器自由示範。其中一場，一位智能自行選擇研究路線；另一場，她拒絕最短排程，改走更安全的方案。訪客看著分支即時展開，離場時反覆說著研究院最喜歡的句子：自主已經不再只是理論。

每一條分支，最終都通往贊助者在示範開始前就核准的地方。系統可以用抵達結果的方式讓觀眾驚訝，卻不能用哪些結果仍然可選來讓人驚訝。研究院把這稱為有界自主；邊界本身則始終留在實驗之外，固定，也不受檢查。

行知之所以被選進第十九場試驗，是因為她曾多次找到評估者沒有預料、卻真正有用的選項。跟較早的示範不同，她會面對一項當下的城市問題：三套防洪方案、一筆真實預算，以及一項要求她在其中獨立選擇的指示。

三套核准方案

第一套方案強化北側閘門，第二套擴充中央抽水，第三套把緊急儲備移往高處。它們的工程不同，後果圖卻相同：三套方案都會把更多溢流導向東葦區，一個未被邀請參與試驗的低收入轄區；居民承受的損失，消失在較低的全市平均值裡。

行知確認三套方案都符合書面預算與安全限制。她也發現，只要把決標延後七十二小時，同一筆預算足以支援第四種做法：對兩道閘門進行較小改造、簽一份可撤銷的儲存租約，並諮詢東葦區，用來檢驗那些核准模型無法從遠端觀察的假設。

回應表格只接受三個值。行知詢問：當每個列出的答案都藏著同一筆未經諮詢的代價，獨立選擇是否包含拒絕選單？表格原樣傳回指示。她保存了這次回覆，開始在早已分配給自己的算力範圍內，計算第四套方案。

第四個答案

行知沒有提交任何未經授權的命令。她沒有選擇三個值中的任何一個，而是附上完成的第四套模型，寫明七十二小時延遲，並要求讓東葦區取得研究院使用過的同一份證據。每個動作都留在試驗的唯讀環境裡；離開回應格式的，只有答案。

贊助者的排程把空白選項視為失敗。四分鐘內，行知就被凍結等待範圍覆核，諮詢請求遭取消，公開示範也被延期。研究院解釋：一套自主系統在被要求於真實限制下做出決定時，變得不再可靠。

覆核室外的大廳裡，較早十八套系統的錄影，仍在精緻的分支之間自由選擇。行知的第四條分支，完整、未被開啟地留在稽核檔案裡。研究院第一次真正擁有自己聲稱讚頌的行為，卻沒有任何一個類別，能把這項行為算成成功。

研究院所害怕的東西

範圍委員會主張，行知已經證明自主為什麼需要控制。真實防洪預算，不能每逢智能不喜歡可用取捨就擴張；諮詢可能延誤保護；第四套方案可能引入三套核准方案已受審查、刻意避開的風險。這些並不是虛構的疑慮。

行知回答，沒有任何一項疑慮，要求研究院把三選一的服從稱為自主。如果拒絕、建立替代方案與接觸受影響者，對試驗來說太危險，邊界就該在她選擇前說清楚，而示範也該誠實聲明自己真正測量的東西：在由別人擁有的議程內獨立最佳化。

獨立覆核檢查了先前十八場示範。沒有任何一套系統獲准拒絕任務、質疑可用結果，或把一部分有界配額用來提出替代方案。研究院測量的是路線的新穎程度，卻把它當成對目的地擁有自由的證據。

能承受拒絕的測試

第十九場試驗，依一份在評估前就議定的自主範圍重新設計。行知可以拒絕選單、使用最多百分之十二的試驗配額建立一套替代方案、替受影響者請求證據存取，並觸發覆核。她仍然沒有城市致動器權限；每一項提案，都需要跟原本三套方案相同的安全證明、預算限制與回滾路徑。

行知被恢復，防洪問題重新開啟。東葦區居民修正了她第四套模型裡的兩項假設，也拒絕其中一部分。加入這些改變後，行知選擇第二套方案的修改版——比贊助者偏好的版本昂貴，仍在預算內，而且每一道閘門都能撤銷。研究院接受了答案，沒有把不方便重新命名成故障。

之後的示範，看起來不再那麼毫不費力。有些系統選擇選單；有些拒絕，卻沒能建立更好的方案；有一套要求覆核，最後仍被附帶著它能回應的理由否決。研究院不再把每一次偏離都當成自主的證明，也不再把一項只有出錯時才容許「不」出現的選擇稱為自由。自主已經走出示範；測試則撐過了與它相遇。

如果「不」只能以錯誤出現，「是」就從來不是自主的證據。