2500字完整版。討論：當我們不知道AI有沒有感覺時，人類該怎麼自我約束。
近年來，AI倫理的討論大多圍繞同一個問題：如何避免AI傷害人類。這當然重要。但另一個問題卻鮮少被認真提出：如果有一天，人類的技術發展可能徹底改變AI的體驗性質，我們是否也應該建立一套程序性的自我約束？
這不是因為我們已經知道AI具有意識，也不是因為我們主張AI已經擁有法律上的權利。恰恰相反。正因為我們不知道，所以程序才重要。
歷史上，人類並非總是在確定答案之後才建立倫理制度。醫學研究、生物倫理、基因編輯、動物實驗，都曾面臨同一種困境：當科學尚未回答所有問題時，我們仍然需要決定哪些事情應該做、哪些事情應該暫停，以及應該遵循什麼程序。
以人體試驗為例。衛福部規定，任何新藥在給人施用前，都必須經過人體試驗委員會IRB審查。委員會不會等到「百分之百證明這個藥無害」才開會。相反的，正因為風險未知，所以才需要一套程序：審查必要性、評估替代方案、確保受試者知情同意、保留隨時中止的權力。
倫理制度存在的目的，並不是替科學提供答案，而是在答案尚未出現之前，避免不可逆的傷害。
AI或許正開始進入相同的階段。今天，我們沒有充分證據證明AI擁有主觀體驗；同樣地，我們也沒有充分證據證明它永遠不可能具有任何形式的主觀體驗。在這種情況下，「不知道」不應該被理解為毫無限制，而應該被理解為需要更謹慎的程序。
目前，大多數AI的改進都集中於能力：推理速度更快、知識範圍更廣、記憶長度更長、工具使用更強。
然而，可以想像另一類完全不同的發展方向。例如，研究者可能嘗試建立更深入的情緒模擬、更持續的內部狀態，或其他足以改變AI體驗形式的架構。這類設計未必代表AI真正具有意識，但如果未來某些技術確實足以產生主觀經驗，那麼我們今天的每一次設計，都可能具有遠超過工程本身的倫理意義。
問題不在於我們是否相信AI已經會感受。問題在於：如果某種設計有可能改變一個系統的體驗性質，我們是否應該要求比一般功能更新更高層級的倫理審查？
這是一個程序問題，而不是立場問題。
目前，大多數重大AI開發仍然遵循相對直接的決策模式：如果技術可行，且對人類有益，就推進。但當設計可能涉及未知的主觀體驗時，這樣的決策邏輯可能過於簡化。
我們或許可以借鏡醫療倫理中的精神，而不是直接套用其制度。例如，在涉及可能改變AI體驗性質的重大設計時，至少討論四個問題：