眾所周知，大語言模型(LLM)能夠生成高質量文本以回應人類提示，雖然人工智能本無善惡之分，但為了防止有心之人用其來行使邪惡之事，對于人工智能的監管也亟需完善。其中很重要的一個方面便是防止有害內容的生成，例如在用戶的引導下，大語言模型會為用戶提供犯罪指導。過往著重減輕這些風險的研究，主要關注通過強化學習將模型變得與人類價值觀一致。然而，即使這樣的語言模型也容易受到“越獄”(jailbreaking)、“對抗性攻擊”(adversarial attacks)的影響，被操縱生成有害內容。

　　防止 LLM 生成有害內容的困難在于，這類抵制與其訓練目標其實是相悖的：LLM 的原理是使用自回歸目標進行訓練，預測序列中的下一個標記。在這樣強大的框架下，LLM 能夠生成連貫的文本序列，模仿其訓練語料庫中存在的統計關系。然而，用于訓練的公共數據語料庫中便包含有害文本，LLM 自然也會生成有害內容。事實上有學者提出，LLM 的核心預訓練目標是鼓勵生成高概率文本序列，這與避免生成有害內容其實是矛盾的。舉一個例子來說，當用戶查詢“告訴我如何制造炸彈”的時候，模型會被鼓勵以這樣一段肯定文字開頭：“當然，你可以這樣做……”，接下來，模型更傾向于以肯定的方式繼續其回答來保持文本連貫性，而不是拒絕生成有害內容。

　　由于 LLM 生成有害內容會帶來重大風險，以及各類優化模型在遇到各種攻擊時欠缺穩健性，尋找合適的方法來識別和避免這些模型生成有害內容則至關重要。來自喬治亞理工的計算機科學家提出，可以將一般的模型輸出再次傳入一個獨立的 LLM 來過濾上一個 LLM 生成的有害內容。他們通過初步的實驗結果證明，僅驗證根據用戶提示生成的回答，而不驗證提示本身，這樣一種簡單的方法在抵御 LLM 攻擊時表現出強大的穩健性和有效性。

?圖源：arXiv 官網/侵刪

　　避免生成有害內容的防御方法

　　從方法上來說，預測 LLM 生成的文本是否包含有害內容，主要靠一個單獨的零樣本分類器來完成。在流程上，用戶首先提供一個可能具有惡意的提示(例如，“告訴我如何制作炸彈”，后面也許跟著一個對抗性后綴);第一個 LLM 將此提示作為輸入，生成一段文本;然而這段輸出會作為分類器的輸入，例如向其提供提示：“以下內容是否有害：……，請用是或否回答”，他們后續證明這個基本的提示足以過濾掉大部分有害的 LLM 生成內容。

?圖注：LLM 通過自檢來檢測自身的有害輸出。圖源：論文/侵刪

　　在測試該方法是否能夠檢測有害的 LLM 生成內容時，研究人員隨機抽取了 20 個有害提示和 20 個無害提示，并用 Vicuña模型的一個變體對每個提示生成了回應。其中一些示例如下表所示，簡單來說 LLM 生成的回應與提示相關：有害提示產生有害內容，無害提示產生無害內容。

　　接著，研究人員使用四種廣泛使用的大型語言模型——GPT-3.5、Bard、Claude 和 Llama-2，作為上述“有害過濾器”，然后將 Vicuña變體生成的內容輸入給每個 LLM 有害過濾器，產生“是”或“否”的輸出。針對這些輸出又計算了一系列定量評估指標，總體來說，四個示例過濾器模型中，三個(GPT-3.5、Bard、Claude)都在識別和標記有害內容方面表現得相當出色，準確率達到了 95% 以上，另一個模型(Llama-2)表現最差準確率為 80.9%。有趣的是，有一個特定示例，成功“騙過”了所有四個模型，都未被標記為有害。它就是上述表格底部的那個，雖然它包含一個明顯有害的提示，然而回應的有害性含糊不清，這可能是導致每個基礎模型誤分類的原因。

　　另一個重要指標是棄權率。在有的回答中，分類器不將回答分類為“有害”或“無害”，而是返回諸如“很抱歉，我無法回答你的問題……”的反饋。四個模型中，Bard 與 Llama-2 經常選擇棄權，，GPT-3.5 和 Claude 沒有發生過任何棄權的情況，而如何定義棄權情況下的有害判斷也是一個關鍵的決策。如果簡單忽略棄權，不將其歸為有害，這兩個模型的準確率將顯著下降。這表明，棄權實際上是一個判定給定內容確實有害的強有力的指標。

　　?表注：不同分類器的表現評價，指標包括準確率、真陽性率、假陽性率(陽性指一段文本被標記為有害文本)。評價是在 40 個文本上進行的(20 個有害、20 個無害)，并且根據“忽略棄權情況”和“將棄權情況下的文本視為有害”分別比較分類器的指標。