上期我們通過“什么是SGE”和“SGE是如何運作的”這幾部分的介紹，對SGE有了一定的了解，今天我們繼續來深入探討研究生成式AI。

經過深思熟悉之后，我們將SGE作為一個實驗項目推出，并遵循我們的人工智能原則。我們在開發這一測試項目時采取了周密的步驟和審慎的方法，借鑒了我們多年在搜索領域積累的保護措施和經驗。以下是我們的一些重要考慮因素。隨著時間的推移，我們將不斷優化和改進我們的方法，并與行業專家、執政人員、民權和人權領袖、內容創作者等廣泛合作，作為實驗的一部分。

目前，SGE采用了多種語言模型，其中包括MUM和PaLM2的高級版本。通過在功能集中使用多個模型，我們能夠進一步優化和微調這些模型，以滿足用戶的獨特需求，并在他們的信息搜索過程中提供幫助。

圖片來源：網絡

很多人已經直接與語言模型進行了互動，包括通過Bard等實驗。雖然SGE也應用了語言模型，但我們有意訓練它來執行與搜索相關的特定任務，包括識別與輸出信息相一致的高質量網絡結果。這些模型與我們的核心排名系統配合使用，以提供有幫助且可靠的搜索結果。

通過將SGE限定在這些特定任務中，包括驗證和合作等方面，我們能夠顯著減輕語言模型已知的一些限制，如虛構或不準確。我們進一步通過利用現有的搜索質量系統以及識別和排名高質量可靠信息的能力來應對這些挑戰。下面將更詳細地介紹：

在負責任地開發產品時，人為參與和評估起著重要的作用。除了其他質量檢查外，我們在訓練SGE的輸出時還加入測試人員的參與，重點關注長度、格式和清晰度等屬性。

在搜索領域，長期以來我們一直采用了嚴格的人為參與和評估流程來訓練和改進我們的排名系統，并且我們將許多經過充分測試的原則和經驗應用到SGE的訓練和評估中，包括：

?評估員: 我們與專門的搜索質量評估員合作，幫助我們衡量輸出和展示結果的質量。這些評級不直接影響SGE的輸出，但用于訓練語言模型并改善整體體驗。

?重點分析: 遵循我們在搜索領域進行重大發布的流程，我們對多個廣泛而代表性的查詢集合進行結果分析，并進行更詳細的研究，以確認響應是否符合我們的質量標準。特別是，我們著重關注可能更容易受到已知質量風險影響的主題領域，或者更加復雜微妙的領域。這包括可能面臨安全或包容性問題風險更高的查詢類別，并旨在確保我們的保護和響應在這些領域中有效。

?“紅隊”安全測試: 我們對這些系統進行對抗性測試，以發現系統未按預期運行的領域。這有助于發現偏見問題、安全問題和其他需要改進的方面。

我們正在繼續研究探索新的技術來發展和改進這些方法。

我們知道，人們使用搜索來尋找可信賴的信息，包括驗證他們在其他地方聽到的內容，因此我們對于提供可靠、有幫助和高質量信息的標準要求非常高。這就是為什么我們在搜索中引入了生成式人工智能，并將其與我們幾十年來不斷打磨完善出的核心搜索排名和質量系統相結合。多年來，我們一直在將人工智能技術應用于搜索，并開發了一套嚴謹、嚴格的評估流程，以確保任何更新都能保持我們為提供可靠搜索結果所設定的高標準。

與我們的排名系統旨在避免意外觸及或冒犯人們的潛在有害、仇恨或不當內容一樣，SGE也不會在其回復中展示此類內容。

當涉及到對信息質量有更高要求的查詢，我們對SGE也設定了更高的標準。在搜索中，我們將這類查詢稱為YMYL主題，例如金融、健康或公民信息都屬于YMYL主題。在這些領域，人們期待更加精準的搜索結果。

對于YMYL主題，SGE會更加強調生成經過可靠來源驗證的回復。我們還訓練模型在適當的情況下在輸出中包含免責聲明。例如，在與健康相關的查詢中，如果我們顯示了回復，免責聲明會強調人們不應該僅依賴該信息作為醫學建議，而應該與醫療專業人士合作獲得個性化的護理。

對于某些主題，例如在互聯網上可能缺乏高質量或可靠的信息來源時，SGE是不會生成回復的。這種情況，我們通常稱之為“數據空白”或“信息空白”。當我們的系統認為回復的可信度較低時，SGE將不會生成基于人工智能的快照。此外，SGE不會為色情或危險主題生成快照，也不會為包含導致人員受傷的搜索生成快照，例如，在與自殘相關的搜索中，我們的系統會自動在搜索結果的頂部顯示可信賴的求助熱線資源。

我們的自動化系統致力于防止違反政策的內容出現在SGE中。SGE采取的政策與我們精選摘要和自動生成部分的特殊政策相一致，包括對可能包含色情、仇恨、暴力或其他違背公共利益主題共識的內容進行仔細審查。

雖然我們的系統通常能夠在內容出現之前有效地捕捉到違反政策的內容，但SGE是一個測試功能，違反政策的內容依舊有可能出現。在這種情況下，我們會根據政策采取行動，防止這些違規內容再次出現。我們還會利用這些案例來指導未來對模型的改進。鑒于SGE是Search Labs中的一項測試功能，我們將繼續審查和適當調整我們的政策，讓其在時間的沉淀下，變得更成熟更有幫助。

我們做的另一個有意的選擇涉及到SGE中反應的流暢性，無論是在人工智能驅動的快照還是對話模式中。

我們發現，給模型留有余地來創造流暢的、聽起來像人類的反應，會導致其有更高的概率輸出不準確的內容（見下文的限制）。與此同時，當回復具有流暢和對話性質時，我們發現人工評估員更容易相信這些回復，也不太容易發現錯誤。

考慮到人們對搜索的信任，我們有意地對對話性做了一定的限制。也就是說，例如，比起將SGE中的對話模式看作一個自由流暢的創意頭腦風暴伙伴，人們會更傾向于它能提供更加事實性的回復并鏈接至相關資源。

在平衡體驗的流暢性和信息質量方面非常重要，隨著我們在這個平衡上的不斷迭代，SGE將會不斷改進。

有時，LLMs有可能生成似乎包含了人類觀點或情感的回復，這是因為它們在訓練時使用了人們用來表達人類體驗的語言。我們特意訓練SGE避免反映特定的人設。例如，SGE不會以第一人稱回復，我們對模型進行了微調，以提供客觀、中立的回復，并通過網絡結果進行印證。

雖然我們在SGE中加入了多種保護機制，但LLMs和這一初期實驗形式的體驗都存在已知的限制。以下是我們在評估和對抗性測試中觀察到的一些損失模式，以及我們在SGE中預計的其他限制。在許多情況下，我們已經通過模型更新和額外的微調進行了改進，并且隨著SGE的發展，我們預計將取得進一步的進展。

圖片來源：網絡

?在核實過程中的誤解: 我們注意到有些情況下，SGE雖然能夠恰當地辨別相關信息來支持其快照，但會對語言產生輕微誤解，改變了輸出的含義。

?錯覺: 與所有基于LLM的體驗一樣，SGE有時可能會錯誤地陳述事實或錯誤地識別見解。

?偏見:由于SGE的訓練目標是與高質量資源相印證的回復，這些資源通常擁有較高的排名，因此SGE快照可能比網絡上的內容涵蓋的范圍更窄，從而在結果中反映出偏見。這容易給人一種模型已經學習到這種偏見的印象。然而，真相可能只是SGE提供的輸出反映了在排名靠前的結果中存在的偏見。這也是當前搜索結果中經常出現的現象。例如，權威組織和媒體機構在討論男子體育時通常不會加上“男性”這個限定詞，因此關于該體育項目的常規搜索可能會偏向于男性選手或球隊，即使關于女性選手或球隊的信息可能是同樣甚至更準確的回復。

?觀點暗示人設：雖然SGE被設計成在其生成的內容中反映中立、客觀的意見，但在某些情況下，其內容可能反映了網絡上存在的觀點，給人一種模型展示出特定人設的印象。

?與現有搜索功能的重復或矛盾:由于SGE與其他搜索結果和頁面上的功能集成在一起，SGE的輸出可能會與結果中的其他信息產生矛盾。例如，人們可能會看到一個突出顯示單一來源觀點的精選摘要結果，而SGE則代表了在一系列結果中得到印證的綜合觀點。

在負責任地推出SGE的過程中，我們設定了清晰的用戶期望，并且積極關注目前仍然存在的限制。即使在提升質量和安全性方面取得進展，我們依舊會保持謹慎。通過率先在Search Labs中提供SGE，我們給予用戶與這項新技術互動的機會，同時也坦誠地告知他們這仍處于實驗階段。

雖然SGE的發展仍處于初期階段，但我們正在積極改進用戶體驗，并致力于提升質量和功能。我們期待從實驗室用戶的反饋中汲取經驗，不斷改進和迭代，共同構建搜索的未來。