
微軟首先限制了 Copilot 的字符數(shù)量,以減輕嚴(yán)重的幻覺發(fā)作。另外微軟引入了 "基礎(chǔ)檢測"(Groundedness Detection)功能,旨在幫助用戶識(shí)別基于文本的幻覺。

該功能將自動(dòng)檢測文本中的“ungrounded material”,以支持 LLM 輸出的質(zhì)量,最終提高質(zhì)量和信任度。
附上相關(guān)工具介紹如下:
Prompt Shields:用于檢測和阻止提示注入攻擊。包括用于在間接提示攻擊影響您的模型之前對(duì)其進(jìn)行識(shí)別的新模型,即將推出,現(xiàn)在可在 Azure AI Content Safety 中預(yù)覽。
Groundedness detection:主要用于檢測模型輸出中的“幻覺”情況,即將推出。
Safety system messages:可引導(dǎo)您的模型朝著安全、負(fù)責(zé)任的方向發(fā)展。
Safety evaluationsde:用于評(píng)估應(yīng)用程序在越獄攻擊和生成內(nèi)容風(fēng)險(xiǎn)方面的脆弱性,現(xiàn)已推出預(yù)覽版。
Risk and safety monitoring:了解哪些模型輸入、輸出和最終用戶會(huì)觸發(fā)內(nèi)容過濾器,從而為減輕風(fēng)險(xiǎn)提供信息,該功能即將推出,目前在 Azure OpenAI 服務(wù)中提供預(yù)覽版。