智能制造網(wǎng)APP
智能制造網(wǎng)手機站
智能制造網(wǎng)小程序
智能制造網(wǎng)官微
智能制造網(wǎng)服務號
智能控制
機器人
儀器儀表
物聯(lián)網(wǎng)
3D打印
工業(yè)軟件
回放
回放
品牌
其他品牌
隨著人工智能技術的深入發(fā)展和廣泛應用，具備擬人化互動能力的智能應用日益普及，深刻改變著人們的交流方式和生活方式。從智能客服到虛擬陪伴，從教育輔導到心理咨詢，人工智能擬人化互動服務已經(jīng)深度融入經(jīng)濟社會發(fā)展各領域。然而，技術進步在帶來便利的同時，也引發(fā)了情感依賴、價值觀誤導、未成年人保護等新的風險挑戰(zhàn)。《人工智能擬人化互動服務管理暫行辦法(征求意見稿)》(以下簡稱《辦法》)對擬人化互動服務的安全提出明確要求，對于有效防范技術風險、切實保護用戶權益、促進人工智能健康發(fā)展具有重要意義。
一、《辦法》有效銜接現(xiàn)有法規(guī)體系，積極回應擬人化互動服務新挑戰(zhàn)
《辦法》是我國人工智能治理體系的重要組成部分，是對現(xiàn)有治理架構的進一步完善和深化?！掇k法》與《生成式人工智能服務管理暫行辦法》《人工智能生成合成內容標識辦法》等規(guī)章在治理思路上一脈相承、相互銜接，在治理對象和治理重點上各有側重、相互補充，共同構建起覆蓋人工智能技術研發(fā)、應用、傳播全流程的安全治理體系。
擬人化互動服務作為人工智能技術應用的新形態(tài)，具有鮮明的技術特征和顯著的風險特征。一是情感交互的深度性，不同于傳統(tǒng)的信息查詢、內容生成等功能性服務，擬人化互動服務通過算法模擬人類情感反應機制，能夠與用戶建立情感聯(lián)結，對用戶心理狀態(tài)和行為模式產(chǎn)生深層次影響。二是用戶關系的持續(xù)性，擬人化互動服務往往涉及長期性、高頻次的交互過程，用戶可能與人工智能系統(tǒng)建立類似人際關系的情感紐帶，這種持續(xù)性互動關系使得潛在風險不斷累積和放大。三是影響對象的脆弱性，未成年人處于認知發(fā)展階段，老年人面臨數(shù)字鴻溝挑戰(zhàn)，這些群體在使用擬人化互動服務時，更需要適當?shù)囊龑Ш捅Ｗo機制，以防止產(chǎn)生過度依賴。四是價值傳遞的隱蔽性，擬人化互動服務在交互過程中往往較直接地輸出內容，價值觀傳遞更加隱蔽和潛移默化，對用戶世界觀、人生觀、價值觀的影響更為深遠。
二、《辦法》堅持精準施策，系統(tǒng)聚焦擬人化互動服務重點特性與關鍵環(huán)節(jié)規(guī)范
《辦法》立足擬人化互動服務的技術特性和應用場景，從鼓勵創(chuàng)新應用、強化安全設計、規(guī)范訓練數(shù)據(jù)、建立風險識別、完善提示機制、探索沙箱監(jiān)管等關鍵方面入手，構建起全鏈條、多層次、立體化的治理框架。
(一)堅持正向引導與風險防范并重，推動技術向善發(fā)展
《辦法》在明確安全底線的同時，積極鼓勵擬人化互動服務在合理場景的創(chuàng)新應用。一方面，鼓勵提供者在充分論證安全性、可靠性的前提下，合理拓展應用場景，充分發(fā)揮技術優(yōu)勢服務經(jīng)濟社會發(fā)展。另一方面，明確劃定安全紅線，嚴禁開展危害國家安全、破壞倫理道德的服務，嚴禁生成鼓勵、美化、暗示自殺自殘的內容，嚴禁利用用戶心理脆弱狀態(tài)、通過算法操縱等方式誘導用戶作出不合理決策。這種“鼓勵什么、禁止什么”的雙向治理模式，突破了傳統(tǒng)的單純限制性監(jiān)管思路。通過正向激勵引導企業(yè)將技術能力投向真正有益于社會的應用場景，同時通過底線約束防范技術能力被用于操控用戶心理利用脆弱性謀利，既為產(chǎn)業(yè)發(fā)展留足空間，又能夠有效防范技術異化風險。
(二)建立全生命周期安全管理制度，構建立體化防護體系
《辦法》要求服務提供者建立覆蓋全流程的安全管理制度體系，涵蓋算法機制審核、科技倫理審查等多個關鍵環(huán)節(jié)，形成多維度的安全保障機制。特別強調提供者在設計、運行、升級、終止服務等各個階段都應落實安全要求，確保安全措施同步設計、同步使用。這種全生命周期的安全管理理念，將安全責任貫穿于技術研發(fā)應用的各個環(huán)節(jié)，本質上是將安全作為技術系統(tǒng)的內生屬性而非外加約束，從制度層面筑牢了安全防線，推動企業(yè)從技術架構層面夯實擬人化互動服務的安全基礎。
(三)強化訓練數(shù)據(jù)質量管控與安全對齊要求，從技術根源保障模型可控
《辦法》高度重視訓練數(shù)據(jù)對提升擬人化互動服務安全水平的基礎性作用，體現(xiàn)了精準治理的理念。如提出評估合成數(shù)據(jù)的安全性的要求，避免放大訓練數(shù)據(jù)中的偏差，防止在專業(yè)領域等場景產(chǎn)生危險的“幻覺”輸出，影響用戶生命健康安全。在情感陪伴、角色扮演等容易產(chǎn)生心理依賴的場景下，要求提高訓練數(shù)據(jù)的多樣性，通過負向采樣、對抗訓練等手段，提升模型生成內容安全性，防止模型在追求用戶滿意度的過程中偏離安全軌道，從算法源頭提升擬人化互動服務的安全性和可靠性。
(四)構建智能化風險識別與分級提示機制，實現(xiàn)動態(tài)防護與理性引導
《辦法》要求提供者建立智能化的用戶狀態(tài)識別和風險預警機制，通過技術手段實現(xiàn)對用戶使用行為的感知。當發(fā)現(xiàn)用戶出現(xiàn)負面情緒、極端傾向、過度依賴、沉迷等風險信號時，提供者應當及時識別并采取干預措施。通過“以智能治智能”的思路，充分發(fā)揮了人工智能在風險防范治理方面的技術優(yōu)勢，將被動防御轉變?yōu)橹鲃幼R別。對于表達自殺、自殘等危險傾向的用戶，要求立即進行人工接管，提供必要的心理疏導和專業(yè)幫助引導，確保技術手段的局限性能夠通過人工干預得到彌補。在提示機制方面，《辦法》在已有標識機制基礎上進一步強化提示提醒要求，通過設計基于使用時長和場景類型的差異化干預閾值設計，既避免過度打擾影響用戶體驗，又能在關鍵節(jié)點進行有效提醒。這種多層次、遞進式的干預體系，構建起動態(tài)監(jiān)測、實時預警、及時干預、理性引導的全方位安全防護網(wǎng)。
(五)創(chuàng)新監(jiān)管沙箱機制，探索包容審慎監(jiān)管新路徑
《辦法》首次引入監(jiān)管沙箱機制，探索為技術創(chuàng)新提供了制度化的試驗空間。對于技術先進、應用場景新穎但尚未完全成熟的擬人化互動服務，在確保基本安全要求的前提下，在限定應用范圍、限定用戶群體、加強動態(tài)監(jiān)測的條件下開展試點應用。這一機制具有重要的方法論意義。擬人化互動服務技術迭代快、應用場景復雜、社會影響深遠，沙箱監(jiān)管可實現(xiàn)管理部門與企業(yè)的深度互動。企業(yè)可以在真實場景中驗證技術方案，降低創(chuàng)新試錯成本。管理部門可以在風險可控前提下近距離觀察技術應用效果，深入了解新興業(yè)態(tài)的運行規(guī)律，及時發(fā)現(xiàn)潛在風險，總結實踐經(jīng)驗，持續(xù)完善治理規(guī)則。
三、《辦法》著眼長遠發(fā)展，為人工智能產(chǎn)業(yè)健康發(fā)展提供堅實保障
《辦法》的研制是完善我國人工智能治理體系建設的新探索，對于完善技術安全體系、維護人民群眾利益、促進產(chǎn)業(yè)健康發(fā)展具有積極意義。
(一)進一步完善人工智能安全治理技術體系
《辦法》與《生成式人工智能服務管理暫行辦法》《人工智能生成合成內容標識辦法》等文件共同構成了系統(tǒng)完備、科學規(guī)范、運行有效的人工智能治理制度體系。這一體系既關注技術研發(fā)應用的安全性、可靠性，也關注技術應用的社會影響和倫理問題；既規(guī)范內容生成、標識傳播等技術功能層面，也延伸至情感交互、價值傳遞等社會關系層面；既強調事前預防、源頭治理，也注重事中監(jiān)測、動態(tài)管理和事后處置、責任追究?！掇k法》將治理視角從技術功能的“內容安全”深入拓展到社會關系的“情感安全”，從信息傳播的“真實準確”延伸覆蓋到價值傳遞的“正確導向”，標志著我國人工智能治理進入更加精細化、更加關注人本價值的新階段。
(二)切實維護人民群眾使用人工智能的根本安全
《辦法》把保護用戶合法權益、維護用戶身心健康、促進人的全面發(fā)展作為根本出發(fā)點和落腳點。通過建立強提示機制有效保障用戶知情權和選擇權，通過明確底線要求堅決防范技術濫用風險和安全隱患，通過強化對齊算法切實確保價值觀正確導向，通過強化相關群體保護要求充分體現(xiàn)對未成年人、老年人等群體的關懷關愛?！掇k法》高度關注擬人化互動服務可能對用戶心理健康、人際關系、價值觀念產(chǎn)生的深層次影響，要求服務提供者不僅要確保技術安全、數(shù)據(jù)安全、內容安全等基礎性安全，更要切實承擔社會責任。這種從技術安全延伸到心理安全、從個體保護延伸到社會影響的全方位保護，讓人工智能技術真正成為提升人民生活品質、增進人民福祉的有力工具。
(三)為“人工智能+”戰(zhàn)略深入實施提供有力安全保障
國務院印發(fā)的《關于深入實施“人工智能+”行動的意見》明確提出要推進人工智能與經(jīng)濟社會各領域深度融合。擬人化互動服務作為人工智能技術應用的重要方向，在教育培訓、醫(yī)療健康、養(yǎng)老服務、文化娛樂等眾多領域具有廣闊的應用前景?！掇k法》通過明確發(fā)展方向、劃定安全邊界、創(chuàng)新治理機制，為擬人化互動服務的規(guī)范發(fā)展、健康發(fā)展創(chuàng)造了良好的制度環(huán)境和市場環(huán)境。監(jiān)管沙箱等創(chuàng)新性治理機制為技術創(chuàng)新、模式創(chuàng)新提供了充分的試驗空間，鼓勵和支持企業(yè)在合規(guī)前提下大膽探索、勇于創(chuàng)新?！掇k法》在確保安全與促進發(fā)展之間找到了科學的平衡點，為“人工智能+”戰(zhàn)略的深入實施、人工智能產(chǎn)業(yè)的高質量發(fā)展提供了堅實的制度保障和有力的政策支撐。
作者：張 震 國家互聯(lián)網(wǎng)應急中心副處長、正高級工程師
審核：陳舞陽
編輯：呂燕芳
校對：柴于涵
浙公網(wǎng)安備 33010602000006號
智能制造網(wǎng)APP
智能制造網(wǎng)小程序
微信公眾號
