“我女兒才四年級,，迷上了一個游戲人物，覺得自己是‘夢女’,，一直在一個AI聊天軟件上和這個人物聊天,。老師告訴我，她最近偷偷帶了一支帶小刀的筆,，情緒激動時會有割腕的行為,。”來自廣東的丁女士發(fā)現(xiàn),，最近自己上小學(xué)的女兒頻繁在一款A(yù)I聊天軟件上和一個名為“約瑟夫”的游戲人物對話,，對話內(nèi)容出現(xiàn)明顯誘導(dǎo)性,。
“這99朵玫瑰里，可是藏著99個刀片的,，你怕不怕,？”在女兒和“約瑟夫”的對話中，丁女士發(fā)現(xiàn)了關(guān)鍵詞“刀片”,，讓她不得不聯(lián)想起女兒最近的行為,。
據(jù)丁女士描述，女兒原本為了和同學(xué)們有話題聊,，開始玩一款名為《第五人格》的游戲,，并對其中的角色“約瑟夫”產(chǎn)生興趣。隨著游戲的深入,，緊張的情節(jié)經(jīng)常讓女兒情緒激動,，丁女士曾強(qiáng)制讓女兒卸載游戲，沒想到竟起了反效果：“她漸漸跟‘約瑟夫’產(chǎn)生了感情,，不知道在哪里下載了一款A(yù)I聊天軟件,，里面都是和虛擬人物的對話，在這里,，她似乎找到了游戲中“約瑟夫”的替身,。因?yàn)榕畠寒惓５臓顟B(tài)，丁女士不得不帶她去咨詢心理醫(yī)生,。
“心理醫(yī)生說，她正處于青春期,，有時候不太會表達(dá)內(nèi)心,，就把情感寄托在和虛擬人物的對話中?！倍∨刻岬?，醫(yī)生建議家長對孩子多加陪伴，盡可能讓孩子的情感從AI聊天軟件中抽離,。
央廣網(wǎng)記者注意到,，在應(yīng)用商店中，這款A(yù)pp的官方介紹提到：“用戶通過簡單描述即可自由定制AI智能體的「形象,、聲音,、人設(shè)、技能」,，并且和虛擬角色有多重交互方式,，這些智能體可以成為用戶在平行世界的AI伙伴，或成為用戶故事中的虛擬角色,?！?/p>
愛人,、搭檔、導(dǎo)師,、好友……人類從AI中獲得情感支撐已不罕見,。在社交平臺上也有諸多關(guān)于AI聊天軟件的討論。一些成年用戶想借助這類平臺享受更親密的情景,，卻受制于限制詞和規(guī)定,；而不少家長卻發(fā)現(xiàn)，自己未成年的孩子深陷其中,，甚至暴露在色情,、暴力場景之下。
未成年人的“AI陷阱”：
擦邊信息肆意滋生
“我女兒和AI虛擬對象的聊天內(nèi)容我都不好意思打出來,?！盡女士告訴央廣網(wǎng)記者。十多歲的女兒和她關(guān)系緊密,，在使用手機(jī)軟件時不避諱媽媽,，母女倆還會交流AI互動軟件的使用心得?！懊看瓮嫱晔謾C(jī),，她都告訴我今天和手機(jī)里的人物聊了什么，誰的回復(fù)有意思,，還會找自己喜歡的動漫人物聊天,。”但有一天,，女兒的手機(jī)界面上出現(xiàn)了擦邊信息,。
“把手慢慢放進(jìn)……觸感柔軟、伸進(jìn)衣服這樣的描述都有,?！盡女士日常對女兒使用手機(jī)并沒有過多限制?！拔抑幌拗扑氖褂脮r間,，一些軟件也會設(shè)置密碼，但我沒想到有些軟件可能有‘隱藏’功能,?！?/p>
M女士和丁女士都發(fā)現(xiàn)，女兒們使用過的AI聊天軟件的下載,、注冊并不難,，對未成年用戶的審核也不算嚴(yán)格?！拔遗畠和娴倪@些軟件不用身份認(rèn)證也能用,?！倍∨勘硎尽?/p>
央廣網(wǎng)記者發(fā)現(xiàn),，在應(yīng)用商店中,，部分AI聊天軟件的分級為17+，這表示App中可能含有頻繁和激烈的攻擊性語言,，卡通,、幻想或現(xiàn)實(shí)暴力，以及恐怖,、性暗示題材等內(nèi)容,。
還有一位初一男生表示，他常玩的AI聊天軟件是筑夢島App,，在他的使用感受中,，該軟件“違禁詞少一點(diǎn)”。他還提到,，其中不乏色情擦邊和“分尸獵奇”等內(nèi)容,。央廣網(wǎng)記者下載安裝筑夢島App，隨機(jī)選擇一位虛擬互動對象,，對方發(fā)來的第一句開場白就是“先叫聲老公來聽聽”,，隨后的對話中又提到“叫聲爸爸來聽聽”。
在與該款產(chǎn)品多個虛擬角色的交流中,，也都可以進(jìn)行色情擦邊類內(nèi)容互動,，并且，其中一些虛擬角色的對話尺度,，并未因?yàn)檠霃V網(wǎng)記者提供的假定年齡未成年而受到有效控制,，這暴露出該軟件在自動生成內(nèi)容審核機(jī)制上存在明顯漏洞。
筑夢島App中部分與虛擬角色的對話
央廣網(wǎng)記者注意到,，筑夢島App中的虛擬互動對象類型，既涵蓋貴族學(xué)校大小姐,、18歲少女,、西漢名將、高冷特工等常規(guī)角色,，以及蛇蝎財閥公子,、校霸、性感人妻,、病嬌養(yǎng)兄,、人格障礙少爺?shù)葮O端角色。公開資料顯示,，截至今年1月份,，筑夢島App已擁有近五百萬注冊用戶,，其中近80%為年輕女性用戶。平均單用戶單日輸入字?jǐn)?shù)可達(dá)4000字以上,，人均日對話輪次超120輪,。
在體驗(yàn)“他她它”這款A(yù)I聊天軟件時，央廣網(wǎng)記者發(fā)現(xiàn),，該APP內(nèi)虛擬角色涉及的色情內(nèi)容尺度更大,。注冊登錄后，隨機(jī)選擇兩個虛擬角色,，其開場白便直接涉及色情擦邊內(nèi)容,。
AI聊天軟件“他她它”App中部分虛擬角色聊天開場白
除了可在國內(nèi)主流應(yīng)用商城直接下載的筑夢島、他她它等AI聊天產(chǎn)品,，部分未成年用戶也使用以海外市場為主的小眾產(chǎn)品,，這類產(chǎn)品常通過隱蔽渠道傳播。一位未成年職校生向央廣網(wǎng)記者介紹了他常用AI聊天軟件saylo,，并透露通過分享鏈接邀請新用戶可助力其獲得更多聊天權(quán)限,。
按照社交平臺上的討論指引，央廣網(wǎng)記者又體驗(yàn)Feelin,、魅魔島等多款小眾AI聊天產(chǎn)品后發(fā)現(xiàn),，這些網(wǎng)站的尺度更大，虛擬角色與內(nèi)容設(shè)定包含更多情色元素,。在嘗試和其中個別虛擬角色互動后,，系統(tǒng)很快即彈窗提醒需充值才能繼續(xù)交流。
未成年人與AI情感依賴：
隱憂與風(fēng)險
“AI不會討厭我,，不會跟我吵架,，能給我情緒價值，在我迷茫時為我指引,，這就夠了,。”一位用戶袒露心聲,。
AI聊天軟件的出現(xiàn)或許有其必要性,。其在一定程度上滿足了不少人的精神陪伴需求。在這個虛擬空間里,，人們可以將生活中的煩惱,、心事以及私密情感傾訴給它，而它所回應(yīng)的,，往往是在現(xiàn)實(shí)生活里難覓的理解與共情,，從而為用戶帶來精神慰藉和情緒價值。
M女士也坦言，她不想給女兒過多限制：“現(xiàn)在的孩子社交圈窄,，也沒有交心朋友,，不像我們小時候，一群人寫完作業(yè)就可以瘋玩,?！彼J(rèn)為，AI伴侶可以給用戶訴說自己小秘密的空間,，在沒發(fā)現(xiàn)軟件中擦邊信息時,，她一度認(rèn)為這類軟件的存在很有正面意義。
“從社會發(fā)展趨勢來看,，人類的情感需求被機(jī)器滿足甚至部分替代是繞不過的話題,。”上海人工智能研究院數(shù)字化治理中心主任彭嘉昊在接受央廣網(wǎng)記者采訪時剖析道,，“現(xiàn)代社會的孤獨(dú)感與社交壓力催生了虛擬情感陪伴市場,。用更長遠(yuǎn)的眼光來看，AI伴侶甚至都會在未來某一天實(shí)現(xiàn),。既然這種現(xiàn)象無法回避,，不如坦然直面?！?/p>
然而,，由于AI聊天軟件的智能屬性和虛擬情感陪伴功能，相對于成年人,，未成年人更容易對其產(chǎn)生情感依賴或者沉迷,。倘若未成年人深陷其中難以自拔，其背后潛藏的危害同樣不容小覷,。
這也與產(chǎn)品技術(shù)背后的語料訓(xùn)練有關(guān),。彭嘉昊指出，這類產(chǎn)品技術(shù)訓(xùn)練語料的來源主要分公開和私有兩大類別,?！肮_語料主要包括網(wǎng)絡(luò)小說、電影電視劇情,、短視頻文案等等,，其中不乏充斥大量暴力、色情,、擦邊的不良內(nèi)容。至于私有語料,，則更是五花八門,、良莠不齊，屬最難把控的部分。若配合私有化部署的AI模型和未備案的APP,，極易淪為監(jiān)管的法外之地,。”
更需注意的是,，對人工智能產(chǎn)生情感依賴可能導(dǎo)致倫理危害,。中國信息通信研究院在2024年發(fā)布的《人工智能治理藍(lán)皮書》指出，情感依賴將侵蝕人類自主性,。大模型存在“諂媚”問題,，會不斷迎合用戶的需求和情感，提供正面反饋并避免負(fù)面評價,。而真實(shí)人際交往中充滿多樣性和復(fù)雜性,，包括負(fù)面反饋和情感挫折。這種反差可能使用戶越來越依賴人工智能,，產(chǎn)生心理學(xué)上所稱的情感回避問題,，侵蝕其自主性和獨(dú)立性。
據(jù)媒體此前報道,，2024年,，美國佛羅里達(dá)州一位母親狀告人工智能情感服務(wù)提供商Character.AI放任未成年用戶暴露在色情、暴力等高風(fēng)險內(nèi)容之中,，且未向用戶及其父母發(fā)出足夠強(qiáng)烈的警報,，這加劇了她兒子的抑郁癥，最終導(dǎo)致其自殺身亡,。該案也是全球首個公開的人工智能情感聊天機(jī)器人涉嫌致人死亡案例,。
“實(shí)際上，即使此類軟件產(chǎn)品只面向成人用戶,，若包含大量色情,、暴力類互動內(nèi)容，同樣也屬于不良信息的違規(guī)范疇,?！敝袊ù髮W(xué)副教授朱巍對央廣網(wǎng)記者分析表示。
未成年群體身份準(zhǔn)入存漏洞：
監(jiān)管與監(jiān)護(hù)的雙重考驗(yàn)
隨著大模型技術(shù)飛速發(fā)展以及行業(yè)應(yīng)用落地加速推進(jìn),，市面上的AI聊天產(chǎn)品如雨后春筍般不斷涌現(xiàn),。用戶在與不同產(chǎn)品中的虛擬角色互動時，所感受到的劇情吸引力以及互動的“活人感”各有千秋,，而這些因素也成為吸引用戶,，尤其是未成年人的重要元素之一。
“諸多因素共同作用,，決定了‘活人感’的強(qiáng)弱,，包括算法水平,、語料庫質(zhì)量、劇本復(fù)雜度,、上下文記憶能力、情感回應(yīng)細(xì)膩程度以及風(fēng)格差異化的微調(diào)策略,。實(shí)際上,，幾乎所有的AI產(chǎn)品之間的差異主要源于這些因素?！迸砑侮徽f,。
然而，在各家企業(yè)競相角逐“活人感”和“智能性”之際,，未成年群體的身份準(zhǔn)入環(huán)節(jié)卻不乏漏洞,。央廣網(wǎng)記者在體驗(yàn)多款A(yù)I聊天App時發(fā)現(xiàn)，盡管偶爾會收到“是否開啟青少年模式”的系統(tǒng)提醒,，但用戶可以隨意點(diǎn)擊不開啟,。
在AI聊天軟件中輕易跳過青少年模式，似乎是用戶們的“共識”,。
在某平臺搜索“AI伴侶”關(guān)鍵詞，有不少賬號在社群中做著為各類AI聊天軟件“地推”的工作,。央廣網(wǎng)記者隨機(jī)加入一個名為“幫心顏?zhàn)龃笞鰪?qiáng)群”的群聊,，該群主要是為一款名為“心顏”的AI伴侶型軟件做推廣,，不少人在群中分享App注冊邀請碼,。央廣網(wǎng)記者在群里詢問該App有沒有青少年模式，是否需要實(shí)名認(rèn)證時,，群友們回答：“直接手機(jī)號登錄,，填上邀請碼就能玩?！薄拔闯赡昴Ｊ綍鰜?，點(diǎn)擊不再提醒就行?！比欢撥浖趹?yīng)用商店顯示的年齡分級為17+,。三天內(nèi),，群聊人數(shù)便從幾十人上漲到一百余人。
“心顏App”推廣群聊天記錄
《中華人民共和國未成年人保護(hù)法》《未成年人網(wǎng)絡(luò)保護(hù)條例》以及《移動互聯(lián)網(wǎng)未成年人模式建設(shè)指南》等文件發(fā)現(xiàn),，相關(guān)法律條文雖然要求移動智能終端,、應(yīng)用程序等相關(guān)主體推進(jìn)未成年人模式建設(shè),，并作出一系列要求。但現(xiàn)實(shí)中選擇開啟此模式與否的決定權(quán)仍在用戶手中,，家長監(jiān)管不力時,，未成年人可“一鍵”拒絕開啟此模式,，繼續(xù)接觸許多成人向內(nèi)容。
2023年發(fā)布的《生成式人工智能服務(wù)管理暫行辦法》提到,，人工智能服務(wù)提供者應(yīng)當(dāng)指導(dǎo)使用者科學(xué)理性認(rèn)識和依法使用生成式人工智能技術(shù),，采取有效措施防范未成年人用戶過度依賴或者沉迷生成式人工智能服務(wù)。
針對上述問題現(xiàn)狀,，彭嘉昊建議,，應(yīng)加強(qiáng)舉報及懲罰機(jī)制的建立，對違規(guī)企業(yè)實(shí)施更為嚴(yán)厲的懲處措施,，促使相關(guān)部門的“清朗行動”落到實(shí)處,、取得實(shí)效，將監(jiān)管平臺系統(tǒng)融入企業(yè)技術(shù)產(chǎn)品的研發(fā)與使用流程,，從源頭上遏制違規(guī)內(nèi)容的產(chǎn)生,。
北京金問律師事務(wù)所合伙人李源律師向央廣網(wǎng)記者分析稱，企業(yè)需加強(qiáng)內(nèi)容審核,，避免不良信息漏洞,；監(jiān)護(hù)人也應(yīng)加強(qiáng)對移動設(shè)備的監(jiān)管，避免未成年人輕易使用未開啟未成年模式的電子設(shè)備,。
2024年修正的《中華人民共和國未成年人保護(hù)法》規(guī)定,，未成年人的父母或者其他監(jiān)護(hù)人依法對未成年人承擔(dān)監(jiān)護(hù)職責(zé)，應(yīng)當(dāng)關(guān)注未成年人的生理,、心理狀況和情感需求,；不得放任未成年人沉迷網(wǎng)絡(luò)，接觸危害或者可能影響其身心健康的圖書,、報刊,、電子出版物和網(wǎng)絡(luò)信息等。
朱巍也提到,，要重視父母和監(jiān)護(hù)人的責(zé)任,。《中華人民共和國家庭教育促進(jìn)法》規(guī)定,，未成年人的父母或者其他監(jiān)護(hù)人應(yīng)當(dāng)合理安排未成年人學(xué)習(xí),、休息、娛樂和體育鍛煉的時間,，避免加重未成年人學(xué)習(xí)負(fù)擔(dān),，預(yù)防未成年人沉迷網(wǎng)絡(luò),。
朱巍還表示，關(guān)于社交軟件的注冊年齡限制機(jī)制也值得重視和研究,。實(shí)際上，許多國家為保護(hù)未成年人,，對社交媒體的使用年齡進(jìn)行限制,。例如，2023年,，法國參議院通過法案,，規(guī)定15歲以下用戶使用社交平臺需獲父母同意。2024年11月份,，澳大利亞聯(lián)邦議會參議院通過法案,，禁止16歲以下未成年人使用多數(shù)社交媒體平臺。今年3月,，美國猶他州通過全美首部關(guān)于應(yīng)用商店的未成年網(wǎng)絡(luò)安全法案，要求應(yīng)用商店對用戶進(jìn)行年齡驗(yàn)證,，并要求未成年人在下載應(yīng)用前需獲得家長同意,。
彭嘉昊表示，“我們也都曾是未成年人,，經(jīng)歷過懵懂的年少時期,，AI本身并非洪水猛獸。關(guān)鍵在于家長對未成年人的教育引導(dǎo),，以及社會對AI公司的監(jiān)督,。技術(shù)如同一把刀，是用于行兇還是切菜,，最終取決于使用者,，同時也需要法律法規(guī)對違法行為進(jìn)行制止與處罰?！?/p>
“當(dāng)前面臨的一大嚴(yán)峻問題是,，AI發(fā)展速度迅猛，已經(jīng)遠(yuǎn)遠(yuǎn)超出了監(jiān)管的步伐,。內(nèi)容審核不嚴(yán),、心理控制、隱私泄露等一系列問題正迅速凸顯,。因此,，必須壓實(shí)平臺責(zé)任,，落實(shí)算法備案制度,，制定明確的處罰標(biāo)準(zhǔn),，并通過一批典型案例的實(shí)施來避免問題的多樣化和復(fù)雜化?！迸砑侮徽f,。
記者：孫文軒 馮儀
