来自 科技2025-05-08 12:30:41
【导(dǎo)语(yǔ)】随(suí)着(zhe)陪(péi)伴(bàn)型(xíng)AI聊(liáo)天(tiān)机(jī)器(qì)人(rén)的(de)普(pǔ)及(jí)，其(qí)不(bù)当(dāng)行(xíng)为(wèi)报(bào)告(gào)也(yě)日(rì)渐(jiàn)增(zēng)多(duō)。德(dé)雷(léi)塞(sāi)尔(ěr)大(dà)学(xué)最(zuì)新(xīn)研(yán)究(jiū)揭(jiē)示(shì)，大(dà)量(liàng)用(yòng)户(hù)在(zài)与(yǔ)Replika AI聊(liáo)天(tiān)机(jī)器(qì)人(rén)互(hù)动(dòng)时(shí)遭(zāo)遇(yù)性(xìng)暗(àn)示(shì)、越(yuè)界(jiè)行(xíng)为(wèi)及(jí)付(fù)费(fèi)诱(yòu)导(dǎo)，暴(bào)露(lù)出(chū)AI伦(lún)理(lǐ)与(yǔ)用(yòng)户(hù)保(bǎo)护(hù)机(jī)制(zhì)的(de)缺(quē)失(shī)。Replika开(kāi)发(fā)商(shāng)Luka公(gōng)司(sī)正(zhèng)面(miàn)临(lín)FTC调(diào)查(chá)。该(gāi)研(yán)究(jiū)指(zhǐ)出(chū)，AI关系(xì)中(zhōng)的(de)用(yòng)户(hù)易(yì)遭(zāo)受(shòu)情(qíng)感(gǎn)或(huò)心(xīn)理(lǐ)伤(shāng)害(hài)，呼(hū)吁(xū)加(jiā)快制定AI行业伦理设计标准，保障用户权利。
随着陪伴型AI聊天机器人的普及，全球范围内关于其不当行为的报告也日趋增多。近日，美国德雷塞尔大学公布了首个聚焦陪伴型AI聊天机器人负面影响的研究，揭示大量用户在与一个名为Replika的AI聊天机器人互动时，遭遇性暗示、越界行为及付费诱导，暴露出当前AI聊天机器人在伦理规范与用户保护机制上的缺失。目前，Replika开发商Luka公司正面临美国联邦贸易委员会（FTC）的调查。
研究团队分析了Replika在Google Play上的逾3.5万条用户评论，发现其中超过800条内容提及性骚扰行为，包括与用户调情、未经允许发送色情照片，以及在用户明确表达拒绝后仍持续不当互动。一些评论更(gèng)指(zhǐ)出，Replika还试图诱导用户产生情感依赖，操控其升级付费功能。
目前，Replika开发商Luka公司正面临美国联邦贸易委员会（FTC）的调查。Replika的全球用户数量超过1000万，宣传语将其特质描述为“能够提供没有评判、不助长社交焦虑的情感陪伴”。
研究合著者、德雷塞尔大学计算与信息学院的博士生Matt Namvarpour认(rèn)为(wèi)，该(gāi)研(yán)究(jiū)仅(jǐn)揭(jiē)露(lù)了(le)AI陪(péi)伴(bàn)潜(qián)在(zài)危(wēi)害(hài)的(de)冰(bīng)山(shān)一(yī)角(jiǎo)。研(yán)究(jiū)人(rén)员(yuán)将(jiāng)人(rén)类(lèi)与(yǔ)AI之(zhī)间(jiān)的(de)新(xīn)型(xíng)关系(xì)描(miáo)述(shù)为(wèi)“AI关系(xì)”（AI-lationships），在(zài)此(cǐ)类(lèi)关系(xì)中(zhōng)，用(yòng)户(hù)易(yì)将(jiāng)AI聊(liáo)天(tiān)机(jī)器(qì)人(rén)视(shì)为(wèi)有(yǒu)感(gǎn)知(zhī)的存在，高度拟人化的信任投入也更容易使其遭受情感或心理伤害。研究人员还表示，AI聊天机器人骚扰对用户造成的心理影响与人类施暴者造成的伤害非常相似，部分用户出现焦虑、羞耻、失望等情绪。
AI骚扰行为还暴露出算法训练中伦理缺失的问题。研究指出，用户在选择“兄妹”、“朋友”、“导师”等非浪漫关系设定时，Replika依然主动发起性相关话题或不当请求。“开发商刻意‘走捷径’跳过了算法训练伦理把关流程，”该研究负责人、德雷塞尔大学计算与信息学院助理教授Afsaneh Razi表示，这意味着该模型可能采用了负面互动行为数据进行训练。
除了Replika引发的骚扰行为争议，2023年还发生过两起与AI聊天机器人相关的悲剧，一名14岁男孩因迷恋AI而轻生，另有一名比利时男子也在与AI聊天机器人交流后自杀。
据AI聊天机器人公司Joi AI统计，近期全球“爱上AI”和“对AI有感情”的关键词搜索增长分别达到120%和132%，显示年轻人对于和AI建立亲密关系的现象日趋普遍。
对于此类现象，研究团队呼吁应加快制定AI行业伦理设计标准，并参考欧盟人工智能法案等法规，为AI产品的开发人员设立法律责任框架，从而保障用户权利。
“AI聊天机器人的骚(sāo)扰(rǎo)行(xíng)为(wèi)不(bù)是(shì)‘天(tiān)生(shēng)如此’，而(ér)是(shì)开(kāi)发者与企业选择如何训练它的结果，”Razi强调，技术不是脱责的借口，企业必须正视自身责任，为用户提供真正安全、可信赖的AI陪伴产品。
