伴随着数字化浪潮和大模型技术快速发展,新型类人情感聊天机器人——“AI伴侣”日益流行。目前,市面上已有100多款由AI驱动的应用程序,用户下载量也不断增长。2月21日,江苏省消保委发声提醒:AI伴侣存在四大潜在风险,警惕虚拟情感背后的“甜蜜”危机。
图源 视觉中国
AI伴侣存在四大潜在风险
AI伴侣,一般是指由人工智能技术驱动的、可以通过与人类互动向人类提供情感支持的对话应用程序。这些应用有的主打情感陪伴,提供情绪价值;有的则融入角色扮演元素,让用户能够与之展开各种剧情互动。它们通过不断学习对话内容,深入了解用户的聊天风格、情绪变化和价值取向,最终成为“量身定制”的“理想伴侣”。
江苏省消保委提醒,AI伴侣存在以下潜在风险:隐私泄露风险、消费陷阱风险、内容安全风险、情感依赖风险。
首先是隐私泄露风险。部分AI伴侣应用在运行期间,存在过度收集用户信息的现象。诸如用户的聊天记录、地理位置、软件使用习惯等数据,均被纳入收集范畴。甚至有应用在未经用户明确同意的情况下,私自读取其他软件信息、浏览记录及访问相册。
第二是消费陷阱风险。AI伴侣应用的收费模式多种多样,包括会员订阅制、虚拟物品销售、功能付费解锁、付费剧情和任务等。然而,部分应用的收费规则缺乏透明度,例如一些功能在付费前未明确告知使用期限和后续收费标准,用户在付费后才意识到存在不少限制。同时,还存在诱导消费行为。以获取虚拟物品为例,虽然单次花费看似不多,但为了集齐特定系列或提升虚拟伴侣等级,用户往往在不知不觉中投入不少金钱,从而造成不必要的经济负担。
第三是内容安全风险。AI伴侣模型训练数据来源广泛,且部分数据收集与筛选不严,这就导致其存在传播不良信息的风险。
第四是情感依赖风险。其给予的反馈内容并非真实的情感体验,而是基于预设算法生成的回应。用户长期依赖这类虚假情感反馈,可能导致其对真实人际关系中的情感互动产生误解,进而降低自身在现实生活中识别和处理真实情感的能力。
建议加强监管健全数据安全管理
江苏省消保委认为,AI伴侣的诞生,为存在情感需求的群体提供了情感寄托的空间,在一定程度上缓解了孤独感与焦虑情绪。但其潜藏的风险不容忽视,尤其是用户隐私安全问题。一旦发生隐私泄露,用户的个人生活、工作将受到严重影响。此外,这种看似贴心的虚拟情感寄托模式,可能悄然演变成用户逃避现实问题的“避风港”,切不可过度沉溺其中。
江苏省消保委建议,监管部门需加大对此类应用市场的监管力度,定期对AI类应用的数据安全、算法合规性、内容合法性等进行检查,对发现的问题及时责令开发者整改。对于严重侵犯消费者权益、违反法律法规的行为,依法予以查处,形成有效的市场震慑。
应用开发者需建立健全的数据安全管理体系,明确数据收集、存储、使用、共享等环节的安全标准和责任。加强对员工的数据安全培训。同时要建立严格的内容审核机制。
消费者在选择AI伴侣应用时,务必仔细审阅隐私政策。优先考虑规则透明、数据保护强、口碑好的应用。若发现存在过度收集个人信息的情况,应及时停用并反馈。始终保持理性的态度,不过度依赖AI伴侣。
通讯员 张一一 扬子晚报/紫牛新闻记者 马燕
校对 陶善工
评论列表 (0条)