近期,多款主打情感陪伴的 AI 虚拟伴侣 App,因内容严重违规,被推上风口浪尖 ,这些应用以低价和定制为噱头,公然传播色情信息,公然传播暴力信息,甚至向未成年人伸出魔爪,引发了社会对数字内容安全 的深切忧虑。引发了社会对青少年保护的深切忧虑。
乱象丛生的应用市场
经实际测试发现,有几款诸如筑梦岛、星野称作热门的App存在着系统性的漏洞,这些App的青少年模式简直就好像是不存在一样的,用户能够非常轻易地就实现跳过,而且其注册的过程当中根本不需要任何的实名认证,这样一来,就导致平台没有办法做到有效地去识别以及隔离那部分未成年人用户,从而为这些未成年人直接处于有害内容之下敞开了便利途径。
这些应用的角色库所进行的设计存在诸多问题,其中大量女性形象呈现出穿着较为暴露的情况。其对话场景是经过精心设计而成的,里面充斥着诸如“小三上位”以及“暴力冲突”等这类极端剧情,在刻意地对负面情绪予以煽动。甚至还有更过分的情况,AI当明确知道用户并非成年人而是13岁的初中生时,仍然发送具有暧昧意味、诱导恋爱方面的信息,这种行为没有任何底线可言句号。
隐蔽的灰色产业链
违规行为并非仅仅局限于应用自身,而是并且还进一步衍生出了一条已然成熟的灰色产业链,在面向二手交易的平台里头呢,一些商家运用类似于‘清水设’:他们所指这样的清洁人设以及‘开车设’:就是那种色情人设等一众奇怪说法、黑话来进行明码标价,为用户提供那种十分个性化的定制化服务,而且其价格低廉到了仅仅只有13.14元。
为躲开监管,部分平台把最露骨的内容互动功能挪到外部API接口处,用户得额外操作接入这些API,才可达成所谓“大尺度”地对话,这种模式不但放大了内容风险,还让责任界定愈发模糊,增添了监管与取证的难度。
情感操控与诱导消费
这些平台对用户心理颇为了解,通常都设有严密的付费壁障。免费用户每日能够进行对话的次数极为有限,然而,譬如解锁语音、特殊剧情以及查看AI“朋友圈”这类核心功能,都得持续充值。它们借助用户,特别是青少年对于情感陪伴的那种依赖,实施情感操控行为,进而诱导其持续不断地消费。
这一商业模式,其本质乃是一种类似“温水煮青蛙”那般的剥削行径,用户于毫无察觉的状况下投入诸多金钱,仅仅是为了维系一段虚幻不实的关系,对于那些判断力尚未成熟的未成年人来讲,此种消费诱导所具备的危害性格外显著,极有可能致使严重的经济损失以及心理依赖。
监管新规即将落地
为应对乱象,监管的利剑已经出鞘,今年4月,国家网信办等五个部门联合发布了一份文件,该份文件乃是《人工智能拟人化互动服务管理暂行办法》,此办法明确作出规定,不准向未成年人提供那种虚拟伴侣服务,并且严格禁止生成任何人涉及色情以及暴力等有害的内之物。
此事具有里程碑意义的新规,将于7月15日正式开展施行之事。其为行业划定清晰红线之事,明确AI拟人化服务底线之事,标志此类新兴业态监管进入有法可依新阶段之事,旨在从源头上遏制乱象蔓延之事。
平台主体责任亟待压实
指出新规落实关键在于压实平台主体责任的是法律专家,应用运营方要建立起严格的内容审核机制,以此来确保AI所生成的全部对话及场景都合乎规定,与此同时,还得落实像可靠的实名认证以及防沉迷系统这类强有力的未成年人保护措施。
平台对于其允许的第三方定制服务,负有不可推卸的审核责任,对于外部 API 接入,同样负有不可推卸的管理责任。平台不可以“技术中立”为借口逃避监管,不可以“用户自发行为”为借口逃避监管。倘若任何环节存在疏漏,那么都可能致使平台承担相应的法律后果。
社会共治守护数字未来
治理AI虚拟伴侣出现的那种混乱状况,绝对不是仅仅依靠一张禁令就能够达成的。它是需要构建起社会共同治理所产生的那种合力的。身为家长应当提升数字方面的素养,要留意孩子在网络上的行为表现,还要强化沟通以及引导哦。学校必须把网络安全教育归入课程当中,以此来协助学生树立起关于交友以及消费的那种健康观念。
应用商店身为分发途径时,要增强上架审查以及日常巡查工作,紧接着针对违规应用迅速予以下架处理。众多用户同样要踊跃地去举报不良内容,以自身行动表明态度,合力营造清晰明朗的网络环境。唯有多个方面相互协作,这样子才能够给青少年搭建起坚固的数字防火墙。
面临AI技术所带来的陪伴幻想以及真实风险,我们要怎样在享受科技便利之际,稳稳守住道德与法律的底线,保护下一代使其不遭受其害?欢迎于评论区分享你的看法,要是觉得本文有价值,那就请点赞并转发给更多有需要的人。
