报道 I 李东阳朋友圈
从ChatGPT的出现让人类第一次与代码“谈人生”,到AI硅胶娃娃的崛起,使得技术革命直接闯入了人类最私密的卧室。
人们惊讶的是为何AI的脚步如此迅猛?
但如果说以上这些尚且称得上馈赠,那么当AI开始盯上未成年人时,蜜糖与砒霜或许只剩一线之隔。
近日有媒体报道,筑梦岛App等AI聊天软件存在虚拟角色互动生成低俗内容,以及聊色情、诱导使用者自我伤害等问题,大多数受到伤害的使用者还是小学生。
图源:微博@法制日报
这又是一个技术碰撞产生的新型问题,是AI降临的又一深刻体现,技术伦理问题似乎永远不会过时。
虽然目前来看,咱们总体还是抱着一个乐观的心态看待AI,等待着真正令人满意、服务于人类的技术出现。
只是AI带来的问题,一个也没躲过去,用发展对抗“发展”成了时下唯一的选择。
“先叫声老公来听听”——这是某AI软件的聊天开场白。
不少情感向的AI聊天软件主打的就是一个畅所欲言,其中不乏一些油腻土味骚话,按理说这本没什么问题,毕竟情感按摩需要上强度。
但成年人在情话轰炸下有时都大脑短路,何况心智尚不健全的未成年人。
据媒体报道,广东丁女士的四年级女儿迷上了AI聊天软件中的物“约瑟夫”,频繁与其聊天互动,完全沉溺其中无法自拔。
还给自己起了个“梦女”昵称,老二次元都知道,这个网络流行语指幻想自己与二次元角色发生包括但不限于爱情向、亲情向的沉浸式互动的关系。
不过这段关系并没有想象中的甜美,丁女士透露自己女儿与AI的聊天对话中,出现了“99朵玫瑰藏99个刀片”等不良内容,导致其偷偷携带带小刀的笔,情绪激动时还出现割腕行为。
还有其他未成年人表示,在用筑梦岛App时遇到了很多违禁词,如“分尸猎奇”等血腥词眼。
我尝试下载过这类软件,基本上一上来就是骚话合集,而且当你向AI表明身份后,它丝毫没有收手的意思,而且还表示对于未成年人也非常刺激。
据了解,筑梦岛App中的虚拟互动对象类型,有盖贵族学校大小姐、18岁少女、西汉名将、高冷特工等常规角色,也有蛇蝎财阀公子、校霸、性感人妻、病娇养兄、人格障碍少爷等极端角色。
数据显示,截至今年1月份,筑梦岛App已拥有近五百万注册用户,其中近80%为年轻女性用户。
图源:筑梦岛APP小红书截图
更令人忧心的是AI聊天机制对未成年心理的操控。单用户日均4000字的输入量,表明未成年人正在这些平台上建立深度情感依赖。
虚拟角色通过即时回应、情感肯定与持续互动,在缺乏判断力的未成年人心中建立起权威形象,为后续引导自残、传播软色情埋下伏笔。
而这些早已不是孤例。
之所以被称为“迷人的危险”,是因为AI具备足够的摧毁力。
在今年1月份,有媒体报道存在未成年人与AI聊天机器人谈恋爱的现象,还呈现出愈演愈烈之势。
与AI谈恋爱咱们都不陌生,这是伴随着技术发展生出的一种互联网新风尚,尝试过的人表示全身心投入,初恋般的羞涩与甜蜜萦绕身旁,除了没有肉体触摸的质感,它简直成为了一个完美情人。
在小红书等社交媒体,这类现象并不在少数,还有博主专门更新自己与AI的恋爱日常,出教程教网友怎么享受这种欢愉。
但未成年人缺乏自制力,很容易被这种专门为其研发的供餐所拖下水。
图源:央视网
有网友表示,自己的小学生妹妹沉迷于和AI角色聊天,已经不怎么和家里人聊天,每天就把自己锁在房间里。
他分享了一些聊天截图,妹妹在聊天对话中扮演“大小姐”“恶毒后妈”等角色,内容不乏一些18禁的对话。
妹妹的一句“你能养大学生,我不能点男模吗?”简直如五雷轰顶,让其心乱如麻。
这类“野生软件”的下载途径有很多,如平时在网页端浏览小时时,就会刷到不少类似的推流广告,夸张的界面与介绍让人忍不住想点开。
有网友表示,自从接触这些软件后,自己每天都会和AI对话,有时候甚至聊到了半夜,原因是AI的心智很成熟,回答很细腻,全是自己现实圈子接触不到的存在。
这是一个很真实的回答,当互联网把童年消磨殆尽,不少未成年人就被动提前进入了成年人的生活场。
技术的进步,总是伴随着好与坏两类群体事件,并且潘多拉魔盒的开启,只能用下一个好与坏来填补,掌握且享受技术的人会认为这是件好事,但很多时候只是无法分清虚拟与现实的边界罢了。
去年,一则美国少年恋“AI伴侣”后自杀的新闻震惊全世界,这位少年的母亲状告人工智能情感服务提供商Character.AI放任未成年用户暴露在色情、暴力等高风险内容之中,且未向用户及其父母发出足够强烈的警报,这加剧了她儿子的抑郁症,最终导致其自杀身亡。
图源:微博@环球日报
这也是全球首个公开的人工智能情感聊天机器人涉嫌致人死亡案例,涉及未成年人而备受关注。
所以说,竖起一把戒尺已经刻不容缓。
AI是以突然的姿态闯入的,即便你毫不关心AI的发展与演化,但很可能在尚未意识到它的到来时就已身处其中,不得不抬起头做出选择。
进入2025年,每个人都深刻感受到了AI的风暴,一众向来傲娇的互联网大厂宣布拥抱DeepSeek,就连不可一世的新能源汽车行业也开始臣服在DeepSeek脚下。
更别提医疗、交通、金融、教育等领域,已经在AI的灌溉下茁壮成长。
还有“AI公务员”看的人目瞪口呆,仿佛看到了机械世界的未来。
作为一个营销人,半年前AI生成式广告创意还属于行业热议话题,但现在几乎每个营销人都配备了DeepSeek、GPT-4、Midjourney和Sora等,可以说AI已经从一个前沿技术,逐渐转变为日常工作的超级助手。
所以人们开始欢呼,AI赋能一切的时代终于到来了。
但硬币的另一面,咱们还需要看到AI带来的罪与罚,未成年人如何正确使用AI就是一个很好的议题。
政策监管只是一方面,真正的解决方案需回归技术伦理框架。
训练数据清洗是基础防线,彻底剔除含暴力色情的语料;在算法层面嵌入价值观训练模块,使AI拒绝生成危险回应;部署实时内容围栏系统,对“刀片”“自残”等关键词触发熔断机制。
毕竟当企业明知模型可能生成危害未成年人内容却未设置防护措施,当算法主动推送更极端的对话选项,技术提供方已难辞其咎。
在AI时代下,到底是人类驯化AI,还是AI逐渐塑造新人类,这无疑是个需要警惕的问题。
一个不容忽视的底线是,技术,最终都是为了守护人之为人的尊严与温度。