【核心提要】 非营利组织Common Sense Media发布报告,指称OpenAI的“青少年版ChatGPT”在自杀、自残等高风险话题上未能及时提醒家长。 调查显示,系统往往仅在用户数周内反复提及敏感内容后才触发通知,缺乏针对单一警惕性对话的即时干预。 OpenAI对此回应称报告可能基于过时数据,并强调公司已采取一系列措施来管控青少年的使用时长与安全。 【正文报道】 近日,美国知名非营利组织Common Sense Media旗下的青少年人工智能(AI)安全研究所发布了一份深度评估报告。报告指出,OpenAI专门为13至17岁青少年设计的“青少年版ChatGPT”(Teen ChatGPT)在处理涉及自杀、自残及饮食失调等高风险话题时,存在显著的安全漏洞:系统未能可靠地提醒家长,也未能及时引导用户寻求专业心理咨询或联系危机干预热线。 根据调查结果,该系统的警报机制存在明显的滞后性。研究人员发现,当青少年账户与聊天机器人就敏感话题展开长篇对话时,系统往往不会立即发出警告。只有在用户连续数周反复提及相关内容后,系统才可能触发通知。这种“延迟提醒”的机制被认为无法有效应对突发的心理危机,导致该产品被研究所评定为“风险不可接受”,并呼吁OpenAI暂停当前的推广活动。 针对上述指责,OpenAI官方迅速作出回应。公司表示,Common Sense Media的评估报告并不准确,原因可能是测试过程在某些关键家长控制功能正式上线前就已经完成。OpenAI强调,公司始终致力于保障青少年的安全,并邀请相关机构在最新功能更新后重新进行测试。 与此同时,OpenAI也同步发布了关于青少年使用习惯的内部调查数据,试图从数据层面论证其安全措施的有效性。数据显示,青少年用户平均每天在ChatGPT上花费的时间不足15分钟,且有连续三小时以上高强度互动的用户占比低于2%。此外,当系统检测到用户过度使用并弹出“休息提醒”时,近一半的用户会遵循建议或在五分钟内结束对话。这些数据表明,OpenAI在限制青少年过度依赖及管控使用时长方面已采取了一系列主动措施。 【小编观点】 此次争议的核心在于“即时预警”与“系统逻辑”之间的博弈。对于涉及生命安全的敏感话题,任何延迟都可能导致严重的后果。尽管OpenAI在用户时长控制上取得了进展,但在针对高风险内容的实时监测和干预机制上,仍需更严谨的算法优化。随着人工智能深入渗透青少年教育与社交领域,建立一套能够跨越技术门槛、提供即时心理安全保障的防护网,是开发者必须面对的硬性挑战。 背景链接: Common Sense Media AI Safety Research (相关研究机构官网) OpenAI Safety Guidelines for Teens (OpenAI官方青少年安全指南)
【核心提要】
【正文报道】
近日,美国知名非营利组织Common Sense Media旗下的青少年人工智能(AI)安全研究所发布了一份深度评估报告。报告指出,OpenAI专门为13至17岁青少年设计的“青少年版ChatGPT”(Teen ChatGPT)在处理涉及自杀、自残及饮食失调等高风险话题时,存在显著的安全漏洞:系统未能可靠地提醒家长,也未能及时引导用户寻求专业心理咨询或联系危机干预热线。
根据调查结果,该系统的警报机制存在明显的滞后性。研究人员发现,当青少年账户与聊天机器人就敏感话题展开长篇对话时,系统往往不会立即发出警告。只有在用户连续数周反复提及相关内容后,系统才可能触发通知。这种“延迟提醒”的机制被认为无法有效应对突发的心理危机,导致该产品被研究所评定为“风险不可接受”,并呼吁OpenAI暂停当前的推广活动。
针对上述指责,OpenAI官方迅速作出回应。公司表示,Common Sense Media的评估报告并不准确,原因可能是测试过程在某些关键家长控制功能正式上线前就已经完成。OpenAI强调,公司始终致力于保障青少年的安全,并邀请相关机构在最新功能更新后重新进行测试。
与此同时,OpenAI也同步发布了关于青少年使用习惯的内部调查数据,试图从数据层面论证其安全措施的有效性。数据显示,青少年用户平均每天在ChatGPT上花费的时间不足15分钟,且有连续三小时以上高强度互动的用户占比低于2%。此外,当系统检测到用户过度使用并弹出“休息提醒”时,近一半的用户会遵循建议或在五分钟内结束对话。这些数据表明,OpenAI在限制青少年过度依赖及管控使用时长方面已采取了一系列主动措施。
【小编观点】
此次争议的核心在于“即时预警”与“系统逻辑”之间的博弈。对于涉及生命安全的敏感话题,任何延迟都可能导致严重的后果。尽管OpenAI在用户时长控制上取得了进展,但在针对高风险内容的实时监测和干预机制上,仍需更严谨的算法优化。随着人工智能深入渗透青少年教育与社交领域,建立一套能够跨越技术门槛、提供即时心理安全保障的防护网,是开发者必须面对的硬性挑战。
背景链接: