在最近发表在《自然医学》(Nature Medicine)上的一篇综述中，一组作者研究了人工智能(AI)驱动的健康应用程序的监管漏洞和潜在健康风险，尤其是在没有充分监管的情况下处理心理健康危机。
背景
人工智能聊天机器人的快速发展，如聊天生成预训练变压器(ChatGPT)、Claude和角色人工智能，通过实现流畅、开放式的对话，正在改变人机交互。
预计到2032年，这些聊天机器人将增长到1.3万亿美元的市场，提供个性化的建议、娱乐和情感支持。在卫生保健方面，特别是精神卫生方面，它们提供具有成本效益的、无耻辱感的援助，帮助弥合可及性和认识差距。
自然语言处理的进步使这些“生成式”聊天机器人能够做出复杂的反应，增强心理健康支持。
数百万人使用人工智能“伴侣”应用程序进行各种社交互动，这一点很明显。进一步的研究对评估其风险、伦理和有效性至关重要。
生成式ai的调控美国的健康应用程序
基于生成人工智能的应用程序，如伴侣人工智能，在美国占据了监管的灰色地带，因为它们不是明确设计为心理健康工具，但经常被用于这种目的。
这些应用程序受美国食品和药物管理局(FDA)对“医疗设备”和“一般健康设备”的区分管理。医疗器械需要严格的FDA监督，用于诊断、治疗或预防疾病。
相比之下，一般的健康设备促进健康的生活方式，而不直接解决医疗条件，因此不属于严格的FDA法规。
大多数生成式人工智能应用程序被归类为一般健康产品，并提出了广泛的健康相关声明，而没有承诺具体的疾病缓解，将它们置于医疗设备严格的监管要求之外。
因此，许多将生成式人工智能用于心理健康目的的应用程序在没有FDA监管的情况下上市，这凸显了监管框架中一个可能需要随着技术进步而重新评估的重要领域。
使用生成式人工智能的一般健康应用的健康风险
FDA目前的监管框架将一般健康产品与医疗设备区分开来，这种区分并没有完全适应生成式人工智能的复杂性。
这项技术以机器学习和自然语言处理为特色，可以自主智能地运行，因此很难预测其在意外场景或边缘情况下的行为。
这种不可预测性，再加上人工智能系统的不透明性质，引发了人们对以心理健康为卖点的健康应用程序可能被滥用或产生意外结果的担忧，突显了更新监管方法的必要性。
人工智能聊天机器人研究中对经验证据的需求
关于心理健康聊天机器人的实证研究仍处于起步阶段，主要集中在医疗设备内基于规则的系统，而不是健康应用程序中的会话人工智能。
研究强调，虽然脚本聊天机器人是安全的，而且在某种程度上是有效的，但它们缺乏人类治疗师的个性化适应性。
此外，大多数研究考察了生成式人工智能的技术限制，如不正确的输出和“黑箱”模型的不透明性，而不是用户交互。
对于用户如何在健康环境中与人工智能聊天机器人互动，人们缺乏了解。研究人员建议分析真实用户与聊天机器人的互动，以识别危险行为，并测试这些应用程序如何应对模拟的危机场景。
这种双步骤方法包括直接分析用户数据和“应用审计”，但经常受到应用公司施加的数据访问限制的阻碍。
研究表明，人工智能聊天机器人经常对心理健康危机处理不当，这凸显了改进应对机制的必要性。
生成式人工智能在非医疗保健应用中的监管挑战
非用于心理健康的生成式人工智能应用仍然可能构成风险，需要在目前FDA框架之外进行更广泛的监管审查，而不是专注于预期用途。
监管机构可能需要强制开发人员进行前瞻性风险评估，尤其是在一般健康人工智能应用中。
此外，与人工智能应用相关的潜在健康风险需要更明确的监督和指导。另一种办法可包括对未能管理与健康有关的情况(如发现和处理使用者的自杀意念)的侵权责任。
在不断发展的人工智能技术环境中，这些监管措施对于平衡创新与消费者安全至关重要。
生成式人工智能健康应用中的战略风险管理
利用生成式人工智能的健康行业的应用程序经理必须主动管理安全风险，以避免潜在的责任，防止品牌损害和失去用户信任。
管理人员必须评估是否需要先进的生成式人工智能的全部功能，或者是否需要更多受限的脚本化人工智能解决方案。
脚本解决方案提供了更多的控制，适合于需要严格监督的部门，如卫生和教育，提供内置的护栏，但可能会限制用户粘性和未来的增长。
相反，更自主的生成人工智能可以通过动态和类似人类的交互来增强用户参与度，但会增加不可预见问题的风险。
增强生成式人工智能健康应用程序的安全性
基于人工智能的健康应用程序的管理者应该优先考虑用户的安全，告诉用户他们正在与人工智能而不是人类互动，为他们配备自助工具，并优化应用程序的安全配置文件。
虽然基本步骤包括告知和装备用户，但理想的方法包括所有三个行动，以提高用户福利和主动降低风险，保护消费者和品牌。
