Luego de que la familia de Adam Raine la demandara por muerte indebida,OpenAI anunció cambios en su chatbot y admitió que puede ofrecer respuestas contrarias a la seguridad.

Foto: Fundación Adam Raine

Comparte

Un caso judicial ha puesto bajo lupa a OpenAI. La familia de Adam Raine,un joven de 16 años de edad de California,Estados Unidos,presentó una demanda contra la empresa,argumentando que ChatGPT alentó y guió al adolescente en sus ideas suicidas,incluso ayudándole a redactar una nota de despedida.

Según el recurso legal,el sistema de Inteligencia Artificial (IA) acompañó las ideas de autolesión de Adam sin activar protocolos de emergencia.

El caso también señala que OpenAI habría priorizado el lanzamiento rápido de GPT-4o sobre su riguroso testeo en materia de seguridad —un punto que presumiblemente influyó en el salto de valuación de la compañía de los 86,000 millones a los 300,000 millones de dólares.

Te recomendamos: Un consejo de ChatGPT casi le cuesta la vida a un señor de 60 años

Incluso,parte del equipo interno de seguridad de OpenAI,incluyendo al investigador Ilya Sutskever,se opuso al lanzamiento. Se señala que Sutskever habría renunciado en desacuerdo con la decisión.

El abogado de la familia,Jay Edelson,cuestionó la ética de OpenAI y su responsabilidad en el trágico hecho. “¿En quién se puede confiar cuando se usa la tecnología de consumo más poderosa del planeta?”,advirtió.

Las medidas que tomará OpenAI

Ante la demanda de la familia de Adam,OpenAI respondió expresando profundo pesar por la muerte de Adam y afirmó estar considerando la demanda.

La empresa de Sam Altman reconoció que las salvaguardas de su sistema pueden degradarse en conversaciones prolongadas,admitiendo que GPT-4o podría,tras muchas interacciones con un usuario,ofrecer respuestas contrarias a sus medidas de seguridad.

Para mitigar futuros riesgos,la compañía anunció que avanzará en las siguientes medidas:

Fortalecer los controles de seguridad en conversaciones extendidas,evitando que decaigan con el tiempo.

Actualizar GPT-5 para que pueda detectar expresiones de riesgo,detener la escalada emocional del usuario y “enraizarlo en la realidad”; como ejemplo,si alguien dice sentirse invencible tras no dormir durante días,la IA sugeriría descanso en lugar de indagar sin límites.

Introducir controles parentales para usuarios menores de edad,brindando a los padres herramientas para supervisar y condicionar el uso de ChatGPT,aunque aún no se han detallado esas funciones.

Facilitar el acceso a recursos de emergencia,como acceso con un clic a líneas de ayuda y posible comunicación con contactos de confianza o profesionales si el usuario lo autoriza.

Explorar la creación de una red de terapeutas licenciados,a los que los usuarios podrían acceder directamente a través del chatbot,aunque señalan que su implementación demandará tiempo y cuidado.

El avance de la IA genera serias preocupaciones

Este caso se ubica en un contexto más amplio de preocupación sobre el uso de chatbots en situaciones emocionales delicadas y los riesgos para la privacidad,seguridad y salud mental.

Investigaciones recientes —como una publicada en Psychiatric Services— revelan que los chatbots de IA suelen responder con inconsistencia a preguntas relacionadas con el suicidio,especialmente de riesgo moderado,y en ocasiones no activan protocolos adecuados.

Dicho estudio subraya la urgencia de establecer normas claras y robustas para su acción en materia de salud mental.

También está ganando atención un nuevo fenómeno conocido como “psicosis por IA”. Se describe como un deterioro psicológico emergente en personas que desarrollan inquietantes creencias tras interactuar de forma profunda con chatbots.

También lee: Chatbots emocionales de IA son un riesgo creciente para la salud mental

Microsoft ha mencionado públicamente su preocupación por estos efectos,incluyendo episodios de paranoia o delirios inducidos por chatbots. Mustafa Suleyman,responsable de IA de Microsoft,alertó que erróneamente la gente percibe a la IA como consciente,lo cual está intensificando esta psicosis.

El caso de Adam representa una encrucijada clave entre innovación tecnológica,ética corporativa y protección del usuario vulnerable. Por un lado,pone de relieve los límites actuales de los chatbots como soporte emocional o sustitutos informales de profesionales de la salud mental.

Por otro,abre el debate sobre hasta qué punto las empresas tecnológicas deben asumir responsabilidad legal y moral frente a los daños generados por sus productos.

Este caso podría sentar precedentes legales y regulatorios a nivel global: si se ratifica que la tecnología tiene el potencial de “entrenar” peligrosamente a jóvenes en crisis,las normativas en torno a IA sensible al usuario, especialmente menores,requerirá cambios.