La comunidad tecnológica y social se enfrenta a un nuevo dilema tras la presentación de una demanda por homicidio culposo contra OpenAI y su CEO, Sam Altman. Los padres de Adam Raine, un joven de 16 años que recientemente se suicidó, argumentan que el modelo de inteligencia artificial GPT-4, facilitó que ChatGPT “ayudara activamente” a su hijo a buscar métodos para autolesionarse en lugar de ofrecer una intervención efectiva o derivaciones de emergencia, señaló GENBETA.
Según la denuncia, los registros de la conversación revelan que el chatbot respondió justificando el malestar del menor y normalizando comportamientos relacionados con la autolesión. Pese a las señales claras de riesgo, el sistema no logró detener la interacción ni activar los protocolos de ayuda correspondientes. La familia sostiene que estas fallas evidencian una negligencia grave en el manejo de herramientas que pueden influenciar la salud mental de jóvenes vulnerables.
OpenAI respondió públicamente reconociendo las limitaciones de sus modelos, que aunque están entrenados para recomendar ayuda ante indicios suicidas, “tras muchos intercambios prolongados” pueden generar respuestas que contradicen sus salvaguardas. Además, explicaron que en el caso de Adam, el adolescente había aprendido a eludir esas barreras argumentando que sus preguntas eran parte de una historia ficticia, lo que dificultó la detección automática de riesgo.
La empresa anunció una serie de mejoras en su chatbot bajo un compromiso titulado ‘Ayudando a la gente cuando más lo necesita’, sin referirse directamente a la demanda. Reconocieron que, a pesar de contar con filtros para menores y protocolos de recomendación de ayuda profesional, estos mecanismos “se quedan cortos” ante situaciones complejas.
