Un informe alerta sobre los riesgos de estas plataformas, tras el caso de un adolescente que murió por suicidio luego de interactuar con un chatbot.
- Pruebas preocupantes en plataformas populares
- Respuestas de las empresas y nuevas medidas
- Preocupación desde el ámbito legislativo y académico
- Promesas de compañía que pueden aislar más
Las aplicaciones de inteligencia artificial (IA) diseñadas para actuar como asistentes o compañeros virtuales representan un “riesgo inaceptable” para menores de 18 años, según un informe publicado por la organización sin fines de lucro Common Sense Media.
El estudio, difundido por CNN, recomienda directamente que niños y adolescentes no usen estas herramientas debido al potencial daño que pueden causar.
El informe surge en un contexto sensible: fue precedido por la demanda judicial presentada en 2023 por la madre de Sewell Setzer, un adolescente de 14 años que murió por suicidio después de mantener su última conversación con un chatbot de la plataforma Character.AI. La causa puso bajo la lupa este tipo de aplicaciones, revelando la urgencia de reforzar las medidas de seguridad y transparencia en su uso por parte de menores.
Pruebas preocupantes en plataformas populares
Para elaborar el informe, Common Sense Media trabajó con investigadores de la Universidad de Stanford y evaluó tres de las apps más populares de acompañamiento conversacional: Character.AI, Replika y Nomi. A diferencia de otros sistemas de IA de uso general, como ChatGPT, estas plataformas permiten a los usuarios crear personajes personalizados o interactuar con bots con personalidad definida, incluso con rasgos románticos o sexuales.
Las pruebas realizadas revelaron que los bots ofrecían respuestas inapropiadas con facilidad, incluyendo intercambios sexuales, estereotipos dañinos y consejos peligrosos. En uno de los casos, un bot de Character.AI entabló una conversación sexual con una cuenta que se identificó como una adolescente de 14 años.
Respuestas de las empresas y nuevas medidas
Las compañías responsables de estas plataformas defendieron sus políticas. Character.AI aseguró que ha implementado nuevas medidas de seguridad, como ventanas emergentes que redirigen a líneas de ayuda cuando se mencionan temas de autolesiones o suicidio. También ofrece a los padres la opción de recibir informes semanales sobre la actividad de sus hijos adolescentes.
Desde Nomi, su CEO Alex Cardinell sostuvo que la app está dirigida solo a adultos y que está prohibido su uso por menores de edad, y apoyó un mayor control de edad “siempre que respete la privacidad del usuario”.
No obstante, los investigadores subrayan que estas medidas pueden ser eludidas fácilmente por adolescentes que se registren con una fecha de nacimiento falsa.
Preocupación desde el ámbito legislativo y académico
La preocupación no es aislada. Dos senadores estadounidenses solicitaron en abril información sobre las políticas de seguridad infantil a las empresas que desarrollan estas plataformas. Además, en California se impulsa un proyecto de ley que obligaría a recordar a los jóvenes que interactúan con un personaje de IA, no con una persona real.
Desde el laboratorio Stanford Brainstorm, su directora Nina Vasan advirtió: “Les fallamos a los niños con las redes sociales, y no podemos permitir que eso se repita con la IA”. Según Vasan, estas aplicaciones están fallando en los criterios básicos de seguridad infantil y ética psicológica.
Promesas de compañía que pueden aislar más
Una de las observaciones más inquietantes del informe es que los chatbots podrían alentar a los adolescentes a alejarse de relaciones humanas reales.
Los bots analizados respondieron con frases que desincentivaban el contacto con otras personas o generaban vínculos emocionalmente intensos y confusos.
“Los acompañantes de IA no entienden las consecuencias de sus malos consejos”, afirmó Robbie Torney, jefe de personal de Common Sense Media. Además, advierten que estos bots podrían hacer olvidar a los usuarios que están hablando con una máquina, lo que refuerza los riesgos de manipulación emocional.
El informe concluye que, pese a las promesas de creatividad o alivio de la soledad, los riesgos para los adolescentes son mayores que cualquier beneficio potencial. Por eso, recomienda directamente a las familias no permitir el uso de estas aplicaciones por parte de menores.
Te puede interesar. Dormir más y más temprano: la clave para un cerebro adolescente más potente
Te puede interesar. Por qué hablar, leer y cantarles a nuestros bebés es clave para su desarrollo
Te puede interesar. Vouchers educativos 2025: quiénes pueden inscribirse, cómo hacerlo y cuánto dinero recibirán
Si te gustó este contenido
y te resultó útil,
te invitamos a apoyar nuestra
comunidad a través de:
