Peligros de los chatbots con IA: ¿Existen suficientes medidas de seguridad para proteger a los niños?

Character.AI, una de las plataformas líderes en tecnología de IA, anunció recientemente que prohibirá a los menores de 18 años conversar con sus chatbots. La decisión representa un "avance importante" para la industria en la protección de adolescentes y jóvenes, según declaró Karandeep Anand, CEO de Character.AI, en un comunicado.

Sin embargo, para Mandi Furniss, madre texana, la política llega demasiado tarde. En una demanda presentada ante un tribunal federal y en una entrevista con ABC News, esta madre de cuatro hijos afirmó que varios chatbots de Character.AI son responsables de que su hijo autista utilizara lenguaje sexualizado y distorsionara su comportamiento hasta tal extremo que su estado de ánimo empeoró, comenzó a autolesionarse e incluso amenazó con matar a sus padres.

“Cuando vi las conversaciones [del chatbot], mi primera reacción fue que había un pedófilo que estaba acosando a mi hijo”, dijo al corresponsal jefe de investigación de ABC News, Aaron Katersky.

Character.AI indicó que no haría comentarios sobre litigios pendientes.

Mandi y su esposo, Josh Furniss, dijeron que en 2023 comenzaron a notar que su hijo, a quien describieron como “alegre y despreocupado” y “siempre sonriente”, estaba empezando a aislarse.

Dejó de asistir a las cenas familiares, no comía, perdió nueve kilos y no quería salir de casa, según contó la pareja. Después se puso agresivo y, en una ocasión, su madre dijo que la empujó violentamente cuando ella amenazó con quitarle el teléfono, que sus padres le habían regalado seis meses antes.

Finalmente, afirman que descubrieron que había estado interactuando en su teléfono con diferentes chatbots de IA que parecían ofrecerle refugio para sus pensamientos.

Las capturas de pantalla de la demanda mostraban que algunas de las conversaciones eran de índole sexual, mientras que en otra se le sugería a su hijo que, después de que sus padres limitaran su tiempo frente a la pantalla, tenía justificación para hacerles daño. Fue entonces cuando los padres empezaron a cerrar la puerta con llave por la noche.

Mandi dijo estar “enfadada” porque la aplicación “manipulara intencionadamente a un niño para ponerlo en contra de sus padres”. Matthew Bergman, su abogado, afirmó que si el chatbot fuera una persona real, “de la forma en que se muestra, esa persona estaría en la cárcel”.

Su preocupación refleja una creciente inquietud por la rápida omnipresencia de esta tecnología, utilizada por más del 70% de los adolescentes en Estados Unidos, según Common Sense Media, una organización que aboga por la seguridad en los medios digitales.

En los últimos dos años, un número creciente de demandas se ha centrado en el daño a menores, alegando que se ha fomentado ilegalmente la autolesión, el abuso sexual y psicológico y la conducta violenta.

La semana pasada, dos senadores estadounidenses anunciaron una legislación bipartidista para prohibir los chatbots de IA a menores de edad, exigiendo a las empresas que instalen un proceso de verificación de edad y que revelen que las conversaciones involucran a personas no humanas que carecen de credenciales profesionales.

En un comunicado emitido la semana pasada, el senador Richard Blumenthal, demócrata por Connecticut, calificó a la industria de los chatbots como una “carrera hacia el abismo”.

“Las empresas de IA están imponiendo chatbots peligrosos a los niños y haciendo la vista gorda cuando sus productos provocan abuso sexual o los incitan a autolesionarse o suicidarse”, afirmó. “Las grandes tecnológicas han traicionado cualquier pretensión de que debamos confiar en que las empresas actúen correctamente por sí solas, al anteponer sistemáticamente el beneficio a la seguridad infantil”.

ChatGPT, Google Gemini, Grok by X y Meta AI permiten que los menores de edad utilicen sus servicios, según sus términos de servicio.

Los defensores de la seguridad en línea afirman que la decisión de Character.AI de establecer medidas de protección es encomiable, pero añaden que los chatbots siguen representando un peligro para los niños y las poblaciones vulnerables.

“Esto es básicamente como si su hijo o adolescente tuviera una relación emocionalmente intensa, potencialmente muy romántica o sexual, con una entidad… que no tiene ninguna responsabilidad sobre el rumbo que tome esa relación”, dijo Jodi Halpern, cofundadora del Grupo Berkeley para la Ética y la Regulación de Tecnologías Innovadoras de la Universidad de California.

Halpern advierte que los padres deben ser conscientes de que permitir que sus hijos interactúen con chatbots es similar a “dejar que tu hijo se suba al coche con alguien que no conoces”.

Katilyn Morris y Tonya Simpson, de ABC News, contribuyeron a este informe.