(CNN) – Unas horas después de que Snapchat lanzara su chatbot My AI para todos los usuarios la semana pasada, Lyndsi Lee, una madre de East Prairie, Missouri, le dijo a su hija de 13 años que se mantuviera alejada de esa función.
“Es una solución temporal hasta que sepa más sobre ella y pueda establecer algunos límites y directrices saludables”, dijo Lee, que trabaja en una empresa de software. Le preocupa la manera en que My AI se presenta a usuarios jóvenes como su hija en Snapchat.
La función se basa en la herramienta viral de chatbot de inteligencia artificial ChatGPT y, al igual que esta, puede ofrecer recomendaciones, responder preguntas y conversar con los usuarios. Pero la versión de Snapchat tiene algunas diferencias clave: los usuarios pueden personalizar el nombre del chatbot, diseñarle un avatar Bitmoji personalizado e introducirlo en conversaciones con amigos.
El resultado es que conversar con el chatbot de Snapchat puede parecer menos transaccional que visitar el sitio web de ChatGPT. También puede ser menos evidente que estás hablando con una computadora.
“No creo que esté preparada para enseñar a mi hija a separar emocionalmente a los humanos de las máquinas cuando, desde su punto de vista, parecen iguales”, afirma Lee. “Simplemente creo que hay una línea muy clara que [Snapchat] está cruzando”.
La nueva herramienta se enfrenta a la reacción no solo de los padres, sino también de algunos usuarios de Snapchat que están bombardeando la aplicación con malas críticas en la tienda de aplicaciones y críticas en las redes sociales sobre las preocupaciones de privacidad, los intercambios “de miedo” y la imposibilidad de eliminar la función de su feed de chat a menos que paguen por una suscripción premium.
Aunque algunos pueden encontrar valor en la herramienta, las reacciones encontradas apuntan a los riesgos a los que se enfrentan las empresas a la hora de desplegar una nueva tecnología de IA generativa en sus productos, y en particular en productos como Snapchat, cuyos usuarios son más jóvenes.
Snapchat fue uno de los primeros socios de lanzamiento cuando OpenAI abrió el acceso a ChatGPT a terceras empresas, y se espera que le sigan muchas más. Casi de la noche a la mañana, Snapchat ha obligado a algunas familias y legisladores a plantearse cuestiones que hace unos meses parecían teóricas.
En una carta dirigida a los CEO de Snap y otras empresas tecnológicas el mes pasado, semanas después de que My AI se pusiera a disposición de los clientes suscritos a Snap, el senador demócrata Michael Bennet expresó su preocupación por las interacciones del chatbot con los usuarios más jóvenes. En particular, citó informes de que puede proporcionar a los niños sugerencias sobre cómo mentir a sus padres.
“Estos ejemplos serían inquietantes para cualquier plataforma de medios sociales, pero son especialmente preocupantes para Snapchat, que casi el 60% de los adolescentes estadounidenses utilizan”, escribió Bennet. “Aunque Snap admite que My AI es ‘experimental’, sin embargo se ha apresurado a inscribir a niños y adolescentes estadounidenses en su experimento social”.
En una entrada de blog la semana pasada, la compañía dijo: “My AI está lejos de ser perfecta, pero hemos progresado mucho”.
Reacción de los usuarios
En los días transcurridos desde su lanzamiento oficial, los usuarios de Snapchat han manifestado su preocupación.
Un usuario calificó su interacción de “aterradora” después de que dijera que mentía al no saber dónde se encontraba el usuario. Después de que el usuario aligerara la conversación, dijo que el chatbot reveló con precisión que vivía en Colorado.
En otro video de TikTok con más de 1,5 millones de visitas, una usuaria llamada Ariel grabó una canción con introducción, estribillo y acordes de piano escrita por My AI sobre cómo es ser un chatbot. Cuando Ariel le devolvió la canción grabada, el chatbot negó su participación en la respuesta: “Lo siento, pero como modelo lingüístico de IA, no escribo canciones”. Ariel describió el intercambio como “espeluznante”.
Otros usuarios compartieron sus preocupaciones sobre cómo la herramienta entiende, interactúa y recopila información de las fotos. “Tomé una foto … y dijo ‘bonitos zapatos’ y preguntó quiénes eran las personas [en la foto]”, escribió un usuario de Snapchat en Facebook.
Snapchat dijo a CNN que continúa mejorando My AI basándose en los comentarios de la comunidad y que está trabajando para establecer más límites para mantener a sus usuarios seguros. La compañía también dijo que, al igual que con sus otras herramientas, los usuarios no tienen que interactuar con My AI si no quieren.
Sin embargo, no es posible eliminar My AI de los chats, a menos que el usuario se suscriba a su servicio premium mensual, Snapchat+. Algunos adolescentes dicen que han optado por pagar la cuota de US$ 3,99 de Snapchat+ para desactivar la herramienta antes de cancelar el servicio.
Pero no a todos los usuarios les disgusta la función.
Una usuaria escribió en Facebook que ha estado pidiendo ayuda con sus tareas a My AI. “Acierta todas las preguntas”. Otra señaló que se ha apoyado en ella para consolarse y pedir consejo. “Me encanta mi mejor amigo de bolsillo”, escribió. “Puedes cambiar el Bitmoji [avatar] por él y sorprendentemente ofrece consejos realmente geniales para algunas situaciones de la vida real… Me encanta el apoyo que da”.
Una primera evaluación a cómo los adolescentes usan chatbots
ChatGPT, que se entrena a partir de grandes cantidades de datos en línea, ya ha sido criticado por difundir información inexacta, responder a los usuarios de forma inapropiada y permitir que los estudiantes hagan trampa. Pero la integración de esta herramienta en Snapchat puede agravar algunos de estos problemas y añadir otros nuevos.
Alexandra Hamlet, psicóloga clínica en la ciudad de Nueva York, dijo que los padres de algunos de sus pacientes han expresado su preocupación acerca de cómo sus hijos adolescentes podrían interactuar con la herramienta de Snapchat. También hay preocupación en torno a los chatbots que dan consejos y sobre salud mental porque las herramientas de IA pueden reforzar el sesgo de confirmación de alguien, lo que facilita que los usuarios busquen interacciones que confirmen sus creencias poco útiles.
“Si un adolescente se encuentra en un estado de ánimo negativo y no tiene el deseo consciente de sentirse mejor, puede buscar una conversación con un chatbot que sabe que le hará sentirse peor”, dijo. “Con el tiempo, tener interacciones de este tipo puede erosionar el sentido de valía de un adolescente, a pesar de que sepa que en realidad está hablando con un bot. En un estado de ánimo emocional, es menos posible que un individuo considere este tipo de lógica”.
Por ahora, corresponde a los padres iniciar conversaciones significativas con sus hijos adolescentes sobre las mejores prácticas para comunicarse con la IA, especialmente a medida que las herramientas empiezan a aparecer en aplicaciones y servicios más populares.
Sinead Bovell, fundadora de WAYE, una startup que ayuda a preparar a los jóvenes para el futuro con tecnologías avanzadas, dijo que los padres deben dejar muy claro que “los chatbots no son tus amigos”.
“Tampoco son tus terapeutas o un asesor de confianza, y cualquiera que interactúe con ellos debe ser muy cauteloso, especialmente los adolescentes que pueden ser más susceptibles a creer lo que dicen”, dijo.
“Los padres deberían estar hablando con sus hijos ahora sobre cómo no deberían compartir nada personal con un chatbot que no compartirían con un amigo, a pesar de que, desde una perspectiva de diseño de usuario, el chatbot existe en la misma categoría en Snapchat”.
Añadió que también es necesaria una regulación federal que obligue a las empresas a cumplir protocolos específicos para mantener el rápido ritmo de avance de la inteligencia artificial.