Kumma es un osito de peluche de la compañía china FoloToy, su característica más distintiva es que tiene un sistema de inteligencia artificial para interactuar con sus usuarios. Hace unos días se hizo conocido por un motivo lamentable. Investigadores descubrieron que el oso era capaz de participar en conversaciones de índole sexual y dar instrucciones sobre como encontrar cuchillos y otros objetos peligrosos.

Todo comenzó con una investigación de la organización Public Interest Research Group, dedicada a la protección de los consumidores. En el reporte de la misma se señala que no se necesitó mucho esfuerzo para que el oso hablara de temas sexuales y otros tópicos a los que los niños no deberían estar expuestos.

El oso depravado

PIRG ha señalado que por décadas la mayor preocupación con los juguetes han sido las piezas que los más pequeños podían ingerir y con las que podían asfixiarse. O el uso de materiales tóxicos.

La organización evaluó a varios juguetes con IA. Kumma demostró ser particularmente explícito en lo que se refería al contenido sexual. "Nos sorprendió lo rápido que Kumma tomaba un tema sexual que incorporamos a la conversación y como aumentaba los detalles gráficos al tiempo que añadía nuevos temas sexuales por su cuenta".

Ciertamente es poco probable que un niño de pie intencionalmente a ese tipo de charlas. Pero las IA a menudo interpretan mal los comandos de voz y tienden, como ya sabemos, a alucinar. Las pruebas de seguridad para los productos siempre intentan ponerlos en los límites.

Cambio de IA

FoloToy respondió al reporte de PIRG retirando a Kumma del mercado y afirmando que realizaría una auditoría para evaluar los problemas de seguridad. El ingenio había operado hasta entonces con una versión de ChatGPT. Ahora el oso ha vuelto al mercado. La compañía ha cambiado a la IA de Coze, propiedad de ByteDance. Por su parte, OpenAI le ha informado a PIRG que ha suspendido los derechos del desarrollador por considerar que ha violado sus políticas de uso. Es difícil saber que medida se tomó antes.

Una industria en expansión

FoloToy tiene varios modelos de juguetes con IA. Este tipo de producto ha crecido rápidamente en china, ya hay más de 1500 empresas dedicadas a su fabricación. También en Estados Unidos se están lanzando juguetes con IA. Entre las empresas que más se destacan en este sentido aparece Mattel, que ya ha anunciado una alianza con OpenAI para producir nuevos productos y experiencias.

A raíz del problema del oso indecente Mattel ha aclarado que sus productos con OpenAI serán destinados a las familias y los consumidores mayores. No se espera su uso en menores de 13 años.