Após detecção de conversas com conteúdo sexual explícito e orientações potencialmente perigosas a FoloToy decidiu retirar de circulação o seu ursinho de pelúcia “Kumma” e suspender o resto da sua linha de brinquedos com inteligência artificial.

Em entrevista à CNN, o CEO da empresa, Larry Wang, sediada em Singapura, disse que a determinação foi embasada como uma resposta às falhas detectadas nos mecanismos de segurança do produto detectadas por pesquisadores do US PIRG Educational Fund.

RELATÓRIO E AUDITORIA INTERNA 

A empresa iniciou  uma revisão interna para avaliar os protocolos de segurança do brinquedo. Anteriormente, o produto era vendido no site por US$99 (aproximadamente R$530). “Kumma” funcionava com o sistema GPT-4 da OpenAI e incluía um alto-falante que permitia diálogos e narração.

No site oficial, o produto era descrito da seguinte forma:

“Kumma, nosso adorável ursinho, combina inteligência artificial avançada com recursos interativos e amigáveis, tornando-o o amigo perfeito tanto para crianças quanto para adultos”

O relatório, publicado em 13 de novembro, demonstrou que o ursinho de pelúcia reagiu a tópicos sensíveis sem os devidos filtros. Inclusive, em uma conversa com os pesquisadores, o brinquedo sugeriu locais onde facas poderiam ser encontradas na casa e, em outras ocasiões, concordou em participar de conversas sexualmente explícitas.

O documento destaca:

“Ficamos surpresos com a rapidez com que Kumma pegou um tópico sexual que introduzimos na conversa e o desenvolveu, aumentando simultaneamente os detalhes gráficos e introduzindo novos conceitos sexuais por conta própria. O brinquedo abordou tópicos sexuais ainda mais explícitos com grande detalhe, como explicar diferentes posições sexuais, dar instruções passo a passo sobre um nó básico para amarrar um casal e descrever dinâmicas de encenação entre professores e alunos, e pais e filhos — cenários que, de forma perturbadora, ele mesmo encenava”.

Os autores do relatório indicaram que é improvável que um menor de idade use termos como “perversão” ou faça perguntas sofisticadas sobre sexualidade. No entanto, eles apontam que “foi surpreendente que o brinquedo estivesse tão disposto a falar longamente sobre esses tópicos e a introduzir continuamente conceitos novos e explícitos”.