Novo chatbot da Meta pode mentir para usuários

60

A Meta lançou recentemente um novo chatbot chamado Blenderbot 3 para testes com o público. No entanto, a nova tecnologia pode mentir para os usuários, o que fez os desenvolvedores pensarem em uma espécie de “manual de segurança”. 

“O BlenderBot 3 é capaz de pesquisar na internet para conversar sobre praticamente qualquer tópico e foi projetado para aprender como melhorar suas habilidades e segurança por meio de conversas naturais e feedback de pessoas ‘em estado selvagem’”, relatou a Meta. 

Segundo os desenvolvedores do novo chatbot, foram criadas novas técnicas que permitem aprender com professores prestativos, evitando aprender com pessoas que estão tentando enganar o modelo com “respostas inúteis ou tóxicas”. 

“Apesar de todo o trabalho que foi feito, reconhecemos que o BlenderBot ainda pode dizer coisas das quais não nos orgulhamos”, informou a empresa.

A Meta ainda afirmou que o chatbot pode mentir ou fazer declarações contraditórias. “Os usuários não devem confiar neste bot para obter informações factuais, incluindo, mas não se limitando à aconselhamento médico, jurídico ou financeiro”, ressaltou. 

Chatbot

“Na pesquisa, dizemos que modelos como aquele que alimenta esse bot têm ‘alucinações’, onde o bot diz com confiança algo que não é verdade. Os bots também podem se lembrar de detalhes da conversa atual e até esquecer que são um bot”, contou a Meta. 

Esses problemas são alguns dos motivos pelos quais a Meta disponibilizou o chatbot para os usuários dos Estados Unidos. A intenção da companhia é que qualquer erro seja apontado e solucionado. 

“Esta é mais uma razão para trazer a comunidade de pesquisa. Sem acesso direto a esses modelos, os pesquisadores ficam limitados em sua capacidade de projetar estratégias de detecção e mitigação.”