Um estudo conduzido por investigadores da Salesforce lança um alerta sobre os limites práticos da inteligência artificial generativa no apoio à gestão de relações com clientes. Apesar do entusiasmo generalizado em torno dos modelos de linguagem de larga escala (LLMs), os chamados AI agents demonstraram desempenho abaixo do esperado em tarefas básicas de CRM e revelaram baixa sensibilidade à confidencialidade de dados dos clientes.
O estudo, liderado por Kung-Hsiang Huang, investigador em IA da Salesforce, baseia-se num novo benchmark denominado CRMArena-Pro, que utiliza dados sintéticos para testar a eficácia de agentes de IA em cenários realistas de atendimento ao cliente. Os resultados são, no mínimo, preocupantes: os agentes baseados em LLMs obtêm apenas 58% de sucesso em tarefas simples, aquelas que exigem uma única ação e não requerem seguimento adicional.
Quando confrontados com tarefas mais complexas, compostas por múltiplas etapas, o desempenho destes agentes desce para 35%.
A ilusão da inteligência aplicada
Os resultados surgem num momento em que empresas de diversos setores — do retalho à banca — estão a acelerar a adoção de soluções de IA generativa para automatizar interações com clientes, processar pedidos e otimizar operações de front-office. Mas os dados da Salesforce sugerem que a confiança nesta tecnologia pode ser prematura, ou mesmo arriscada, se não for acompanhada por salvaguardas adequadas.
“Os agentes demonstram baixa consciência sobre a confidencialidade dos dados, o que, embora possa ser melhorado através de prompts específicos, afeta negativamente o desempenho geral”, refere o relatório publicado no final de maio.
Com uma apertada regulamentação sensível à proteção de dados — com destaque para o RGPD na União Europeia e leis similares noutras jurisdições — o risco de expor informações confidenciais de clientes levanta questões éticas e legais relevantes.
Os investigadores sublinham que, ao não reconhecerem corretamente o contexto de privacidade, os agentes de IA podem partilhar inadvertidamente dados sensíveis ou falhar na sua proteção, pondo em causa a confiança dos utilizadores e a conformidade regulatória das empresas.
A promessa (ainda por cumprir) da IA para empresas
Apesar das limitações identificadas, o estudo reconhece o potencial de evolução da tecnologia. Com o uso de fine-tuning dirigido, engenharia de prompts mais robusta e integração com regras de negócio específicas, é possível mitigar muitos dos problemas hoje identificados. Ainda assim, os autores deixam claro: a maturidade dos LLMs no contexto empresarial ainda está em fase inicial.
A Salesforce não é a única empresa a investigar a aplicação de IA generativa em sistemas de CRM, mas, enquanto fornecedora líder nesta área, o estudo revela uma autocrítica rara — e potencialmente valiosa — sobre os limites reais da tecnologia fora do laboratório.