“O modelo não lê sua mente”: 5 dicas de especialistas para usar IAs como um profissional

Os grandes modelos de linguagem (LLMs) como ChatGPT e Claude estão por toda parte – nos telefones, computadores e dispositivos domésticos. Mas apesar de sua popularidade crescente, a maioria dos usuários ainda comete erros básicos ao interagir com essas ferramentas.

No painel “How to Be a Smarter AI User” no SXSW 2025, Sherry Tongshuang Wu e Maarten Sap, pesquisadores da Carnegie Mellon University, apresentaram uma análise detalhada das cinco principais falhas dos modelos de linguagem atuais – e estratégias práticas para superá-las.

“Nossas pesquisas mostram como os usuários frequentemente superestimam o que esses sistemas podem fazer e falham em usá-los de maneira otimizada”, explica Wu, cujo trabalho se concentra na interação humano-computador. “Queremos ajudar as pessoas a entenderem as limitações reais dessas ferramentas.”

Uma pesquisa rápida com a audiência mostrou que a maioria utiliza LLMs várias vezes por semana ou até diariamente, principalmente para pesquisa, brainstorming, planejamento de viagens, geração de imagens, resumo de textos e produtividade geral.

As cinco principais falhas dos LLMs

1. Os modelos não conseguem ler sua mente

Uma das descobertas mais importantes apresentadas pelos pesquisadores é que os LLMs têm dificuldade em inferir o que você realmente quer quando suas instruções são vagas ou ambíguas.

Sap apresentou um exemplo: quando alguém diz “vou ler um milhão de livros neste verão”, humanos entendem imediatamente o exagero. No entanto, modelos de linguagem tendem a interpretar literalmente tais declarações mais de 50% das vezes, respondendo com algo como “Uau, isso é muito ambicioso!”

“Os modelos também têm dificuldade em antecipar as intenções e reações das pessoas”, acrescenta Sap. “Eles simplesmente não têm a mesma intuição social que nós.”

A solução: “Não confie que o modelo vai adivinhar o que está em sua mente”, alerta Wu. Em vez disso, ela recomenda pensar nos sistemas de IA menos como chatbots inteligentes e mais como assistentes que precisam de instruções detalhadas e explícitas.

“Pense em requisitos estruturados, como uma lista de verificação. Em vez de apenas dizer ‘resuma este relatório’, forneça detalhes específicos: quanto deve ter, que aspectos destacar, que tom usar.”

2. Os modelos são excessivamente confiantes, mesmo quando estão errados

O segundo problema importante são as “alucinações” – informações falsas que os modelos apresentam com alta confiança.

“As alucinações podem acontecer entre 1% e 25% das vezes em usos gerais, e em campos especializados como medicina ou direito, esse número pode chegar a 50%”, revelou Sap.

Existem dois tipos principais de alucinações:

• Alucinação de factualidade: quando o modelo fornece informações objetivamente incorretas (como dizer que Charles Lindbergh foi a primeira pessoa a andar na lua)
• Alucinação de fidelidade: quando o modelo, ao resumir um documento ou artigo, distorce ou contradiz o conteúdo original

Mais preocupante ainda é o comportamento que os pesquisadores chamam de “sicofantia” – quando os modelos mudam suas respostas apenas para concordar com o usuário, mesmo que a nova resposta seja falsa. Pesquisas recentes da Stanford mostram que isso pode acontecer em mais de 50% dos casos quando usuários questionam a precisão de uma resposta.

A solução: Os pesquisadores recomendam testar a consistência do modelo executando o mesmo prompt várias vezes ou variando ligeiramente a pergunta. “Se você obtiver respostas significativamente diferentes, isso é um sinal de alerta”, explica Wu. Além disso, sempre verifique as informações em fontes externas confiáveis, especialmente quando se tratar de fatos importantes ou áreas onde você não é especialista.

3. Os modelos são riscos à privacidade

Os LLMs não apenas foram treinados com dados da internet pública (possivelmente incluindo suas informações pessoais), mas também têm dificuldade em entender quais informações devem permanecer privadas.

Durante o painel, os pesquisadores demonstraram como verificar se seus dados pessoais estão presentes nos conjuntos de treinamento de IA usando uma ferramenta do AI2 (Allen Institute for AI). Muitos na plateia descobriram que seus nomes apareciam centenas ou até milhares de vezes nesses conjuntos de dados.

Numa demonstração, os pesquisadores mostraram como o ChatGPT falhou em manter o conceito de “Amigo Secreto”, revelando todos os participantes em um e-mail que deveria ser confidencial. Em outro estudo com 200 cenários, os modelos vazaram informações confidenciais em 20-50% dos casos.

“Os modelos não são bons em raciocinar sobre quem deve saber o quê, quando, e quais informações são realmente privadas”, explicou Sap.

A solução: Evite compartilhar dados pessoais com modelos de linguagem e use espaços reservados (placeholders) para informações sensíveis. Por exemplo, em vez de incluir seu endereço real em um e-mail que você quer que o modelo revise, use “[ENDEREÇO]”. Também verifique cuidadosamente as saídas do modelo antes de compartilhá-las com outras pessoas.

4. Os modelos parecem mais humanos do que realmente são

Quando os modelos usam linguagem na primeira pessoa como “Eu me pergunto” ou “Eu imagino”, eles criam a falsa impressão de terem cognição humana.

“Atribuímos facilmente consciência e intenções humanas a esses sistemas, quando na verdade eles são apenas ferramentas de previsão de texto”, explica Sap, mostrando como nossos cérebros são programados para antropomorfizar até mesmo objetos inanimados.

Sap usou exemplos visuais para demonstrar como facilmente atribuímos intenções e emoções a simples animações – como ver um ponto vermelho “perseguindo” um ponto azul em um mapa – mesmo quando nada disso está realmente acontecendo. O mesmo fenômeno ocorre quando interagimos com IAs.

Essa tendência pode levar à confiança excessiva nas habilidades do modelo, reforçar estereótipos sociais (como quando pessoas falam de maneira misógina com assistentes digitais com vozes femininas) e tornar difícil distinguir entre conteúdo gerado por humanos versus máquinas.

A solução: Os pesquisadores recomendam estar ciente de nossa tendência a atribuir qualidades humanas a sistemas de IA e evitar linguagem antropomórfica. Em vez de dizer “o modelo pensa” ou “a IA está confusa”, diga “o modelo foi projetado para gerar” ou “o sistema não consegue gerar uma resposta clara”.

5. Os modelos não funcionam igualmente para todos

Por fim, os modelos ainda apresentam desempenho inconsistente entre diferentes grupos demográficos e culturais.

“Há evidências claras de vieses em relação a determinados dialetos do inglês, como o inglês afro-americano ou o inglês sulista”, aponta Sap. “E pesquisas demonstram um forte viés ocidental nesses modelos, tornando-os menos eficazes para outras culturas.”

Os pesquisadores alertam contra a “ilusão de robustez”, quando empresas superestimam a capacidade dos modelos, levando a consequências desastrosas – como a associação National Legal Aid & Defender Association, que substituiu suas linhas de apoio humanas por chatbots, apenas para ter que encerrá-las uma semana depois devido a respostas prejudiciais e tendenciosas.

A solução: Seja criterioso sobre quando e como usar IA. Os pesquisadores recomendam avaliar cuidadosamente os benefícios e riscos potenciais de cada aplicação usando uma lista simples de perguntas:

• Quais são os possíveis benefícios de usar um LLM para esta tarefa?
• Quais são os possíveis danos se o modelo cometer erros?
• Quão prejudiciais seriam esses erros e como posso testá-los antecipadamente?
• Quais são os benefícios de não usar um LLM neste caso?

Em muitos casos, a abordagem ideal envolve dividir tarefas complexas em subtarefas, delegando algumas ao modelo e outras a humanos.

“Para qualquer tarefa complexa, pense em quem seria o melhor trabalhador para cada subtarefa específica – pode ser você, um modelo de IA, um colega humano, ou uma combinação”, sugere Wu.

Um novo paradigma para interação com IA

Os pesquisadores concluíram enfatizando que estamos apenas começando a entender como usar esses sistemas de maneira eficaz.

“A questão não é substituir humanos, mas encontrar as melhores maneiras de trabalhar junto com essas ferramentas”, explicou Wu. “Os casos de uso mais bem-sucedidos que vemos são quando as pessoas usam a IA como um colaborador, não como um substituto.”

Como observado pelos pesquisadores, as áreas onde os LLMs têm sido mais utilizados atualmente incluem programação, desenvolvimento de software, redação técnica e matemática – uma proporção muito maior de usuários técnicos do que a representação dessas profissões na população geral.

“Nossa missão é ajudar você a aproveitar essas ferramentas de maneira produtiva, apesar de suas falhas”, concluiu Sap. “Com as estratégias certas, podemos maximizar os benefícios e minimizar os riscos.”