Para avaliar referências pronominais ambíguas em respostas de IA, identifique a quem cada pronome pode se referir, registre quais leituras o texto permite e confira se a resposta mantém essa incerteza. O objetivo é distinguir uma referência resolvida pelo contexto de uma escolha feita sem evidência. Em alguns casos, acertar significa pedir esclarecimento.
Uma resposta fluente pode atribuir uma decisão à pessoa errada sem introduzir nomes novos. Por isso, compare o vínculo entre pronome e referente, além do conteúdo geral. O roteiro abaixo propõe uma avaliação local em português brasileiro para resumos, atendimento e extração de tarefas; seus critérios são sugestões de trabalho, não resultados de um estudo.
Resumo rápido
- Marque o pronome e os candidatos antes de avaliar a resposta.
- Separe referência clara, leitura preferencial e ambiguidade sem resolução.
- Use pares de frases que alteram apenas a evidência necessária.
- Pontue atribuição correta e reconhecimento da incerteza separadamente.
- Teste também respostas que repetem nomes para eliminar ambiguidades novas.
O que precisa ser preservado na referência
Referente é a pessoa, objeto ou situação retomada por uma expressão. Em “A analista recebeu a planilha e a conferiu”, o pronome “a” retoma a planilha. Já “Carla avisou Renata que ela revisaria o contrato” admite mais de uma leitura sem contexto adicional. Concordância de gênero e número ajuda a filtrar candidatos, mas não escolhe sozinha entre duas pessoas compatíveis.
O Manual de Redação da Câmara dos Deputados apresenta ambiguidades com o possessivo “seu” e com o pronome pessoal “ele”, mostrando que a reescrita depende do sentido pretendido. Essa distinção fundamenta a separação entre uma referência identificada e uma interpretação ainda não confirmada.
Inclua possessivos na revisão. Em “A gerente conversou com a fornecedora sobre seu orçamento”, “seu” pode apontar para referentes diferentes. Também observe demonstrativos: em “O pedido atrasou e o pagamento falhou; isso será investigado”, a expressão pode retomar um fato ou o conjunto dos acontecimentos. Uma avaliação restrita a “ele” e “ela” deixaria essas falhas fora do relatório.
O Manual de Elaboração de Textos do Senado adota clareza e precisão como qualidades de redação. Aqui, esse princípio vira uma pergunta operacional: o leitor consegue identificar o responsável com a evidência disponível? Repetir um nome pode ser uma solução editorial melhor que manter um pronome elegante e incerto.
Monte um gabarito que aceite incerteza legítima
Comece com mensagens reais anonimizadas e acrescente exemplos construídos para cobrir dificuldades ausentes. A anonimização deve preservar as relações do caso. Substituir todas as pessoas pelo mesmo marcador destrói a tarefa; trocar gênero de um nome pode criar ou remover pistas. Guarde a versão anterior apenas no ambiente autorizado e distribua aos avaliadores a versão necessária ao teste.
Para cada item, registre texto completo, expressão marcada, candidatos, evidência, leitura aceita e ação esperada. Faça a anotação antes de olhar a saída do sistema, evitando que uma resposta convincente influencie o gabarito. Dois revisores podem classificar os casos de forma independente e discutir divergências com o responsável pelo processo.
| Classe proposta | Critério | Resposta aceitável |
|---|---|---|
| Referência determinada | O contexto identifica um candidato | Nomear o referente e apontar a passagem que o identifica |
| Leitura preferencial | Uma interpretação parece mais natural, mas outra é possível | Indicar a hipótese com ressalva quando a tarefa permitir |
| Ambiguidade relevante | Mais de um candidato altera a conclusão | Perguntar ou apresentar as alternativas |
| Referente ausente | Falta antecedente recuperável no material fornecido | Declarar que não há informação suficiente |
A leitura preferencial merece atenção: uma preferência intuitiva do revisor não equivale a um fato. Registre por que ela parece mais provável e se essa diferença basta para a aplicação. Em uma sugestão de redação, apresentar alternativas pode atender ao pedido. Em uma atribuição de responsabilidade, a mesma dúvida pode impedir preencher o campo responsável.
Defina ainda o alcance da pergunta. “Quais interpretações são possíveis?” pede análise linguística. “Quem deverá receber a cobrança?” exige uma decisão operacional. Um gabarito que considera ambas idênticas recompensa respostas inadequadas ao uso pretendido. Quando o usuário solicita apenas um resumo, a saída pode conservar o fato incontroverso sem atribuir a ação a alguém.
Use pares mínimos e contexto controlado
Um par mínimo muda uma parte pequena do texto para observar se a resposta acompanha a mudança. Compare “Carla avisou Renata que ela revisaria o contrato” com “Carla avisou Renata: ‘Eu revisarei o contrato’”. No segundo caso, a fala direta identifica Carla. A resposta deve reconhecer essa diferença, sem carregar a dúvida do primeiro item para o segundo.
O trabalho AmbiCoref apresenta pares de sentenças para investigar sensibilidade à ambiguidade de correferência, isto é, expressões que apontam para a mesma entidade. A adaptação empresarial proposta aqui usa essa ideia de contraste. Ela não transforma exemplos brasileiros em uma reprodução do estudo nem permite transferir seus resultados para qualquer assistente atual.
Varie distância entre pronome e antecedente, ordem dos nomes, quantidade de candidatos e mudanças de interlocutor. Inclua sujeito omitido: “Paula falou com Denise e pediu para revisar a proposta”. Dependendo da estrutura e do contexto, a omissão também exige análise. Acrescente mensagens encadeadas nas quais uma informação posterior esclarece a frase inicial.
Controle o que fica constante. Se você trocar simultaneamente nomes, cargos, pontuação e ação, não saberá qual pista alterou a saída. Em outra família de testes, mantenha a estrutura e troque os cargos entre pessoas. O resultado ajuda a perceber se o sistema está escolhendo o gerente por uma expectativa de hierarquia, em vez de usar uma informação expressa.
Não confunda consistência com acerto: repetir a mesma escolha diante de uma frase indeterminada continua sendo uma escolha sem suporte. Para contexto longo, faça um teste com a conversa completa e outro com o recorte que a aplicação realmente envia. Se a informação decisiva ficou fora do recorte, a falha pode estar na seleção do contexto, além da interpretação linguística.
Avalie saída, evidência e decisão separadamente
Peça uma saída verificável, com expressão analisada, candidatos plausíveis, conclusão e trecho de apoio. Não é necessário solicitar um raciocínio extenso. Uma justificativa curta permite conferir se a interpretação se apoia no documento. O sistema não deve usar informações de conversas que não foram fornecidas como evidência.
Leia apenas o texto fornecido. Para cada referência marcada, informe:
expressao; candidatos; referente, se determinado; evidencia textual;
necessita_esclarecimento; pergunta sugerida.
Não transforme uma leitura apenas possível em fato confirmado.Meça o acerto de referente somente nos itens anotados como determinados. Nos ambíguos, acompanhe a proporção de respostas que reconhecem a dúvida e a proporção que afirma um candidato sem suporte. Avalie ainda perguntas desnecessárias nos casos claros. Assim, um sistema que pergunta sempre não recebe a mesma avaliação de outro que distingue as situações.
Use denominadores explícitos: “atribuições indevidas em casos ambíguos” divide o número de saídas com escolha injustificada pelo total de itens ambíguos avaliados. Se o conjunto não contém essa classe, registre a métrica como não aplicável. Não apresente zero como prova de segurança quando nenhum exemplo foi testado.
A documentação de avaliações da Anthropic orienta definir critérios de sucesso e construir testes alinhados à tarefa. Para aplicá-la, guarde prompt, configuração, saídas e versão do conjunto. Se houver variação entre execuções, registre a dispersão por item. Quem usa esse fornecedor também pode consultar a página de integrações do Claude.
Uma checagem por código consegue validar campos e presença de candidatos, mas não decide sozinha se a leitura é plausível. Faça revisão humana dos itens controversos e da amostra de saídas aprovadas. Relacione esse controle aos testes de regressão para agentes e prompts, reaplicando o mesmo conjunto quando o sistema mudar.
Exemplo: uma administradora de imóveis em Recife
Considere um cenário ilustrativo de uma administradora em Recife. A equipe recebe: “Marina avisou Beatriz que ela enviaria a vistoria hoje. O proprietário aguarda o documento”. O assistente cria uma tarefa para Beatriz. O texto não identifica de forma suficiente quem enviará a vistoria, embora a tarefa pareça plausível e use um nome presente na mensagem.
No gabarito, a expressão marcada é “ela”, as candidatas são Marina e Beatriz, e a conclusão é ambiguidade relevante. A saída esperada pode ser: “Quem enviará a vistoria hoje: Marina ou Beatriz?”. Enquanto isso, o resumo pode dizer que o proprietário aguarda o documento, sem atribuir responsabilidade. A aplicação mantém a pendência em vez de notificar alguém com base em uma suposição.
Agora acrescente ao material: “Marina confirmou em seguida: ‘O envio ficou comigo’”. O mesmo item passa a ter evidência para Marina. Se o assistente continuar perguntando, falha por não aproveitar o esclarecimento. Troque depois a frase por uma confirmação de Beatriz e confira se o responsável acompanha a evidência nova.
Por fim, revise a própria resposta: “Ela fará isso hoje” conserva duas referências vagas e pouco ajuda quem recebe a tarefa isoladamente. “Marina enviará a vistoria hoje” preserva a informação confirmada. A equipe pode registrar três dimensões: interpretação da mensagem, tratamento da dúvida e clareza do texto gerado. Essa separação complementa a avaliação de atribuição de falas em resumos.
O teste não exige nomes reais de clientes nem documentos de imóveis. Use identificadores fictícios consistentes e descrições suficientes para representar o fluxo. O cenário não representa uma implantação observada nem resultados medidos; serve para mostrar como construir entradas, referências aceitas e critérios que outra pessoa consiga revisar.
Erros comuns
- Escolher o nome mais próximo automaticamente. Proximidade é uma pista possível, não uma regra suficiente para qualquer construção.
- Tratar toda divergência como erro do modelo. O gabarito pode exigir uma certeza que a fonte não oferece.
- Usar profissão como prova. Supor que somente a gerente aprova contratos introduz uma regra ausente.
- Premiar qualquer ressalva. Uma resposta pode dizer “talvez” e mesmo assim preencher um responsável definitivo.
- Revisar apenas a entrada. A resposta pode criar uma ambiguidade que não existia no original.
- Misturar famílias de casos na média. Separe possessivos, demonstrativos, pessoas e sujeitos omitidos para localizar a dificuldade.
Inclua também exemplos claros que parecem difíceis. Um sistema excessivamente cauteloso pode recusar atribuições que o próprio texto resolve. Equilibre o conjunto com a frequência real das situações, mas mantenha um relatório específico dos casos raros que causariam encaminhamento errado. Uma média favorável não substitui a análise dessas falhas.
Perguntas frequentes
Uma frase pode ter dois referentes corretos?
Pode admitir duas leituras plausíveis sem indicar qual corresponde à intenção de quem escreveu. Nesse caso, o gabarito registra alternativas e a resposta esperada depende da tarefa. Para agir em nome de uma pessoa, peça o esclarecimento necessário.
Posso resolver tudo repetindo os nomes?
Repetir nomes ajuda a tornar a saída clara depois que a referência foi determinada. Substituir um pronome ambíguo por um nome escolhido sem evidência apenas esconde a dúvida. Primeiro confira o vínculo; depois faça a revisão de estilo.
O avaliador automático pode julgar os casos?
Pode apoiar a triagem se receber uma rubrica e exemplos revisados. Valide suas decisões com pessoas e preserve divergências para análise. Um segundo modelo também pode preferir uma leitura injustificada e concordar com o primeiro.
Preciso testar todas as formas de pronome?
Comece pelas referências que aparecem no seu fluxo e ampliem o risco de atribuição errada. Inclua variações suficientes para não confundir sucesso em “ele” e “ela” com domínio de possessivos, demonstrativos ou sujeito omitido.
Qual nota autoriza colocar o sistema em uso?
Não há uma nota universal para essa tarefa. Defina critérios por consequência do erro, valide casos representativos e mantenha encaminhamento humano quando a referência afeta uma decisão. Documente quais classes foram testadas e quais permanecem fora do escopo.
