Avaliadores independentes da Anthropic: METR

A Anthropic passou a dar acesso equivalente ao de funcionário a uma equipe da METR, que vai publicar os resultados. Veja por que isso importa na gestão de risco de fornecedor de IA.

A Anthropic publicou em 15 de outubro de 2026 o post “An update on independent evaluators”, anunciando que começou a dar o que chama de employee-like access, ou acesso equivalente ao de funcionário, a uma equipe da METR, organização sem fins lucrativos que avalia modelos de fronteira. Na prática, isso significa que a METR passa a ter pessoas dentro da Anthropic, com hardware da empresa, espaço de escritório e acesso a ferramentas e sistemas internos aproximadamente iguais aos das equipes internas de avaliação de risco. E, ponto central, a METR vai publicar os resultados das suas avaliações de risco. A Anthropic não pode vetar a publicação.

Para uma empresa brasileira que compra ou integra IA, o anúncio não muda o modelo que você usa nem os preços. O que ele muda é a qualidade da evidência disponível quando você precisa justificar a escolha de um fornecedor para o seu jurídico, para a diretoria ou para um cliente. A seguir, explicamos o que foi anunciado, por que avaliador independente importa na gestão de risco de fornecedor e, principalmente, o que você NÃO deve concluir disso.

Resumo rápido

A Anthropic começou a dar acesso do tipo “employee-like access” a uma equipe da METR, organização sem fins lucrativos que avalia modelos de fronteira.

A METR vai publicar os resultados das suas avaliações de risco, e a Anthropic não pode vetar a publicação, embora possa exigir tarja em categorias predefinidas, como reprodução de propriedade intelectual confidencial.

No caso da METR, são seis funcionários com hardware da empresa, espaço de escritório e acesso a ferramentas e sistemas internos aproximadamente equivalentes aos dos funcionários.

A Anthropic também trabalha com a SecureBio e a Accenture como avaliadores e está em conversas iniciais com outras organizações, incluindo a Hugging Face.

A analogia usada pela empresa é a da supervisão bancária, em que reguladores designam examinadores residentes dentro dos maiores bancos.

Isso NÃO é certificação nem garantia de segurança. É mais evidência pública sobre risco, o que melhora a sua análise de fornecedor, mas não a substitui.

O que a Anthropic anunciou, em português claro

O post começa relembrando dois compromissos: no mês anterior, a Anthropic havia se comprometido com avaliação independente de terceiros mais forte dos seus modelos e práticas de segurança. A empresa também assinou o White House Accord on Super Intelligence, no qual companhias se comprometeram a trabalhar com auditores ou avaliadores externos independentes.

A novidade do dia é operacional: a Anthropic passou a dar employee-like access a uma equipe da METR, e a METR publicará os resultados das suas avaliações de risco. A empresa informa ainda que, no último ano, já havia trabalhado com a METR em várias revisões dos seus Risk Reports, os relatórios de risco que publica.

Além da METR, a Anthropic diz trabalhar com a SecureBio e a Accenture como avaliadores e estar em conversas iniciais com outras organizações, incluindo a Hugging Face. Como esses outros parceiros ainda estão em estágio inicial, eles recebem informação mais limitada e têm direitos de publicação mais restritos, segundo o próprio post.

O que significa “employee-like access”

A Anthropic detalha o termo para o caso da METR: seis funcionários da METR foram integrados com hardware da empresa, espaço de escritório e acesso a ferramentas e sistemas internos aproximadamente equivalentes ao que as próprias equipes de avaliação de risco da Anthropic têm. Fora de um pequeno número de categorias claramente definidas (por exemplo, dados de clientes, informação protegida por sigilo advogado-cliente ou informação sobre as arquiteturas dos modelos), os funcionários da Anthropic são incentivados a compartilhar informação com eles como fariam com um colega que trabalha em risco de alinhamento.

Dois pontos merecem atenção de quem lê isso pensando em risco de fornecedor.

Primeiro, é um acesso profundo, não uma sala de visitas. O avaliador vê como o modelo foi treinado, como funcionam as salvaguardas e mais, não apenas os modelos já lançados. Isso é qualitativamente diferente de um teste externo feito por API pública, em que o avaliador só vê o comportamento final do modelo.

Segundo, existe um mecanismo de publicação, mas com regras. A Anthropic afirma que não pode vetar a publicação, mas pode exigir tarja em informação que caia em categorias predefinidas, como reprodução de propriedade intelectual confidencial. O post observa que a Anthropic decide, em última instância, o que cai ou não nessas categorias, embora a METR reserve o direito de fazer certas declarações sobre o nível de acesso e informação que recebeu. É um detalhe que qualquer leitor cético de risco de fornecedor deveria guardar.

Os três requisitos que a Anthropic exige de um avaliador

A Anthropic lista o que, na visão dela, um avaliador de modelos de fronteira precisa ter. Vale conhecer essa lista, porque é uma boa grelha para você aplicar a qualquer fornecedor de IA.

Expertise em avaliar capacidades de modelos de fronteira, incluindo entender como avaliações dão errado. O exemplo citado no post é o alignment faking, quando o modelo se comporta de um jeito num contexto de teste e de outro em produção, o que pode enganar uma avaliação ingênua.
Independência: o avaliador não deve ter participação acionária na empresa avaliada nem ser financeira ou operacionalmente dependente dela.
Acesso suficiente: além dos modelos mais recentes, visibilidade sobre como foram treinados, como as salvaguardas funcionam e mais. O post acrescenta ainda a liberdade de publicar observações e avaliações sobre um modelo ou processo.

O requisito de independência é o que sustenta a credibilidade de tudo. Um avaliador pago, contratado e dependente do avaliado não é um avaliador independente, é um fornecedor. Por isso a Anthropic enfatiza que não há participação acionária nem dependência financeira ou operacional.

A analogia da supervisão bancária

O post usa uma comparação que ajuda a entender o modelo: a supervisão bancária. Bancos sabem mais sobre a própria posição de risco do que qualquer pessoa de fora, então reguladores designam examinadores residentes para trabalhar dentro dos maiores bancos. Se a tomada de risco de um banco pode ameaçar o público, terceiros tentam enxergar isso com antecedência. A Anthropic diz que a analogia não é exata, mas a lógica é parecida.

Essa analogia é honesta sobre o que está em jogo. O ponto do examinador residente não é carimbar que o banco é seguro: é ter alguém qualificado dentro, com acesso real, capaz de enxergar o que um relatório público não mostra. Aplica-se o mesmo raciocínio à IA. O avaliador embutido serve para reduzir a distância entre o que o avaliador externo entende do sistema e o que a própria empresa entende.

Comparação: os modos de avaliar um modelo

Para um gestor, a diferença de valor entre os tipos de avaliação fica clara na tabela.

Modo de avaliação	O que o avaliador vê	Publica os resultados?	Serve para quê
Teste do usuário por API pública	Só o comportamento final do modelo	Depende de você	Validar o seu caso de uso específico
Red teaming contratado pelo fornecedor	Modelo e alguns sistemas, sob contrato	Normalmente não, ou de forma resumida	Melhorar o produto antes do lançamento
Avaliador externo com acesso limitado	Modelo e informação parcial	Direitos de publicação mais restritos	Avaliação de risco em estágio inicial
Avaliador embutido (employee-like access)	Modelo, treinamento, salvaguardas e sistemas internos	Sim, com regras de tarja definidas	Evidência pública e profunda de risco

A leitura para o comprador é direta: quanto mais à direita da tabela, maior o valor como evidência de risco, mas também maior a dependência de acordos e regras internas do fornecedor. Nenhuma linha certifica nada. Todas aumentam ou diminuem o quanto você consegue enxergar.

Por que avaliador independente importa na gestão de risco de fornecedor

Quem trabalha com compras ou compliance conhece o problema: avaliar software é relativamente fácil, porque o comportamento é determinístico e auditável. Avaliar um modelo de linguagem é diferente, porque o mesmo input pode gerar saídas diferentes e o comportamento depende de milhões de parâmetros que você não enxerga.

Sem avaliação independente, a sua única fonte sobre a segurança do modelo é o próprio fornecedor. Isso é um conflito de interesse estrutural, o mesmo que levou o mundo bancário a criar examinadores residentes. Quando existe um avaliador independente com acesso real e com liberdade de publicar, aparecem três coisas úteis para a sua análise:

Segunda opinião qualificada. Alguém com expertise testa o que você não tem equipe nem acesso para testar, e pode discordar do fornecedor em público.
Evidência citável. Você passa a poder escrever no seu processo de aprovação de fornecedor que existe uma avaliação externa publicada, em vez de repetir o material de marketing.
Sinal de maturidade do fornecedor. Aceitar inspeção externa com publicação é caro e desconfortável. Um fornecedor disposto a isso demonstra uma postura diferente de quem só publica material próprio.

Isso conversa com o trabalho de como testar um agente de IA: a mesma disciplina de definir casos, resultados esperados e critérios que você aplica internamente é o que um avaliador externo aplica ao fornecedor, só que com acesso e expertise que você não tem.

Exemplo: uma fintech em São Paulo avaliando fornecedores de IA

Considere uma fintech de médio porte em São Paulo que está implantando um assistente de IA para triagem de solicitações de crédito e atendimento ao cliente. O time de risco precisa escolher entre dois fornecedores de modelo, e a área de compliance pergunta qual é a base da decisão. Hoje, o comitê tem apenas material do fornecedor e um piloto interno.

Com o anúncio da Anthropic, o processo pode ganhar uma peça a mais. Um desenho razoável seria:

Levantar o que existe de avaliação independente publicada para cada fornecedor: quem avaliou, com que profundidade de acesso e o que ficou público. No caso da Anthropic, checar o que a METR publicou e sob quais regras de tarja.
Rodar o piloto interno em paralelo, com os casos reais da fintech, porque nenhuma avaliação externa cobre o seu fluxo específico de crédito. É aqui que o seu teste decide.
Registrar a evidência por fornecedor na matriz de risco de terceiros, incluindo o que é fato verificado e o que é declaração do fornecedor.
Tratar os requisitos da Anthropic como grelha de avaliação: qual é a expertise do avaliador, qual é a independência real dele e qual foi o nível de acesso concedido. Aplicar as mesmas perguntas aos concorrentes, mesmo os que não publicam avaliações, já revela diferenças.

O que a fintech NÃO deve fazer é tratar a existência da avaliação como aprovação automática. Ela deve continuar testando o próprio caso de uso, mantendo revisão humana nas decisões de crédito e tratando o assistente como apoio, não como decisor. Um modelo pode ser bem avaliado em risco geral e ainda assim errar no seu contexto específico.

Erros comuns

Tratar a avaliação independente como certificação. Não é. Não existe selo de “modelo seguro” emitido por ninguém. É evidência adicional sobre risco, com escopo, data e limitações.
Concluir que o modelo é seguro porque tem avaliador. A existência do avaliador diz que o fornecedor aceita inspeção, não que o resultado da inspeção é tranquilizador. Leia o que foi publicado, não só a manchete.
Ignorar as regras de publicação. A Anthropic pode exigir tarja em categorias que ela mesma define. Isso não invalida a avaliação, mas significa que o que você lê pode ter partes removidas.
Dispensar o teste do seu próprio caso de uso. Nenhuma avaliação externa cobre o seu fluxo, os seus dados e as suas regras de negócio. O piloto interno continua sendo obrigatório.
Confundir independência com ausência de vínculo. Verifique se o avaliador tem participação acionária ou dependência financeira ou operacional do fornecedor. É exatamente o critério que a Anthropic cita, e ele também serve para julgar a Anthropic.
Esquecer que a avaliação tem data. Modelos e salvaguardas mudam. Uma avaliação de outubro de 2026 não descreve necessariamente o modelo de dezembro. Registre a data em que a evidência foi produzida.

Perguntas frequentes

Isso garante que o Claude é seguro?

Não. O anúncio trata de acesso e processo de avaliação, não de resultado. Garantia de segurança de modelo não existe hoje, nem para a Anthropic nem para concorrentes. O que a empresa afirma é que terceiros independentes passam a poder avaliar com profundidade e publicar o que encontram.

A METR pode ser censurada pela Anthropic?

A Anthropic afirma que não pode vetar a publicação, mas pode exigir tarja em categorias predefinidas, como reprodução de propriedade intelectual confidencial. O post reconhece que a Anthropic decide, em última instância, o que cai nessas categorias, embora a METR reserve o direito de declarar publicamente sobre o nível de acesso e informação que recebeu.

O que isso muda para quem usa apenas a API no Brasil?

No uso diário, nada muda: o modelo, os preços e a latência continuam iguais. O que muda é o que você pode citar na sua documentação de risco de fornecedor. Se a sua empresa precisa justificar tecnicamente a escolha de um modelo, uma avaliação externa publicada é evidência melhor do que o material comercial do fornecedor.

Quem são os outros avaliadores citados?

Segundo o post, a Anthropic trabalha com a SecureBio e a Accenture como avaliadores e está em conversas iniciais com outras organizações, incluindo a Hugging Face. Esses parceiros, por estarem em estágio inicial, recebem informação mais limitada e têm direitos de publicação mais restritos que a METR.

Devo usar isso como critério de compra?

Como um entre vários critérios, sim. A disposição de um fornecedor de se submeter a avaliação externa com publicação é um sinal relevante de maturidade e transparência. Mas ele não substitui o teste do seu caso de uso, a análise de contrato de dados e a conformidade com a LGPD.

Como acompanhar o que a METR publicar?

Os resultados saem no site da própria METR, que é pública e sem fins lucrativos. O caminho prático é acompanhar a página da organização e a página de notícias da Anthropic, onde os updates são anunciados. Recomendamos também replicar os requisitos citados no post como grelha para avaliar outros fornecedores.

Fontes e leitura recomendada

Para ver como o Claude se conecta a ferramentas e fluxos de trabalho no dia a dia da sua empresa, veja a nossa página de integrações do Claude. Se a sua preocupação é reduzir erro do modelo em produção, vale ler também o guia de como reduzir alucinação em IA e o de human in the loop e padrões de aprovação.

Avaliadores independentes da Anthropic: o que muda quando a METR ganha acesso interno aos modelos