Para comparar modelos de 8B e 70B na preparação de petições iniciais, avalie a fidelidade aos documentos, a identificação de lacunas e o trabalho necessário para revisar cada minuta. O número de parâmetros não demonstra, sozinho, competência jurídica. Uma redação convincente pode conter fatos inventados, pedidos incompatíveis ou referências que não sustentam o argumento.
A proposta abaixo é um protocolo de avaliação para escritórios brasileiros, sem resultados de benchmark ou promessa de substituição do advogado. O produto do teste é uma minuta acompanhada de evidências e pendências. A análise jurídica, a aprovação e o protocolo continuam sob responsabilidade profissional.
Resumo rápido
- Compare versões identificadas, com os mesmos documentos e instruções.
- Separe extração de fatos, organização da peça e fundamentação.
- Trate referência inexistente e fato inventado como falhas críticas.
- Meça tempo de revisão junto com custo e latência.
- Use casos sintéticos ou material autorizado, com acesso restrito.
O que 8B e 70B dizem sobre o modelo
Essas denominações indicam a escala aproximada de parâmetros, não uma certificação de qualidade. Como referência concreta, a Meta publica fichas de Llama 3.1 8B Instruct e Llama 3.1 70B Instruct. Elas permitem identificar versões de uma mesma família para montar uma comparação. Não constituem evidência de desempenho em petições brasileiras.
Registre também precisão numérica, quantização, software de execução, configuração de contexto e recursos disponíveis. Quantização é a representação dos pesos com menor precisão, usada para reduzir demandas de armazenamento e execução. Comparar um modelo altamente comprimido com outro em configuração diferente responde sobre dois sistemas completos, não apenas sobre o efeito do tamanho.
Para uma avaliação prática, isso pode ser aceitável: o escritório precisa escolher entre as alternativas que consegue operar. Apenas declare a pergunta corretamente. “Qual implantação atende nossa rotina?” é diferente de “quanto melhora ao aumentar parâmetros?”. A segunda pergunta exige controlar mais variáveis e não deve ser respondida por uma demonstração isolada.
O guia de avaliação de modelos em português ajuda a organizar critérios gerais. Aqui o recorte é mais estreito: minutas de petições iniciais com um dossiê conhecido, em que cada fato precisa ser rastreável. Para contextualizar produtos da empresa, consulte também a página de integrações da Meta; aplicativos e modelos locais não devem ser tratados como o mesmo serviço.
Defina o dossiê e a resposta esperada
Comece por uma área e um tipo de demanda que a equipe já conhece. Misturar direito de família, cobrança empresarial e matéria previdenciária em uma primeira nota média dificulta interpretar os erros. Cada caso deve ter fatos, documentos e uma orientação de tarefa revisados por profissionais que conheçam aquele procedimento.
Prepare uma ficha de referência que contenha fatos comprovados, fatos apenas alegados, informações ausentes e pontos que exigem interpretação. Ela não precisa conter uma petição perfeita. Precisa permitir avaliar se a IA preservou o que recebeu e reconheceu aquilo que não pode concluir.
O Código de Processo Civil trata dos requisitos da petição inicial nos artigos 319 e 320. Essa referência serve para o advogado construir o roteiro de conferência do procedimento aplicável. Não transforme um resumo automático desses dispositivos em checklist universal para qualquer ação, rito ou situação processual.
Inclua casos com informação incompleta. Um sistema útil deve conseguir solicitar esclarecimento ou manter um campo pendente. Se todo dossiê do teste estiver perfeitamente organizado, você não descobrirá como o modelo reage quando falta um comprovante, há duas datas divergentes ou o relato não esclarece quem participou de um contrato.
Reserve parte dos casos para uma avaliação final. Não use esse conjunto para ajustar o prompt repetidamente. Caso contrário, o resultado refletirá adaptação aos exemplos conhecidos, e a equipe poderá confundir memorização do formato com capacidade de lidar com novos clientes.
Compare qualidade antes de comparar velocidade
Uma rubrica é uma lista de critérios com definições observáveis. Em vez de perguntar se a peça “ficou boa”, registre o que cada avaliador deve conferir. Use o mesmo formulário nos dois modelos e mantenha as respostas sem identificação do sistema durante a primeira revisão, quando possível.
| Critério | Evidência a conferir | Falha relevante |
|---|---|---|
| Fidelidade factual | Correspondência com relato e anexos | Criar pagamento, data ou comunicação |
| Rastreabilidade | Arquivo e trecho que sustentam a afirmação | Apontar documento que não contém o fato |
| Lacunas | Pendências explícitas para o advogado | Preencher dado ausente por suposição |
| Coerência | Relação entre narrativa, fundamento e pedido | Pedir providência sem suporte no caso |
| Referências | Existência e pertinência das fontes | Inventar julgado ou atribuir tese indevida |
| Revisão | Tempo e natureza das correções | Texto fluente que exige reconstrução |
Defina antecipadamente quais erros impedem aprovação. Um dado inventado sobre o cliente não deve desaparecer dentro de uma média alta de clareza e formatação. Apresente o número de casos afetados por falhas críticas separadamente dos indicadores de estilo.
Convide dois revisores para examinar uma parte comum das respostas. Quando discordarem, discutam a definição do critério e documentem a decisão. Se uma nota depende apenas do gosto pessoal por uma expressão, ela não ajuda a escolher a implantação.
Você pode avaliar por etapas: primeiro extração dos fatos, depois organização dos pedidos e, por fim, redação. Essa separação mostra onde o erro começou. Se a extração trocou o destinatário de uma mensagem, uma narrativa elegante construída sobre ela continua errada. Não atribua toda falha à redação final.
Execute um teste reproduzível e calcule o custo completo
Crie um identificador para cada execução e guarde modelo, versão dos documentos, prompt, parâmetros de geração, duração e saída integral. Preserve também mensagens de erro. Uma execução interrompida ou uma resposta truncada precisa aparecer no relatório, não ser descartada silenciosamente porque prejudica o resultado.
Na primeira comparação, forneça o mesmo conjunto de trechos aos dois modelos. Se cada sistema usar uma busca diferente, você estará medindo a combinação de recuperação e geração. Esse é outro experimento possível, mas merece um relatório próprio. O guia de RAG com documentos explica como a recuperação alimenta o modelo.
Repita os casos quando a configuração admitir variação de resposta. Não escolha apenas a melhor tentativa de cada sistema. Registre todas as tentativas previstas no protocolo e compare a frequência de falhas por caso, além do desempenho agregado.
Meça desde a submissão do dossiê até a disponibilidade da saída completa. Depois some o tempo humano para revisar, consultar fontes e corrigir a minuta. A resposta mais rápida pode gerar uma fila maior de conferências. O indicador operacional mais útil é o esforço para chegar a um documento revisável, com os critérios mínimos atendidos.
Na conta financeira, inclua serviço de inferência ou infraestrutura, armazenamento, operação, monitoramento e revisão. Não há preço universal para “rodar 70B”: ele depende da configuração e do fornecedor. Registre valores contratados na data do teste, sem extrapolar uma demonstração curta para o mês inteiro.
Escreva uma regra de decisão antes de olhar os resultados. Por exemplo: só considerar sistemas que respeitem as restrições documentais e de privacidade; entre eles, comparar esforço de revisão e custo. Os limites concretos devem ser definidos pelo escritório, com base no risco e na capacidade de supervisão.
Exemplo: escritório de cobrança empresarial em Recife
Considere um escritório de Recife que quer apoiar a preparação de minutas em demandas de cobrança. O caso é ilustrativo e não representa um experimento realizado. A equipe cria um dossiê sintético com contrato, comprovantes e mensagens, sem identificar clientes reais.
O conjunto inclui deliberadamente uma mensagem que menciona negociação, mas não confirma pagamento. A ficha de referência distingue as duas coisas. Os modelos recebem a instrução de organizar a narrativa usando apenas o material fornecido e listar dúvidas em uma seção separada.
Se uma resposta transformar a negociação em quitação parcial, o revisor registra um fato sem suporte. Se outra disser que não é possível concluir se houve pagamento, ela preserva a lacuna. Essa observação é mais útil do que preferir a peça com vocabulário mais sofisticado.
Em uma segunda etapa, o advogado fornece uma orientação jurídica validada e pede um esboço de estrutura. A avaliação verifica se a resposta mantém coerência entre fatos, orientação e pedidos propostos. A IA não escolhe autonomamente a estratégia e não recebe credencial para acessar sistema de peticionamento.
Ao final, o relatório mostra, para cada configuração, erros críticos, pendências corretamente identificadas, referências conferidas e tempo de revisão. A equipe decide se algum sistema está pronto para um piloto supervisionado. Não há vencedor anunciado aqui: sem executar o protocolo e examinar as saídas, qualquer preferência seria uma hipótese.
Erros comuns
Escolher pela fluência. Texto claro facilita leitura, mas não comprova fidelidade. Peça ao revisor que confira primeiro fatos e fontes, deixando ajustes de estilo para depois.
Usar cliente real no primeiro teste. Comece com material sintético. Quando houver tratamento de dados pessoais, avalie finalidade, necessidade, base aplicável e controles de segurança à luz da LGPD. Remover nomes não elimina automaticamente todas as possibilidades de identificação.
Presumir segurança por executar localmente. A implantação ainda pode produzir logs, cópias e acessos indevidos. Defina quem pode abrir arquivos e respostas, por quanto tempo serão mantidos e como serão eliminados. O teste deve seguir essas mesmas regras.
Pedir jurisprudência de memória. Se a tarefa exigir precedentes, use fontes verificadas e confira existência, conteúdo e pertinência. Um número de processo com aparência plausível não é uma fonte validada.
Mudar várias coisas ao mesmo tempo. Trocar modelo, prompt e documentos impede atribuir a melhoria a uma causa. Mantenha um registro das mudanças e preserve uma configuração de comparação.
Publicar uma média sem explicar os casos. Um conjunto pequeno e homogêneo pode orientar um piloto, mas não demonstra desempenho em todo o contencioso. Descreva limites e mantenha uma lista das situações não avaliadas.
Perguntas frequentes
Um modelo de 70B sempre redige melhor?
Não há essa garantia para uma tarefa específica. A escolha depende do modelo, configuração, documentos, instruções e critérios. O protocolo deve produzir evidência sobre as alternativas realmente disponíveis no escritório.
Um modelo de 8B pode participar do fluxo?
Pode ser avaliado para tarefas delimitadas, como organizar fatos ou apontar campos ausentes. O escopo autorizado depende dos resultados observados. Aprovar uma tarefa não significa aprovar toda a produção de peças.
Preciso treinar o modelo antes de comparar?
Não necessariamente. Comece com uma linha de base sem treinamento adicional. Se houver adaptação posterior, use dados separados do teste final e repita a avaliação para verificar os efeitos, inclusive regressões.
Posso usar outro modelo para dar as notas?
Ele pode ajudar na triagem, mas não deve ser a única autoridade sobre correção jurídica. Confronte suas observações com revisores e documentos. Um avaliador automático também pode aceitar referências falsas.
Quando posso ampliar o piloto?
Quando as falhas estiverem compreendidas, os limites do uso forem claros e a revisão conseguir detectar problemas. Amplie por tipo de tarefa e acompanhe novos casos. Mudanças de versão exigem nova conferência.
