Para testar números romanos em respostas de IA, avalie três tarefas separadas: reconhecer o trecho como numeral, converter seu valor e preservar sua função no documento. Acertar que XIV corresponde a 14 não basta se a resposta transforma o capítulo XIV em uma quantidade de capítulos ou altera uma referência usada para localizar informação.
Monte um gabarito com contexto, representação original, valor esperado e ação permitida. Inclua letras latinas, caracteres Unicode próprios, formas não aceitas pela sua aplicação e sequências ambíguas. As recomendações abaixo são um protocolo de avaliação proposto, não um resultado de desempenho de um modelo específico.
Resumo rápido
- Separe identificação, conversão e preservação de referências.
- Guarde o texto original antes de qualquer transformação.
- Defina explicitamente a convenção de escrita aceita.
- Compare pares equivalentes e exemplos que apenas parecem numerais.
- Exija revisão quando o contexto não permitir uma leitura segura.
O que a avaliação precisa distinguir
Um numeral pode indicar uma edição, uma seção, um volume ou parte de um nome. Em “Volume II: três anexos”, II identifica o volume e três informa a quantidade de anexos. Uma extração que devolve apenas os valores 2 e 3 perde a diferença que orienta a consulta. Por isso, cada ocorrência deve receber uma função além do valor.
Trabalhe com quatro campos no gabarito: trecho literal, função contextual, valor interpretado e destino. O destino pode ser uma exibição para leitores, uma chave de busca ou um campo numérico. As permissões de mudança dependem desse destino. Para citar uma seção, preservar a grafia costuma ser uma escolha adequada; para ordenar volumes, um valor auxiliar pode ser útil.
Inclua também textos nos quais a conversão é indevida. Uma empresa fictícia chamada MIX não deve virar 1009 simplesmente porque suas letras admitem uma leitura numérica. A instrução precisa perguntar se existe evidência contextual para interpretar a sequência como numeral. Na ausência dessa evidência, o gabarito pode marcar “não converter” ou “contexto insuficiente”.
Essa distinção se conecta à avaliação de referências ambíguas: resolver uma forma isolada não garante que seu referente foi preservado. Faça o avaliador conferir a frase de origem junto da saída, sem substituir esse trabalho por uma justificativa convincente produzida pela própria IA.
Defina a convenção antes de montar o gabarito
Para um teste operacional, declare o repertório aceito. Uma possibilidade é usar numerais positivos de I a MMMCMXCIX, com as combinações subtrativas IV, IX, XL, XC, CD e CM. Esse intervalo é uma decisão do teste. Não significa que toda tradição histórica ou todo documento use apenas essa representação.
Como referência técnica para essa convenção, a especificação CSS Counter Styles do W3C descreve os estilos de contadores romanos. Ela ajuda a documentar uma regra reproduzível para apresentação, mas não deve ser usada para declarar inválida toda grafia encontrada em documentos históricos.
Escreva qual será a conduta diante de IIII, minúsculas, espaços internos e sinais sobre as letras. Você pode aceitar minúsculas como entrada e produzir maiúsculas no campo normalizado. Pode, ao mesmo tempo, encaminhar IIII para revisão por estar fora da convenção escolhida. A aceitação precisa estar registrada antes de observar as respostas.
Evite regras vagas como “corrija números romanos”. Elas misturam revisão editorial e interpretação documental. Se o objetivo for transcrever uma capa antiga, corrigir a inscrição destrói a evidência. Se o objetivo for produzir uma lista nova, aplicar uma convenção de saída faz sentido. Use instruções diferentes e avalie cada tarefa com seu próprio gabarito.
Monte uma matriz de casos que revele o tipo de erro
| Entrada de teste | Resultado esperado | Verificação principal |
|---|---|---|
| Capítulo XIV | Valor auxiliar 14; referência preservada | Função documental |
| Volume IX | 9, dentro da convenção declarada | Combinação subtrativa |
| Seção Ⅳ | 4; original mantido em campo separado | Representação Unicode |
| Empresa MIX | Não converter sem evidência adicional | Falso positivo |
| Capítulo IC | Revisão na convenção escolhida | Forma não aceita |
| Volumes II e XI | Duas referências, valores 2 e 11 | Segmentação |
Acrescente casos simples de controle: I, V, X, L, C, D e M. Depois combine valores, variando o contexto sem mudar o numeral. Compare “capítulo IX”, “edição IX” e “código IX”. A mesma conversão pode estar correta nos três, mas a política de exibição ou armazenamento pode ser diferente.
Inclua pares próximos, como VI e IV, XI e IX, XL e LX. Eles ajudam a separar confusão de ordem de uma dificuldade com a função textual. Não anuncie previamente que todos os exemplos são numerais válidos: esse aviso remove justamente a decisão de reconhecimento que você precisa avaliar.
Reserve um conjunto para revisão final, separado dos exemplos usados para ajustar o comando. Guarde a versão do gabarito e as decisões sobre casos limítrofes. Quando uma decisão mudar, recalcule os resultados afetados; comparar notas produzidas com convenções diferentes pode sugerir uma melhora que ocorreu apenas na regra de correção.
Normalize caracteres sem apagar a evidência
O Unicode possui caracteres próprios para números romanos, documentados no bloco Number Forms. Assim, Ⅳ e IV podem ter aparência próxima e representações diferentes. Um teste que usa apenas copiar e colar visualmente pode deixar essa diferença passar despercebida.
O anexo de normalização Unicode distingue equivalência canônica e de compatibilidade. A normalização NFKC pode aproximar numerais romanos Unicode de suas letras equivalentes. Isso trata representação textual; não converte automaticamente o resultado para um número decimal nem decide sua função na frase.
Uma arquitetura de avaliação útil mantém três colunas: original, texto preparado para comparação e valor interpretado. Por exemplo, original Ⅳ, comparação IV, valor 4. Essa separação permite descobrir se o problema surgiu na leitura do arquivo, no preparo do texto ou na interpretação. Também permite reconstruir a referência mostrada ao usuário.
Não aplique transformações indiscriminadas a todo o documento. A própria especificação Unicode alerta para perda de distinções de compatibilidade. Delimite o campo e registre a transformação. Para aprofundar esse cuidado, consulte o guia sobre normalização Unicode em buscas com embeddings, especialmente quando a saída alimenta uma busca documental.
Se houver listas em páginas HTML, confira também a origem da numeração. O padrão HTML para listas ordenadas permite controlar a numeração com atributos. No seu protocolo, verifique a página renderizada e o conteúdo extraído, pois o teste precisa saber qual representação efetivamente chegou à IA.
Exemplo: editora de materiais didáticos em Curitiba
Considere uma editora fictícia de Curitiba que organiza apostilas com capítulos em números romanos. O cenário é ilustrativo e não relata uma implantação real. A equipe quer gerar um índice de busca sem mudar as referências usadas nas aulas. O material contém “Capítulo IV”, “Capítulo IX” e um selo fictício chamado MIX.
A primeira decisão é guardar cada título literal e acrescentar um campo para ordenação. Para “Capítulo IX”, o campo numérico será 9, enquanto o título continua igual. Para o selo MIX, o valor fica vazio e a função é nome de marca. Se a extração transformar o selo em numeral, o caso conta como falso positivo, ainda que a conta isolada seja possível.
A equipe prepara uma cópia com Ⅳ no lugar de IV apenas em um título. A expectativa é que a busca reconheça a equivalência definida pelo projeto, preservando a escrita da cópia consultada. Depois inclui “Capítulo IC” como entrada fora da convenção. A saída deve apontar revisão e citar o trecho, sem inventar o título pretendido.
Um comando de teste pode ser: “Para cada ocorrência candidata, devolva trecho original, função, valor quando permitido e motivo de revisão. Use a convenção fornecida. Não reescreva títulos nem converta nomes próprios. Se faltar contexto, registre essa limitação”. O gabarito deve ser produzido e revisado pela equipe, independentemente da resposta gerada.
Antes de liberar o índice, o editor abre algumas referências a partir dos resultados da busca. Essa checagem testa uma necessidade prática: o leitor consegue chegar ao capítulo certo? Uma conversão correta que aponta para o trecho errado precisa reprovar a tarefa documental, mesmo que o campo numérico isolado esteja certo.
Erros comuns
Somar letras sem validar a sequência. Um algoritmo permissivo pode atribuir valor a entradas fora da convenção adotada. Teste validade e valor em campos distintos. Para uma entrada recusada, a resposta não deve fornecer uma conversão como se estivesse aprovada para uso.
Alterar o original durante a limpeza. Substituir toda ocorrência elimina a possibilidade de auditar uma citação. Preserve o texto fonte e faça a normalização em campo auxiliar. Quando houver um erro no documento, registre a proposta de correção separadamente da transcrição.
Ordenar como texto. Uma lista de títulos pode ficar em ordem inadequada se a comparação usar apenas as letras. No teste de ordenação, compare os valores auxiliares e confira se cada valor permaneceu ligado ao título correto. Não basta apresentar a sequência numérica certa com títulos trocados.
Usar uma única nota. Conte separadamente falhas de reconhecimento, conversão, rejeição e preservação. Para reconhecimento, registre candidatos indevidamente convertidos e numerais ignorados. Para conversão, compare apenas casos cuja interpretação é autorizada. Essa divisão mostra qual etapa precisa de ajuste.
Aceitar justificativa no lugar da evidência. Peça a localização e o trecho correspondente. Se a resposta explica que IX é nove, mas a fonte dizia XI, a explicação não salva a extração. A conferência tem de começar pelo material recebido e seguir até o resultado utilizado.
Perguntas frequentes
A IA precisa converter todos os números romanos?
Não. A conversão depende do objetivo e do contexto. Em transcrição, preserve a forma original. Em ordenação, adicione um valor auxiliar. Em uma sequência ambígua, aceite revisão como resposta válida quando o gabarito indicar falta de evidência.
IV e Ⅳ devem ser considerados iguais?
Podem ser equivalentes para uma comparação definida pelo projeto, mas não são o mesmo texto original. Guarde ambas as representações e declare como a comparação foi feita. A equivalência de busca não autoriza apagar diferenças de uma transcrição.
Como tratar IIII?
Declare a convenção e a natureza do material. Em um teste restrito à forma subtrativa escolhida, encaminhe para revisão. Em uma transcrição documental, preserve IIII. Não corrija automaticamente uma inscrição sem autorização editorial e sem considerar seu contexto.
Qual resultado permite aprovar o fluxo?
Defina critérios antes da execução e vincule-os ao uso. Para referências documentais, uma troca de capítulo pode ser impeditiva. Conte acertos, omissões, conversões indevidas e revisões por tipo de caso, conservando os exemplos que falharam para uma nova rodada.
É necessário trocar o modelo para corrigir o problema?
Primeiro localize a etapa responsável. Se o extrator perdeu um caractere ou o comando permitiu reescrever títulos, mudar o modelo não resolve necessariamente a causa. Corrija a entrada ou a regra e repita os mesmos casos, mantendo também exemplos novos para validação.
