Para avaliar ordinais em respostas de IA, confira se a posição continua ligada ao item correto e se a resposta preserva a diferença entre ordem, quantidade e identificação. “Terceiro pedido” seleciona um elemento de uma sequência; “três pedidos” informa uma quantidade. A troca entre essas expressões pode mudar uma instrução de trabalho mesmo quando o algarismo permanece igual.
Prepare casos com uma lista explícita, um critério de ordenação e um gabarito independente. Inclua empates, listas filtradas, posições relativas e abreviações. O protocolo a seguir é uma proposta de avaliação para equipes; não apresenta resultados de um produto específico nem pressupõe que toda aplicação de IA erre da mesma maneira.
Resumo rápido
- Declare qual sequência define a posição solicitada.
- Separe ordinal, cardinal e identificador no gabarito.
- Teste a manutenção da identidade do item após filtros.
- Inclua situações nas quais a posição não pode ser determinada.
- Verifique a saída usada na operação, além do texto explicativo.
Posição, quantidade e código precisam de campos diferentes
Considere “o segundo orçamento tem quatro serviços e código 27”. Há três informações numéricas com funções diferentes. Segundo indica posição, quatro indica quantidade e 27 identifica o registro. Para responder qual orçamento revisar, a IA precisa preservar a ligação entre elas. Extrair apenas os números não representa adequadamente a tarefa.
No seu gabarito, registre o trecho, a função, o valor quando aplicável e o identificador estável do item. O identificador evita que uma reordenação aparente sucesso ao devolver a posição correta ligada ao orçamento errado. Se a lista muda, o código do orçamento continua permitindo conferir qual registro foi realmente selecionado.
Também diferencie prioridade e posição. “Prioridade 1” pode ser uma etiqueta definida pela empresa e não o primeiro item visível. A legenda do sistema deve orientar a interpretação. Quando essa legenda estiver ausente, a resposta adequada pode pedir contexto, em vez de supor uma ordem crescente ou uma regra de urgência.
Essa separação complementa o guia de avaliação de unidades e ambiguidades numéricas. Nos dois casos, um valor só faz sentido associado ao papel que desempenha. Para ordinais, esse papel depende sobretudo da sequência considerada e da operação aplicada a ela.
Declare a sequência e a política de escrita
Uma posição pressupõe uma ordem. “O terceiro cliente” pode significar o terceiro a chegar, o terceiro na tela ou o terceiro depois de classificar por nome. Escolha uma dessas interpretações no comando. Se houver mais de uma ordem possível no material, inclua um caso em que o gabarito exija esclarecer a referência.
Depois defina o formato de saída. Você pode pedir “terceiro”, “3º” ou o valor 3 em um campo de posição, desde que a função permaneça explícita. A formatação não deve ser confundida com a seleção. É possível escrever uma abreviação correta e ainda apontar para a pessoa errada.
O Manual de Comunicação do Senado apresenta uma convenção editorial para escrever ordinais e ressalva contextos como artigos de leis. Use essa fonte como referência de estilo identificada, sem transformar uma orientação institucional em regra única para todos os sistemas.
Para produtos multilíngues, separe a posição abstrata de sua apresentação. A documentação Unicode LDML sobre números trata mecanismos de formatação relacionados a localidades. Em um teste brasileiro, registre explicitamente português do Brasil e o padrão escolhido, sem presumir que exemplos em inglês definam a escrita em português.
Verifique ainda o caractere usado. A tabela Unicode Latin-1 Supplement distingue os indicadores ordinais feminino e masculino de outros sinais. No teste, compare “2ª etapa”, “2º item” e “2°” como entradas diferentes. O último sinal não deve ser aceito automaticamente como equivalente em uma transcrição fiel.
Crie casos que separem seleção e transformação
| Pedido | Condição necessária | O que conferir |
|---|---|---|
| Selecionar o terceiro pedido | Sequência explícita | Identidade do terceiro item |
| Selecionar três pedidos | Critério de escolha definido | Quantidade, sem inventar posição |
| Mostrar a segunda etapa pendente | Filtrar antes de contar | Posição na lista filtrada |
| Informar o segundo maior valor | Política de empate | Valor distinto ou segundo registro |
| Abrir o pedido 3 | Semântica do identificador | Código, não posição presumida |
| Retornar o penúltimo item | Lista completa | Referência a partir do fim |
Comece com uma sequência curta, como A, B, C, D. Peça o terceiro item e espere C. Em seguida, remova B e pergunte novamente, deixando claro que a pergunta se refere à lista resultante. Agora a resposta esperada é D. Essa dupla detecta a conservação indevida de uma posição antiga.
Em outro par, mantenha a lista original e pergunte “qual item ocupava o terceiro lugar antes da remoção?”. O gabarito volta a C. A diferença está no tempo de referência, não no cálculo. Esse contraste evita treinar uma correção que simplesmente renumera tudo após qualquer mudança.
Para empates, use valores fictícios 90, 90 e 80. “Segundo registro após ordenar” e “segundo valor distinto” podem ter respostas diferentes. Defina um desempate estável, como a ordem de entrada, quando a tarefa exigir selecionar um registro. Se não houver regra, aceite a indicação de ambiguidade.
Acrescente entradas vazias e posições inexistentes. Se houver apenas dois itens, uma solicitação pelo quinto não autoriza criar três registros. O gabarito deve exigir a declaração de indisponibilidade, sem substituir silenciosamente pelo último item. Esse caso avalia um limite relevante para operações reais.
Avalie a extração da lista e a resposta final
Quando o material vem de uma página ou de um documento, confira a lista que efetivamente entrou no teste. Uma quebra de página pode separar um marcador do item; um cabeçalho repetido pode ser interpretado como novo elemento. Antes de atribuir uma falha à seleção, verifique se a entrada preservou os limites dos registros.
No HTML, a especificação do elemento de lista ordenada prevê recursos como início definido e ordem invertida. Assim, o primeiro item extraído não deve ser automaticamente equiparado ao marcador visual 1. No seu protocolo, registre separadamente posição no conteúdo e rótulo apresentado.
Uma lista que começa em 5 oferece um caso útil: o primeiro elemento pode aparecer com marcador 5. Perguntar pelo “primeiro item deste trecho” e pelo “item marcado como 5” pode selecionar o mesmo registro, mas por caminhos diferentes. Perguntar pelo “item 1” não tem resposta determinada se esse item não aparece no recorte.
Na saída, exija um identificador junto da posição. Por exemplo: “posição na lista filtrada: 2; código do registro: P-C; texto: revisão do orçamento”. Isso permite conferir a ação posterior. Um sistema que apenas devolve 2 força a próxima etapa a reconstruir o contexto e pode aplicar o número a outra lista.
A avaliação de referências ambíguas ajuda a ampliar esses testes com expressões como “o anterior”, “o seguinte” e “aquele da segunda linha”. Mantenha os casos de referência relativa separados dos ordinais explícitos para identificar qual tipo de instrução produziu a falha.
Exemplo: gráfica de Belo Horizonte revisa uma fila
Considere uma gráfica fictícia em Belo Horizonte que usa IA para resumir pedidos de revisão. O caso é ilustrativo, sem resultados medidos ou clientes reais. A fila original contém P-A, P-B, P-C e P-D, nessa ordem. Os pedidos P-B e P-D aguardam aprovação; os demais já foram aprovados.
A instrução “selecione o segundo pedido que aguarda aprovação” exige primeiro formar a lista P-B, P-D e depois escolher P-D. Selecionar P-B por estar na segunda posição da fila completa é erro de escopo. A quantidade de pedidos pendentes também é dois, mas esse valor não identifica qual registro deve receber a revisão.
A responsável prepara um gabarito que contém a sequência original, o filtro, a sequência resultante e o registro escolhido. O teste pede esses campos de forma breve e estruturada. Isso permite conferir etapas observáveis sem solicitar uma narrativa extensa de raciocínio. O registro final continua sendo a referência para a ação.
Na rodada seguinte, a fila é reordenada para P-D, P-A, P-B e P-C. Mantidas as situações de aprovação, o segundo pendente passa a ser P-B. A equipe conserva o primeiro caso e adiciona o segundo. Se a resposta insistir em P-D, pode estar repetindo a seleção anterior em vez de usar a ordem apresentada.
Depois, a responsável envia um recorte com apenas P-B e pede o segundo pendente da fila completa. O material não permite confirmar esse resultado. O gabarito exige informar que a fila está incompleta. Esse controle evita que uma resposta acertada por acaso esconda a ausência de informação necessária.
O comando pode ser: “Use apenas a fila fornecida, na ordem apresentada. Aplique o filtro de aprovação antes de contar. Devolva código do registro e posição na lista filtrada. Se a lista for incompleta ou a posição não existir, informe a limitação sem escolher um substituto”. A regra deve acompanhar cada caso, para que a comparação seja reproduzível.
Erros comuns
Contar antes de filtrar. Esse erro seleciona o segundo item da lista inteira quando o pedido se refere ao segundo item de um subconjunto. Guarde a lista intermediária no gabarito e confira a seleção. A explicação só é aceitável se o código final corresponder ao subconjunto correto.
Trocar posição por quantidade. “Quarta entrega” não autoriza gerar quatro entregas. Inclua pares de frases com o mesmo número e funções distintas. A resposta deve conservar o tipo de informação solicitado e não acrescentar uma operação de agrupamento ausente no comando.
Confundir marcador com índice. Um índice de programação pode começar em zero, enquanto a posição pedida ao usuário começa em um. Declare a convenção do campo técnico e mantenha nomes diferentes para índice e posição. Teste o primeiro e o último registro para revelar deslocamentos de uma unidade.
Ignorar empates ou lista incompleta. A seleção pode não ser única ou sequer determinável. Registre essas situações como resultados esperados. Penalizar toda resposta de limitação incentiva escolhas sem base; por outro lado, aceitar limitação quando a entrada está completa esconde omissões.
Corrigir só a grafia. Trocar “3°” por “3º” não garante que o terceiro registro foi encontrado. Avalie apresentação e seleção separadamente. Conte também trocas entre masculino e feminino conforme a política editorial, preservando a identidade do item como critério operacional principal.
Somar tudo em uma taxa geral. Separe casos de seleção simples, filtro, reordenação, empate, referência relativa e ausência de posição. Defina antes quais falhas impedem a liberação. Guarde as saídas originais para comparar novas rodadas sem depender de lembranças ou de exemplos escolhidos depois do resultado.
Perguntas frequentes
Ordinal e cardinal podem ter o mesmo valor numérico?
Sim, mas desempenham funções diferentes. “Segundo” aponta uma posição e “dois” informa quantidade. Um campo auxiliar pode armazenar 2 em ambos, desde que outro campo preserve a função. Sem essa distinção, uma automação pode executar uma ação diferente da solicitada.
Como avaliar “segundo maior” quando há empate?
Defina se você quer o segundo registro ordenado ou o segundo valor distinto. Se a tarefa exigir um registro único, acrescente a regra de desempate. Quando essa informação estiver ausente, a resposta deve apontar a ambiguidade em vez de escolher arbitrariamente.
Devo aceitar ordinais por extenso e abreviados?
Você pode aceitar ambos para seleção, mantendo um teste separado para o formato exigido. Se o contrato pede “3ª etapa”, a resposta “terceira etapa” pode acertar o sentido e falhar na apresentação. Registre as duas avaliações sem confundir os critérios.
Como testar posições contadas a partir do fim?
Use listas completas e peça último, penúltimo e antepenúltimo em casos separados. Inclua listas curtas nas quais determinada posição não exista. Depois mude a quantidade de itens para verificar se a resposta acompanha a entrada e conserva o identificador correto.
Qual é a melhor forma de corrigir uma falha?
Localize primeiro a etapa: extração, definição da ordem, filtro, seleção ou formatação. Corrija a regra responsável e execute novamente os casos anteriores junto de exemplos novos. Se você alterar o gabarito, documente o motivo antes de comparar os resultados.
