O fine-tuning com LoRA de modelos de visão para ler hodômetros e medidores de água e gás funciona quando as fotos do campo se parecem com as fotos do treino. O modelo aprende o enquadramento, a iluminação e o tipo de mostrador que você mostrou. Se a captura em produção muda, a precisão cai. Por isso, o primeiro passo não é escolher o modelo, e sim padronizar a coleta.
Este guia trata da leitura do valor numérico em uma imagem, um problema que combina detecção do mostrador e reconhecimento dos dígitos. Em empresas de saneamento, distribuidoras de gás e frotas, esse valor alimenta faturamento e manutenção. A tarefa é diferente de catalogar peças ou ler esquemas de engenharia, temas de modelos de visão para catálogo de peças e de leitura de plantas baixas e esquemas.
Resumo rápido
- Ajuste o modelo com fotos capturadas no mesmo padrão do uso real.
- Etiquete o mostrador e os dígitos, não apenas a imagem inteira.
- Use LoRA para adaptar um modelo de visão sem treinar tudo de novo.
- Valide por tipo de medidor e por condição de luz.
- Preveja uma regra de recusa para fotos ilegíveis.
1. Por que leitura de medidor não é OCR comum
Um leitor de texto genérico lê letras e números em documentos digitalizados. Um medidor tem dígitos mecânicos, refletores, sombras, sujeira e ângulos irregulares. A parte numérica pode estar em rolos giratórios, com um dígito parcialmente visível na virada. Há medidores de água com visor azul, de gás com visor metálico e hodômetros de veículo com décimos em vermelho.
Essa variedade significa que a tarefa tem duas etapas conceituais: localizar a região dos dígitos e ler o valor. Modelos multimodais de visão conseguem fazer as duas de uma vez quando ajustados, mas costumam errar mais em fotos fora do padrão. Separar as etapas, com uma detecção e depois uma leitura, facilita auditar onde o erro acontece.
A precisão importa porque o valor vira fatura ou registro de manutenção. Um erro de um dígito pode gerar cobrança indevida. Por isso, o sistema precisa saber quando não tem certeza e encaminhar a foto para conferência humana, em vez de inventar um número.
2. Colete e etiquete fotos do campo
Reúna um lote de fotos que represente a operação real: diferentes modelos de medidor, horários, sombras e ângulos de captura. Se os leituristas usam um aplicativo, treine o modelo com imagens desse aplicativo, não com fotos de estúdio. A distribuição do treino deve espelhar a distribuição do dia a dia, inclusive os casos difíceis.
Etiquete a região do mostrador e os dígitos que compõem o valor. Mantenha uma convenção clara: qual parte é o número principal, qual é decimal, qual não entra na conta. Registre também os casos ilegíveis como uma classe própria, para que o modelo aprenda a recusar em vez de tentar adivinhar. A curadoria dessas etiquetas costuma consumir mais tempo do que o treino em si.
Use a biblioteca Datasets para organizar os pares de imagem e anotação e para versionar o conjunto. Divida por localidade e por modelo de medidor, não de forma aleatória. Se o mesmo relógio aparece no treino e no teste, você mede memorização, não leitura.
3. Escolha entre detecção mais OCR ou modelo multimodal
Existem dois caminhos comuns. No primeiro, um detector localiza o mostrador e um leitor dedicado extrai os dígitos. No segundo, um modelo multimodal recebe a foto e devolve o valor, ajustado por LoRA para o domínio. Cada abordagem tem custos e benefícios, resumidos na tabela.
| Critério | Detecção mais OCR dedicado | Modelo multimodal com LoRA |
|---|---|---|
| Controle do erro | Alto, separa localização e leitura | Menor, decisão única |
| Dados necessários | Caixas e transcrições | Pares de imagem e valor |
| Custo de treino | Dois modelos | Um adaptador leve |
| Flexibilidade | Precisa de ajuste por formato | Generaliza melhor entre formatos |
A PEFT permite adaptar modelos grandes com poucos parâmetros treináveis, mantendo o modelo base congelado. A ideia de adaptadores de baixo rank vem do artigo original de LoRA. Para tarefas de visão, modelos como o Qwen2-VL aceitam imagem e texto na entrada e podem ser ajustados para devolver apenas o valor. Se você preferir separar as etapas, a detecção de objetos cobre a localização do mostrador.
4. Ajuste com LoRA e valide por tipo de medidor
Configure o treino com o modelo base congelado e apenas os adaptadores ativos. Use uma taxa de aprendizado pequena e acompanhe a métrica de validação. Guarde o melhor ponto e registre a versão do modelo, dos dados e dos hiperparâmetros. O ajuste eficiente em hardware modesto segue os mesmos princípios de LoRA e QLoRA para fine-tuning eficiente.
A validação precisa ser por tipo de medidor e por condição de luz. Uma média alta em todos os modelos pode esconder que o modelo nunca acerta o medidor antigo com visor embaçado. Monte o resultado em uma tabela cruzando tipo de equipamento e faixa de iluminação. É ali que aparecem os casos que justificam mais coleta.
Inclua uma métrica de erro grave, como o valor lido fora por mais de um dígito. Esse número é o que causa cobrança errada. Um modelo com boa média, mas com erro grave frequente, não está pronto. Também acompanhe a taxa de recusa: recusar demais atrasa a leitura, recusar de menos aumenta o erro silencioso.
Antes de subir para produção, teste o modelo com fotos novas, capturadas depois do treino. É a única forma de saber como ele se comporta com o que ainda não viu. Se possível, faça um período de sombra, em que a leitura automática convive com a conferência humana.
Padronize também a captura no aplicativo. Uma moldura na tela, uma instrução de distância e um aviso quando a foto sai escura reduzem a variação antes de ela chegar ao modelo. É mais barato orientar o leiturista do que ensinar o modelo a lidar com todo tipo de enquadramento.
Guarde a versão de cada foto usada no treino e a versão do adaptador que a leu. Quando um erro aparece em campo, essa rastreabilidade permite refazer o caminho e entender se o problema veio da imagem, do rótulo ou do modelo. Sem esse registro, cada falha vira uma investigação do zero.
5. Exemplo: cooperativa de água no interior de Minas
Considere uma cooperativa fictícia de saneamento no interior de Minas Gerais. Os leituristas tiram fotos dos hidrômetros pelo aplicativo, e a conferência é manual. Este exemplo é ilustrativo e não descreve uma implantação nem apresenta ganhos medidos.
A equipe reúne seis meses de fotos, etiqueta o mostrador e os dígitos e separa o conjunto por bairro, para que o teste tenha locais que o treino não viu. Treina um modelo multimodal com LoRA e compara com a abordagem de detecção mais OCR. A decisão sai da tabela por tipo de hidrômetro, não da média geral.
Fotos ilegíveis formam uma classe separada e são encaminhadas para o leiturista. A cada ciclo, as novas fotos corrigidas entram no próximo treino, fechando o laço entre operação e modelo. O ganho aparece primeiro na triagem: as fotos fáceis deixam de ocupar o tempo da conferência.
Erros comuns
Treinar com fotos fora do padrão real. Imagens de estúdio não representam sombra, sujeira e ângulo de campo. O modelo aprende um domínio que não existe na operação e falha justamente nas fotos difíceis.
Etiquetar só a imagem inteira. Sem marcar o mostrador e os dígitos, fica difícil saber se o erro veio da localização ou da leitura. A anotação detalhada é o que permite depurar o resultado.
Dividir os dados aleatoriamente. Imagens do mesmo medidor em treino e teste inflam a métrica. Divida por localidade e por modelo de equipamento para medir generalização de verdade.
Ignorar o erro grave. Média alta não compensa um dígito trocado que gera cobrança errada. Acompanhe separadamente os erros que mudam o valor de forma relevante.
Padronizar a captura só depois. Deixar cada leiturista enquadrar como quiser amplia a variação que o modelo precisa suportar. Orientar a captura no aplicativo reduz o problema antes de ele chegar ao treino.
Perguntas frequentes
Preciso de um modelo multimodal ou só de OCR?
Depende da variedade dos medidores. Se há muitos formatos e condições, o modelo multimodal generaliza melhor. Se o parque é padronizado, a abordagem de detecção mais OCR dá mais controle e é mais fácil de auditar.
Quanto dado de treino é necessário?
Não há número fixo. O que importa é cobrir os tipos de medidor e as condições de captura. Poucas centenas de imagens bem etiquetadas podem bastar para um cenário estreito. Sempre valide com fotos novas.
LoRA substitui o treino completo?
Para adaptar um modelo ao domínio, LoRA é uma forma eficiente de chegar lá com menos recursos. Um treino completo pode ser necessário quando o comportamento muda de forma ampla. Comece por LoRA e escale só se a métrica por tipo exigir.
Como tratar fotos ilegíveis?
Trate como uma classe própria e ensine o modelo a recusar. Encaminhe para conferência humana e registre o motivo. Recusar corretamente é melhor do que devolver um número inventado.
O valor lido pode ir direto para a fatura?
Em geral, não sem uma etapa de conferência. Um período de sombra, com leitura automática e revisão em paralelo, mostra a confiabilidade real antes de automatizar a cobrança.
Como sei que o modelo está pronto para produção?
Quando a métrica por tipo de medidor e a taxa de erro grave ficam estáveis em fotos capturadas depois do treino. Estabilidade, e não um número isolado alto, é o sinal de que a leitura automática pode conviver com a conferência.
