Um modelo de visão e linguagem, ou VLM, recebe imagens e instruções em texto para produzir descrições, respostas ou dados estruturados. Na inspeção de qualidade industrial, ele pode ajudar a documentar diferenças visíveis, organizar ocorrências e encaminhar peças suspeitas para revisão. A implantação deve começar como apoio ao inspetor, com imagens controladas e critérios explícitos de aceitação.
Ter pesos disponíveis para execução local não torna um modelo qualificado para liberar produtos. A escolha depende do defeito procurado, da qualidade da captura, da licença e de testes feitos na própria linha. Uma arquitetura útil combina visão especializada para localizar anomalias com um VLM para explicar evidências e preencher o registro da inspeção.
Resumo rápido
- Defina defeitos observáveis antes de escolher o modelo.
- Separe descrição visual, detecção de anomalias e decisão de qualidade.
- Controle iluminação, enquadramento e identificação de cada peça.
- Valide com lotes diferentes daqueles usados para ajustar instruções.
- Preserve a imagem original e encaminhe casos incertos para revisão humana.
O que um VLM consegue acrescentar à inspeção
Uma câmera registra pixels; o processo de qualidade precisa relacionar esses pixels a um produto, a uma especificação e a uma decisão. O VLM entra na etapa de interpretação assistida. Pode receber a foto da peça e uma lista de pontos a observar, depois devolver uma descrição organizada. A explicação deve apontar o que está visível, evitando atribuir causa, medida ou material sem evidência.
Por exemplo, “há uma região escura ao lado do encaixe superior” é uma observação. “O molde está desgastado” é uma hipótese causal que exige investigação. Misturar as duas frases produz relatórios convincentes, mas pouco auditáveis. O formulário deve manter campos separados para observação, hipótese do técnico e decisão final.
A ficha oficial do Qwen2.5-VL-7B-Instruct descreve entrada visual, localização de objetos e respostas estruturadas. Isso o torna um candidato de laboratório, não uma garantia de desempenho industrial. O artefato consultado usa licença Apache 2.0; confira também os componentes do pacote de implantação. O conceito geral está no guia de modelos multimodais.
O ganho que vale testar é operacional: tornar a revisão mais fácil, reduzir campos esquecidos e recuperar casos semelhantes. Não assuma redução de refugos ou aumento de produtividade antes de medir. Um relatório mais detalhado pode até aumentar o trabalho se não ajudar o inspetor a decidir.
Escolha a técnica conforme o defeito
Nem todo problema visual precisa de linguagem. Conferir uma posição fixa pode caber em regras geométricas. Identificar um tipo conhecido de defeito pode exigir um classificador ou segmentador treinado. Procurar diferenças em relação a peças normais é outro problema, geralmente tratado como detecção de anomalias. Cada alternativa deve ter uma linha de base simples.
| Abordagem | Uso a testar | Limitação principal |
|---|---|---|
| Regras de imagem | Presença e alinhamento em cenário estável | Sensibilidade a mudanças de captura |
| Modelo supervisionado | Classes de defeitos já rotuladas | Depende da cobertura dos exemplos |
| Detecção de anomalias | Desvios em relação ao padrão visual | Desvio não equivale automaticamente a rejeição |
| VLM com instruções | Descrição e triagem de evidências | Pode omitir detalhes ou gerar explicações incorretas |
| Inspeção humana | Exceções e julgamento de especificações | Exige tempo e padronização entre avaliadores |
O Anomalib reúne métodos e ferramentas para experimentos de detecção de anomalias. Ele é uma alternativa para a camada visual especializada; não deve ser apresentado como se fosse um VLM. A comparação precisa avaliar o sistema completo, incluindo captura, preparação das imagens e revisão.
Antes de escolher um modelo maior, descreva o menor defeito relevante e a condição em que ele aparece. Uma rebarba pouco contrastante pode desaparecer no redimensionamento. Trocar apenas o modelo não recupera informação que a câmera nunca registrou. Quando a decisão exige dimensão física, use um procedimento de medição calibrado e validado para essa finalidade.
Monte um conjunto de imagens que represente a fábrica
Comece por uma família de produtos e um posto de inspeção. Defina posição da câmera, lente, distância, fundo, exposição e luz. Registre esses parâmetros junto com a versão do processo. Inclua peças normais, defeitos conhecidos, casos de fronteira e imagens inadequadas, como reflexos fortes ou enquadramento incompleto. Uma categoria “não avaliável” evita transformar falha de captura em aprovação.
Identifique a peça antes da inferência. O identificador deve acompanhar a fotografia desde a coleta até a tela do inspetor. Se a esteira mudar de posição durante uma fila de processamento, uma boa resposta aplicada à peça errada continua sendo um erro grave. Use o vínculo do sistema de produção, não uma associação baseada apenas no horário aproximado.
Separe os conjuntos por lote ou período, evitando distribuir fotos quase idênticas da mesma peça entre ajuste e teste. Se o sistema vê o mesmo arranhão dos dois lados da divisão, a avaliação fica otimista. Reserve condições futuras, como outra iluminação de turno ou embalagem de fornecedor diferente, para testar a capacidade de generalização.
O MVTec AD é uma referência pública de pesquisa em anomalias industriais. Serve para estudar métodos, mas não substitui dados da sua linha. O conjunto é distribuído sob licença CC BY-NC-SA 4.0, e o fornecedor informa que seu uso comercial não é permitido. Use-o somente nos limites dessa licença. O modelo pode ir bem em imagens públicas e falhar na superfície, no acabamento ou na câmera da empresa.
Peça a dois inspetores que revisem parte da amostra de forma independente. Divergências revelam critérios ambíguos que nenhum prompt resolve sozinho. Documente a regra acordada e mantenha exemplos visuais aprovados pela qualidade. Essa biblioteca vira a referência para treinar pessoas e avaliar software.
Estruture o processamento e a validação da resposta
Um fluxo inicial pode ter cinco etapas: capturar, verificar a imagem, recortar a região de interesse, executar o modelo e validar o resultado. A documentação de image-text-to-text do Transformers mostra como combinar texto e imagem na entrada de modelos compatíveis. Fixe as versões que funcionaram no experimento e registre o identificador exato dos pesos.
Forneça instruções curtas: qual peça está sendo observada, quais regiões importam e quais respostas são permitidas. Evite perguntas vagas como “essa peça está perfeita?”. Prefira “descreva sinais visíveis nas áreas A e B; use não avaliável quando a região estiver oculta”. Uma imagem de referência pode ajudar, mas sua presença não dispensa validação contra diferenças de ângulo e escala.
Peça campos como identificador da peça, qualidade da captura, observação, região suspeita e necessidade de revisão. Valide o formato por código. Rejeite campos ausentes, coordenadas fora da imagem e valores que não pertencem ao vocabulário aprovado. As ideias de saídas estruturadas ajudam a construir esse contrato, sem transformar formato correto em prova de conteúdo correto.
Não use uma porcentagem escrita pelo modelo como probabilidade calibrada. A frase “confiança alta” pode ser apenas texto gerado. A autorização para automatizar uma decisão deve vir de medições externas, por classe de defeito, e de critérios definidos pela equipe responsável.
Guarde a imagem original, os recortes, a versão do prompt e a resposta. A tela de revisão deve permitir comparar tudo com poucos cliques. Se o modelo ficar indisponível ou responder depois do prazo operacional, o fluxo precisa recorrer ao procedimento de inspeção já aprovado. Falha de infraestrutura não pode ser convertida silenciosamente em peça aceita.
Exemplo: triagem de peças plásticas em Joinville
Considere uma fábrica fictícia de componentes plásticos em Joinville. O posto final recebe carcaças com encaixes e uma etiqueta. A equipe quer organizar registros de rebarbas aparentes e etiquetas desalinhadas. O piloto não inclui trincas internas, composição do material ou resistência mecânica, porque essas propriedades não estão comprovadas nas fotografias.
O responsável pela qualidade seleciona uma família de carcaças e escreve as regras de revisão. Um técnico instala a câmera em posição fixa, testa reflexos e cria uma checagem de foco. Cada foto recebe o código da peça. O software marca capturas inadequadas e solicita nova imagem antes de chamar o VLM.
Durante o piloto, o modelo apenas propõe uma descrição e destaca a região que merece atenção. O inspetor vê a foto e registra se concorda, qual foi o defeito e qual decisão tomou. A sugestão não aciona descarte, não altera estoque e não libera expedição. Essa separação permite estudar erros sem transferir a decisão ao protótipo.
Ao avaliar os resultados, a fábrica mede defeitos deixados passar, peças boas encaminhadas desnecessariamente e tempo de revisão. Também conta problemas de associação entre foto e peça. Se um modelo descrever bem a etiqueta, mas perder rebarbas relevantes, ele pode continuar útil para documentação, sem assumir a inspeção desses defeitos.
A passagem para outra família exige novo teste. Cor, textura e posição dos encaixes mudam a tarefa. O relatório do piloto deve especificar onde a solução foi avaliada, quais casos continuam humanos e o que dispara uma revalidação. Não há resultado numérico neste exemplo: trata-se de um desenho de implantação.
Erros comuns
Avaliar apenas a taxa média de acerto. Uma coleção dominada por peças boas pode esconder falhas na classe mais relevante. Compare os erros por tipo de defeito e condição de captura. A qualidade deve definir o custo relativo de deixar passar um defeito e bloquear uma peça boa.
Trocar resolução, quantização e prompt ao mesmo tempo. Isso impede saber o que melhorou ou piorou o resultado. Altere uma variável por rodada e mantenha o conjunto reservado intacto. A redução de memória precisa ser avaliada também nos detalhes visuais, não apenas na velocidade.
Confundir explicação com evidência. Um parágrafo bem escrito não demonstra que o modelo examinou corretamente a região. A revisão precisa retornar à imagem. Também não cabe usar o texto gerado como laudo técnico independente ou como certificado de conformidade.
Ignorar operação e manutenção. Lente suja, vibração e mudança de iluminação podem invalidar condições do piloto. Estabeleça uma checagem de captura no início do turno e um responsável por interromper a automação quando o cenário mudar. Registre mudanças de hardware e de software no mesmo histórico.
Perguntas frequentes
Um VLM aberto funciona sem internet?
Uma implantação local pode executar pesos e dependências já disponíveis na máquina. Isso depende do pacote escolhido e de sua configuração. Verifique telemetria, downloads e integrações externas antes de afirmar que o ambiente está isolado. Teste a execução com a conectividade bloqueada.
Preciso ajustar o modelo com imagens da fábrica?
Não necessariamente no primeiro piloto. Teste instruções e referências controladas como linha de base. Se os erros persistirem, investigue captura, definição do defeito e uma abordagem visual especializada antes de decidir por ajuste fino. O teste reservado continua necessário.
O modelo pode medir uma trinca pela foto?
Não trate uma estimativa textual como medição. Para obter dimensão física, o sistema precisa de escala, calibração e validação metrológica adequada. Uma foto comum pode sustentar triagem visual, mas não comprova automaticamente comprimento, profundidade ou gravidade.
Como escolher o hardware?
Execute uma amostra representativa com a resolução, o tamanho do lote e o prazo da operação. Meça memória e latência incluindo preparação e transferência das imagens. Não compre equipamento só pelo número de parâmetros ou por uma demonstração com uma única fotografia.
Quando permitir decisões automáticas?
Somente depois de a organização definir critérios de aceitação, validar o processo e estabelecer contingência e monitoramento. Comece com funções limitadas e reversíveis. Situações ligadas à segurança de pessoas ou à conformidade do produto exigem análise específica do responsável técnico.
