Um classificador pode manter a mesma sensibilidade e ainda produzir proporções muito diferentes de acertos entre os itens que seleciona. O motivo é a composição da fila de entrada. Em triagem de materiais, a frequência real da classe procurada precisa acompanhar qualquer afirmação sobre precisão, sobretudo quando o objetivo é localizar itens raros.
Métricas respondem a perguntas diferentes
Sensibilidade, ou recall, divide os positivos corretamente encontrados por todos os positivos reais. Precisão preditiva divide esses acertos por tudo que foi classificado como positivo. A documentação de classificação do Google distingue essas métricas e alerta para o uso isolado da acurácia em conjuntos desbalanceados. Aqui, precisão é uma métrica classificatória, não a repetibilidade metrológica de um ensaio.
Para uma prevalência p, sensibilidade s e especificidade e, a fração de verdadeiros positivos entre os selecionados é sp/[sp + (1−e)(1−p)]. Essa relação resulta da contagem dos dois caminhos que chegam à saída positiva.
Mesmo classificador, duas filas
Considere 10.000 peças, sensibilidade de 95% e especificidade de 90%. São hipóteses, não desempenho de um sistema CATPRO.
| Resultado esperado | Fila com 10% da classe-alvo | Fila com 1% da classe-alvo |
|---|---|---|
| Positivos reais | 1.000 | 100 |
| Verdadeiros positivos selecionados | 950 | 95 |
| Falsos positivos selecionados | 900 | 990 |
| Positivos perdidos | 50 | 5 |
| Precisão preditiva | 51,35% | 8,76% |
Na segunda fila, os falsos positivos dominam a saída porque há muito mais itens fora da classe-alvo. A regra não ficou necessariamente pior: foi aplicada a uma população diferente. Transferir o percentual de acerto da primeira fila para a segunda seria matematicamente incorreto sob essas hipóteses.
O que isso muda na operação
Uma pré-seleção baseada em origem ou aplicação pode enriquecer a fila, mas seu próprio erro precisa ser medido. Se ela elimina itens valiosos antes da etapa principal, a eficiência aparente do detector final pode melhorar enquanto a recuperação total de oportunidades diminui. Avaliar somente os itens aprovados também impede estimar quantos positivos foram perdidos.
A referência usada para rotular os resultados deve ser independente da decisão do classificador. Usar a própria previsão como verdade de treinamento ou validação cria circularidade. Em um exemplo de identidade por imagem, a confirmação deve vir de uma identificação técnica confiável, não apenas da concordância de dois sistemas que herdaram a mesma etiqueta.
Como comunicar a qualidade de uma triagem
Um relatório útil informa tamanho da amostra, prevalência, matriz de confusão, critério de referência e população de origem. Deve separar identificação de peça, classificação de interesse comercial e medição de teor: acertar o modelo visual não mede a quantidade de PGM.
A escolha do limiar depende do custo das perdas e das revisões manuais. Quando perder um item valioso é muito mais grave que revisar um falso positivo, a operação pode preferir maior sensibilidade, desde que tenha capacidade para verificar os selecionados. Essa decisão precisa ser explícita. Um percentual único de acurácia esconde exatamente o compromisso que o processo precisa administrar.
Solicitar avaliação
Use enviar material ou fale pelo WhatsApp 5511986837092. Para uma peça automotiva, consulte o CATPRO Lite.