0. Abstract

• VLM은 few-shot anomaly detection에 큰 개선을 가져옴
  • 일반적으로 prompt engineering을 통해 수백 개의 prompt를 설계해야 함
• 기존 many-class 패러다임으로 구성되는 prompt learning을 자동화된 시나리오에 baseline으로 사용
  • one-class anomaly detection에서는 잘 작동하지 않음을 발견
• few-shot anomaly detection을 위한 one-class prompt learning 방법론 PromptAD를 제안
  • normal prompt를 anomaly prompt로 전환할 수 있는 semantic concatenation을 제안
    • normal prompt를 anomaly suffix와 concatenate
    • one-class setting에서 많은 양의 negative sample을 구성해 prompt learning을 도움
  • explicit anomaly margin의 개념을 제안
    • normal prompt 및 anomaly prompt의 feature 간의 margin을 하이퍼 파라미터를 통해 제어
• image-level과 pixel-level anomaly detection에서 PromptAD는 SOTA 달성
  • MVTec과 VisA 데이터셋의 11/12 few-shot setting

1. Introduction

• 본 프레임워크에서는 정상 샘플을 통해서만 학습하며, 테스트 시에는 이상치 샘플을 모델이 확인해야 함
• 산업 이상치 탐지는 일반적으로 다양한 산업 생산 라인에 맞게 모델을 맞춤화
  • 적은 샘플로 모델을 빠르게 학습시킬 수 있는 것은 실제 적용에 있어 유리
• prompt engineering은 사람의 개입과 신중한 설계가 필요하여 산업 시나리오의 자동화 요구를 만족 x
• 이미지 분류를 위한 prompt learning은 contrastive learning을 통해 prompt를 자동으로 학습
  • one-class setting에서 기존 prompt learning 방식은 잘 작동하지 않음
  • image-level의 결과에 대한 manual prompt를 가지고 있는 WinCLIP보다 성능이 낮음
• PromptAD가 다루는 main challenge
  • contrastive learning에 의존하는 prompt learning을 one-class setting에서 어떻게 완성시킬까?
  • anomaly sample이 없이 어떻게 normal/anomaly prompt 간 marginal distance를 제어할까?

• prompt의 개수가 늘어남에 따라 WinCLIP의 성능은 개선되지만 1,000개 부근에서는 포화됨
• 본 논문은 정상 샘플만을 사용하는 AD를 위한 one-class prompt learning 방식인 PromptAD를 제안
  • WinCLIP과 Baseline과 비교했을 때 PromptAD는 좋은 image/pixel-level AD 성능을 보임
    • 오직 10~20개의 prompt만을 사용
• PromptAD의 contribution
  • one-class prompt learning 방법론 PromptAD를 제안
    • 기존 many-class prompt learning 방식보다 더 좋은 성능을 보임
  • normal prompt와 anomaly suffix를 concatenate하여 semantic을 변환하는 Semantic Concatenation(SC) 제안
    • normal sample을 위한 충분한 negative prompt를 구성
  • normal prompt feature와 anomaly prompt feature 간의 거리를 하이퍼 파라미터로 제어하는 Explicit Anomaly Margin(EAM) 제안
  • MVTec과 VisA의 image/pixel-level AD에서 11/12 few-shot setting SOTA 달성

2. Related Work

3. Preliminaries