AdaCLIP Code Review

0. Abstract

• Zero-Shot Anomaly Detection(ZSAD)는 새로운 카테고리의 이미지 내 anomaly를 찾는 것이 목표
• 본 연구는 사전 학습된 CLIP을 사용하여 ZSAD task를 수행하는 AdaCLIP을 제안
  • CLIP에 learnable prompt를 적용하고, AD 데이터셋에 대한 학습을 통해 최적화
  • 2가지 종류의 learnable prompt를 제안
    • Static prompt : 모든 이미지에 공유되어 CLIP을 ZSAD에 맞게 미리 adapting하는 역할 수행
    • Dynamic prompt : 각 test image에 대해 생성되어 CLIP에게 dynamic adaptation 능력 부여
  • 두가지 prompt를 통합하여 hybrid prompt라고 함
• 14개의 real-world anomaly detection dataset에서 AdaCLIP은 다른 ZSAD보다 우수한 성능을 보임
  • 다양한 카테고리와 도메인에 대한 더 나은 일반화 성능을 증명

1. Introduction

• cold start problem은 unsupervised / semi-supervised model 학습을 위한 충분한 정상 이미지를 확보할 수 없는 문제

  • ZSAD는 해당 유형의 이미지로 학습을 수행하지 않은 unseen category에 대한 AD를 수행하여 해결
    • 주로 광범위한 일반화 능력을 지닌 VLMs을 사용

• WinCLIP, SAA 등은 학습을 수행하지 않고 VLMs을 통한 ZSAD 수행

  • WinCLIP은 제한적인 이상치 탐지 성능을 보임
    • CLIP이 AD에 특화된 dataset이 아닌 natural image-text dataset으로 학습되었기 때문

• APRIL-GAN, AnomalyCLIP 등은 VLMs을 adapting하여 ZSAD 수행

  • annotated anomaly를 포함하는 MVTec, VisA 등의 auxiliary AD dataset을 통해 학습
  • test image가 학습에 사용된 데이터셋에 없는 카테고리라면 해당 adaptation 방식은 ZSAD에 해당

• ZSAD 접근 방식의 근거는 test image에 정상 혹은 비정상의 보편적인 패턴이 나타날 수 있으며 VLM이 이를 식별할 수 있다는 것

  • auxiliary dataset에 VLM을 adapting하는 것은 이러한 ZSAD에 도움이 됨
    • 해당 데이터셋에 새로운 카테고리의 이상치를 탐지하는 데 유용한 패턴이 포함되어 있을 수 있음
    • ‘pill’ 이미지의 scratch가 모델이 ‘chewing gum’의 비슷한 패턴을 탐지하는 데 도움이 될 수 있음

• ZSAD의 auxiliary dataset을 최대로 활용하기 위해 AdaCLIP을 제안

  • patch embedding과 textual caption의 text embedding 간의 유사도 계산
    • textual caption은 CLIP을 사용해 normal / abnormal states를 묘사
  • 2가지 layer를 통해 lightweight learnable parameter 추가
    • projection layer : patch token과 text embedding의 dimension을 align
    • prompting layer : 추가적인 prompting token과 layer input을 concat하여 CLIP의 transformer layer를 대체
  • auxiliary data의 adapting을 쉽게하기 위해 static / dynamic learnable prompt 제안
    • static prompt는 모든 이미지에 걸쳐서 공유됨
    • dynamic prompt는 test image에 기반하여 생성됨
    • static / dynamic prompt를 결합한 hybrid prompt는 ZSAD 성능 및 일반화 능력을 향상시킴

• key component

  • AdaCLIP은 hybrid(static + dynamic) learnable prompt로 구성되어 auxiliary data를 더 잘 활용하여 ZSAD 성능을 향상시킴
  • hybrid-semantic fusion module을 개발하여 이상치 영역에 대한 region-level context를 추출하여 image-level AD 성능을 향상시킴
  • CLIP뿐만 아니라 다른 VLMs을 ZSAD에 효과적으로 adapting할 수 있음을 보임
  • 개별 이미지 내에서 이상치를 탐지하는데 최적화된 prompt의 중요성을 보임

• industrial 및 medical 도메인으로 구성된 14개의 데이터셋에서 SOTA 성능을 보임

• 다른 도메인의 카테고리를 사용할 때에도 auxiliary dataset의 정보를 효과적으로 활용

  • auxiliary dataset을 사용하는 것이 ZSAD에 유리함을 증명

2. Related Works