초록
준지도학습은 레이블이 지정되지 않은 데이터를 활용하여 대규모 레이블된 데이터셋에 대한 의존도를 완화하는 강력한 패러다임임이 입증되었다.
이 연구에서, 우리는 데이터 증강 비레이블 예제에 대한 낮은 엔트로피 레이블을 추측하고, MixUp을 사용해서 레이블이 지정되고 지정되지 않은 데이터를 혼합하는 새로운 알고리즘인 MixMatch를 생성하기 위해 지도학습에 대한 현재의 주요한 접근 방식을 통합한다.
MixMatch는 많은 데이터셋과 레이블이 지정된 데이터들에 걸쳐 탁월한 결과를 제공한다.
예를 들어, 250개 레이블이 있는 CIFAR-10에서 오류율을 (38%에서 11%까지) 4배로 감소시켰고, STL-10에서는 2배 감소시켰다.
또한 MixMatch는 차등 개인정보 보호에서도 정확도와 개인정보간의 균형을 획기적으로 개선할 수 있음을 보여준다.
마지막으로, MixMatch의 어떤 구성요소가 성공에 가장 중요한지 파악하기 위해 절 실험도 수행했다.
실험에 사용한 모든 코드는 공개되어 있다.
1. 개요
최근 대규모, 심층 신경망을 학습하는 데 있어 많은 성공은 부분적으로 큰 레이블 된 데이터셋의 존재 덕분이다.
하지만 레이블된 데이터를 수집하는 것은 많은 학습 과제에서 비용이 많이 드는데, 전문가적 지식이 필수적으로 포함되어야 하기 때문이다.
이것은 어쩌면 측정에 비싼 기계가 필요하고 라벨은 여러 인간 전문가의 도움을 받아야 해서 시간이 많이 소요되는 분석의 결과물인 의료 작업에서 가장 잘 드러날 것이다.
게다가, 데이터 레이블은 개인 정보를 포함할 수도 있다.
대조적으로, 많은 과제에서 레이블되지 않은 데이터는 좀 더 쉽고 저렴하게 구할 수 있다.
준지도학습(SSL)은 모델에게 레이블이 지정되지 않은 데이터를 활용하게 함으로써 레이블된 데이터에 대한 필요성을 크게 덜 수 있는 방법을 찾는다.
준지도학습에 대한 최근의 많은 접근법들은 레이블이 없는 데이터에 대해 계산되는 손실 항을 추가하여 보지 않은 데이터에 모델이 더 잘 일반화되도록 한다.
최근의 많은 연구에서 이 손실항은 세 가지 클래스 중 하나에 속하게 된다(2장에서 더 논의): 엔트로피 최소화 — 모델이 레이블이 없는 데이터에서 자신 있는 예측을 하도록 유도; 일관성 정규화 — 입력값이 교란되었을 때 모델이 같은 출력 분포를 내도록 유도; 그리고 일반 정규화 — 모델이 학습 데이터에 대해 일반화가 잘 되고 과적합을 피하게 유도.
이 논문에서는 지도학습의 이러한 주요 접근법들을 우아하게 통합하는 단일 손실을 도입한 SSL 알고리즘인 MixMatch를 소개한다.
이전의 방법들과 다르게, MixMatch는 모든 특성을 한 번에 겨냥하며, 이를 통해 다음 이점을 얻을 수 있음을 발견했다:
- 실험적으로, 우리는 MixMatch가 모든 표준 이미지 벤치마크(section 4.2)에서 최첨단의 결과를 얻고, CIFAR-10에 대한 오류율을 4배 감소시킬 수 있음을 보여준다.
- 또한 절제 실험에서 MixMatch가 그 구성 요소의 합보다 더 뛰어남을 보여준다.
- section 4.3에서 MixMatch는 차등적으로 프라이버시가 보장된 학습에 유용하다는 것을 보여주며, PATE 프레임워크의 작은 부분에서 프라이버시 보장과 정확도를 동시에 강화하는 새로운 최첨단 결과를 얻을 수 있게 한다.
요약하면, MixMatch는 레이블이 없는 데이터에 대해 엔트로피를 원활하게 줄이면서 일관성을 유지하고 전통적인 정규화 기법과도 호환되는 통합된 손실항을 소개한다.
그림 1: MixMatch에서 사용되는 레이블의 추정 과정 다이어그램. 확률적 데이터 증강은 레이블되지 않은 이미지에 K번 적용되고, 각각의 증강된 이미지는 분류기에 입력된다. 그런 다음, 이 K개의 예측의 평균이 분포의 온도를 조정하여 더 날카로워진다. 전체 설명은 알고리즘 1 참조.
2. 관련 연구
MixMatch를 소개하기 위해, 우리는 먼저 SSL의 기존 방식을 소개한다.
주로 현재 최첨단이며 MixMatch가 기반을 두고 있는 방식들에 초점을 맞춘다;
여기서 다루지 않은 SSL 기법에 대한 광범위한 문헌이 존재한다(예: "전이" 모델, 그래프 기반 방식, 생성 모델링, 등).
보다 포괄적인 개요는 [49, 6]에서 제공된다.
다음에는, 파라미터 $\theta$를 활용한 입력 $x$에 대해 클래스 레이블 $y$에 대한 분포를 생성하는 일반적인 모델 $p_{model}(y|x;\theta)$를 참조할 것이다.
2-1. 일관성 정규화
지도학습에서의 일반적인 정규화 기법은 데이터 증강인데, 이는 클래스의 의미에는 영향을 미치지 않는다고 가정되는 입력 변환을 적용한다.
예를 들어, 이미지 분류에서는 입력 이미지에 탄성 변형을 가하거나 노이즈를 추가하는 것이 일반적인데, 이는 이미지의 레이블에 변형을 가하지 않으면서 이미지의 픽셀 내용을 극적으로 바꿀 수 있다.
대략적으로 말하면, 거의 무한한 양의 새로운 변경된 데이터를 생성함으로써 학습 셋의 크기를 인위적으로 확장할 수 있다는 것이다.
일관성 정규화는 분류기가 증강된 후에도 비레이블 예제에 대한 동일한 클래스 분포를 출력해야 한다는 아이디어를 활용함으로써 지도학습에 데이터 증강을 적용한다.
더 공식적으로, 일관성 정규화는 비레이블 예제 $x$는 자기 자신의 증강인 $Augment(x)$와 마찬가지로 분류되어야 함을 강제한다.
가장 단순한 경우, 비레이블 포인트 $x$에 대해서 이전 연구와 같이 손실 항을 추가한다:
(1) $$ ||p_{model}(y|Augment(x);\theta) - p_{model}(y|Augment(x);\theta||_2^2$$
여기서 $Augment(x)$는 확률 변형으로, 식 (1)의 두 항은 동일하지 않다.
"Mean Teacher"는 식 (1)의 한 항을 모델 파라미터 값의 지수 이동 평균을 사용한 모델의 출력으로 대체한다.
이것은 더 안정적인 타겟값을 제공하며, 경험적으로 결과를 크게 향상시키는 것으로 나타났다.
이러한 접근법의 단점은 도메인 특화 데이터 증강 전략을 사용한다는 것이다.
"가상 적대 훈련"(VAT)은 대신 출력 클래스 분포를 최대한 변화시키는 입력에 대한 가산적 교란을 계산하여 이를 입력에 적용한다.
MixMatch는 이미지에 대해 표준 데이터 증강(무작위 수평 뒤집기와 이미지 줄이기)을 사용하여 일관성 정규화의 형태를 활용한다.
2-2. 엔트로피 최소화
많은 준지도학습 방식의 공통된 기본 가정은 분류기의 결정 경계가 주변의 데이터 분포의 고밀도 영역을 통과하지 않아야 한다는 것이다.
이것을 강제하는 한 가지 방법은 분류기가 레이블이 없는 데이터에 대해 낮은 엔트로피의 예측을 하도록 요구하는 것이다.
[18]에서는 레이블 없는 데이터 $x$에 대해 $p_{model}(y|x;\theta)$의 엔트로피를 최소화하는 손실항을 사용하여 명시적으로 처리한다.
이러한 엔트로피 최소화는 VAT와 결합하여 더욱 강력한 결과를 얻었다.
의사 레이블(Pseudo-Label)은 레이블 없는 데이터에 대해 높은 신뢰도의 예측을 하드 레이블(원핫)로 구성하고 이를 표준 교차 엔트로피 손실에서 훈련 대상으로 사용하여 암묵적으로 엔트로피 최소화를 수행한다.
MixMatch는 역시 section 3.2에서 설명된 것처럼 레이블 없는 데이터의 타겟 분포에 'sharpening' 함수를 적용하여 엔트로피 최소화를 암묵적으로 달성한다.
2-3. 전통적 정규화
정규화는 모델이 학습 데이터를 암기하기 어렵게 만들어서 보지 못한 데이터에 더 잘 일반화할 수 있도록 제약을 가하는 일반적 접근법을 의미한다.
우리는 모델 파라미터의 L2 노름을 페널티로 주는 가중치 감쇠를 사용한다.
또한 MixMatch에서는 예제들 '사이의' 볼록한 행동을 하도록 유도하기 위해 MixUp을 사용한다.
MixUp은 정규화(레이블된 데이터포인트에 적용)와 준지도학습 방식(비레이블된 데이터포인트에 적용)에 모두 사용된다.
MixUp은 이전에도 준지도학습에 사용된 적 있다; 특히, [45]에서는 MixMatch에서 사용하는 방법의 일부를 사용했다.
우리는 절제 실험에서 차이점을 명확히 한다.
3. MixMatch
이 섹션에서는 우리가 제안하는 준지도학습 방식인 MixMatch를 소개한다.
MixMatch는 section 2에서 논의된 SSL에 대한 지배적 패러다임에서 아이디어와 구성요소를 통합하는 '총체적인' 접근법이다.
원핫 타겟(L개 레이블 중 하나로 표현)을 가진 레이블된 예제 배치 $X$와 동일 크기의 레이블 없는 배치 $U$가 주어졌을 때, MixMatch는 증강된 레이블 예제 배치 $X'$와 '추정된' 레이블 $U'$를 가진 증강된 비레이블 예제 배치를 생성한다.
$U'$와 $X'$는 각각 레이블되고 레이블되지 않은 손실항을 계산하는 데 사용된다.
보다 공식적으로, 준지도학습의 결합 손실 L은 다음과 같이 정의된다.
$$ X', U' = MixMatch(X, U, T, K, \alpha)$$
$$L_X = \frac{1}{|X'|}\sum_{x,p \in X'} H(p, p_{model}(y|x;\theta))$$
$$L_U = \frac{1}{L|U'|}\sum_{u,q} \in U') ||q - p_{model}(y|u;\theta)||_2^2$$
$$L = L_X + \lambda_UL_U$$
여기서 H(p,q)는 분포 p와 q 사이의 교차 엔트로피이고, T, K, $\alpha$, $\lambda_U$는 아래에서 설명된 하이퍼파라미터이다.
전체 MixMatch 알고리즘은 알고리즘 1에서 제공되고, 레이블 추정 과정의 다이어그램은 그림 1에 나와 있다.
다음으로, 우리는 MixMatch의 각 부분을 설명한다.
3-1. 데이터 증강
많은 SSL 방법에서와 마찬가지로, 레이블이 있는 데이터와 없는 데이터 모두에 대해 데이터 증강을 사용한다.
레이블된 데이터 X의 배치 내 각각의 $x_b$에 대해 변환된 버전 $\hat{b} = Augment(x_b)$를 생성한다(알고리즘 1, 3번째 줄 참고).
레이블되지 않은 데이터 U의 배치 내 각각의 $u_b$에 대해서는 K증강 $\hat{u}_{b, k} = Augment(u_b), k \in (1, \cdots, K)$를 생성한다(알고리즘 1, 5번째 줄 참고).
다음 subsection에서 설명하는 것과 같은 과정을 통하여, 이 개별 증강을 각각의 $u_b$에 대한 '추정 레이블' $q_b$를 생성하기 위해 사용한다.
3-1. 레이블 추측
각각의 레이블되지 않은 예시 U에 대해, MixMatch는 모델의 예측을 활용해 예시의 라벨을 '추정'한다.
이 추정은 이후 비지도 손실 항으로 사용된다.
이를 위해 $u_b$의 모든 K개 증강에 대해 모델의 예측된 클래스 분포의 평균을 계산한다 (알고리즘 1, 7번째 줄 참고):
(6) $$ \bar{q}_b = \frac{1}{K}\sum_{k=1}^K p_{model}(y|\hat{u}_{b,k};\theta)$$
레이블되지 않은 예시에 대한 인위적 타겟을 얻기 위한 데이터 증강을 사용하는 것은 일관성 정규화 방식에서 흔히 사용된다.
알고리즘 1 MixMatch는 레이블 데이터 X와 비레이블 데이터 U의 배치를 입력받아, 처리된 레이블 예제의 컬렉션 X'와 추정 레이블이 붙은 레이블이 붙은 비레이블 예제 컬렉션 U'를 생성한다.
- 입력: 레이블 예제 배치와 원핫 레이블 $X = ((x_b, p_b);b \in (1, \cdots, B))$,
비레이블 예제 배치 $U = (u_b;b \in (1, \cdots, B))$,
sharpening 온도 T, 증강의 개수 K, MixUp의 베타 분포 파라미터 $\alpha$ - for b = 1 to B do
- $\hat{x}_b = Augment(x_b)$ // $x_b$에 데이터 증강 적용
- for k = 1 to K do
- $\hat{u}_{b,k} = Augment(u_b)$ // $u_b$에 데이터 증강의 k번째 증강 라운드 적용
- end for
- $\bar{q}_b = \frac{1}{K}\sum_k p_{model}(y|\hat{u}_{b,k};\theta)$ // $u_b$의 모든 증강에 대해 평균 예측 계산
- $q_b = Sharpen(\bar{q}_b, T)$ // 평균 예측에 온도 sharpening 적용
- end for
- $\hat{X} = ((\hat{x}_b, p_b);b \in (1, \cdots, B))$ // 증강된 레이블이 있는 예시와 해당 레이블
- $\hat{U} = ((\hat{u}_{b, k}, q_b); b \in (1, \cdots, B), k \in (1, \cdots, K))$ // 증강된 레이블이 없는 예시와 추측된 레이블
- $ W = Shuffle(Concat(\hat{X}, \hat{U}))$ // 레이블이 있는 데이터와 없는 데이터 결합 및 혼합
- $ X' = (MixUp(\hat{X}_i, W_i);i \in (1, \cdots, |\hat{X}|))$ // 레이블된 데이터와 $ W$의 항목에 MixUp 적용
- $U' = (MixUp(\hat{U}_i, W_{i+|\hat{X}|});i \in (1, \cdots, |\hat{U}|))$ // 레이블 없는 데이터와 $W$의나머지에 MixUp 적용
- return $X', U'$
샤프닝. 레이블 추정을 생성할 때, 준지도학습에서 엔트로피 최소화의 성공(section 2.2에서 논의됨)에 영감을 받아 추가적인 단계를 수행한다.
증강 $\bar{q}_b$에 대한 평균 예측값이 주어지면, 레이블 분포의 엔트로피를 줄이기 위해 sharpening 함수를 적용한다.
실제로 sharpening 함수에 대해서는 다음 계산과 같이 정의되는 이 범주형 분포의 '온도'를 조정하는 일반적인 접근법을 사용한다:
(7) $$ Sharpen(p, T)_i := p_i^{\frac{1}{T}} / \sum_{j=1}^{L} p_j^{\frac{1}{T}}$$
여기서 p는 어떤 입력 범주형 분포(특히 MixMatch에서는, p는 알고리즘 1의 8번 줄에서 보여진 것과 같이 증강 $\bar{q}_b$에 대한 평균 클래스 예측이다)이고, T는 하이퍼파라미터이다.
$T \rightarrow 0$일 때, $Sharpen(p, T)$의 출력은 Dirac(원핫) 분포에 가까워진다.
이후에 $q_b = Sharpen(\bar{q}_b, T)$를 $u_b$의 증강에 대한 모델 예측의 타겟으로 사용할 것이기 때문에, 온도를 낮추는 것은 모델이 더 낮은 엔트로피 예측을 생성하도록 유도한다.
'데이터 사이언스 공부' 카테고리의 다른 글
| [논문] A Neural Probabilistic Language Model (4) 요약 (0) | 2025.04.26 |
|---|---|
| [논문 번역] A Neural Probabilistic Language Model (2) (1) | 2025.04.25 |
| 00. [논문 번역] Attention is All You Need (2) (0) | 2025.04.07 |
| 00. [논문 번역] Attention is All You Need (1) (0) | 2025.04.07 |
| 00. np.log와 np.log1p의 차이 (0) | 2024.11.14 |
