[요즘 보고 있는] Universal Domain Adaptation

요즘 보고있는 분야 간단하게 정리해본다.

 

원래는 Domain Adaptaion (DA) 이라는 분야를 보고있었다. 원래 머신러닝 모델들은 i.i.d assumption을 하고 있는데, 간단히 설명하면 모델을 학습하는 데이터와 모델을 테스트하는 데이터가 같은 분포에서 온다는 가정이다. (어려운 개념이 아니니, 찾아보는 것을 추천) (올바른 예인지는 모르겠지만) 예를들어, 문장이 주어졌을 때, 해당 문장이 긍정적인지, 부정적인지 판단하는 모델이 있다고 가정해보자. 만약 이 모델이 영화 리뷰에 대해서 긍정/부정을 예측하도록 학습되었다면, 기존 방식에서는 테스트 데이터도 동일하게 영화 리뷰를 입력으로 받아서 테스트를 하게 된다. 하지만, domain adaptation에서는 테스트 데이터가 다른 분포에서 온다는 가정을 하고 있고, 영호 리뷰가 아닌 식당 리뷰 데이터라고 생각해볼 수 있다.

영화 리뷰에 대해서만 학습한 모델이 식당 리뷰 데이터를 접하게 되면, 학습 과정에서 접하지 못한 도메인에 대한 입력을 받았기 때문에 (동일하게 긍정/부정을 예측하는 문제이더라고) 잘 동작하지 못하게 된다. (이렇게 도메인이 바뀌는 것을 domain/distributional shift 라고 부른다.)

• 관련된 실험들을 보여주는 논문 : Pretrained Transformers Improve Out-of-Distribution Robustness (ACL 2020) [링크]
• Domain Adaptation 에서 가장 근본(?) 논문 : A theory of learning from different domains [링크]

 

당연하게 DA는 이러한 문제점을 태클해서 테스트 데이터의 분포가 학습 데이터와 달라지는 경우에도 동작을 잘 할 수 있도록 하는 것을 목표로 한다. 세팅은 기본적으로 레이블링 된 source domain 데이터와, 레이블이 존재하지 않는 target domain 데이터에 접근이 가능한 상태이다. 위 데이터를 어찌저찌 잘 학습해서 실제 target domain data에서도 좋은 성능을 보이도록 하는 것을 DA의 목표라고 생각하면 된다. 

• NLP에서 대표적인 DA 논문 : Unsupervised Domain Adaptation by Backpropagation (ICML 2015) [링크]

 

이 때, 큰 가정 중 하나는 source domain 과 target domain이 label space를 공유한다는 점이다. 이 부분이 내가 가장 이상하다고 생각한 부분 중 하나인데, 위 예시를 적용해본다면, 영화 리뷰와 식당 리뷰가 무조건 긍정 또는 부정으로만 분류된다는 가정이다. 개인적으로 도메인이 바뀐다면 label space의 정보도 바뀔 수 있다는 가정을 해야한다고 생각한다. 예를들어, 영화 리뷰는 긍정 또는 부정으로만 구분되더라도, 식당 리뷰는 긍정, 부정, 중립(?) (neutral) 과 같은 레이블을 포함할 수 있어야 한다고 생각한다. 

DA가 real-world setting에서 적용될 수 있다는 점이 큰 motivation 중 하나인데, 위와 같은 매우 강한 가정을 하고 연구를 한다면 real-world setting 과는 매우 거리가 멀어진다고 생각했다.

 

그러던 와중, 이런 불편함을 해소해주는 논문을 발견했는데 : Universal Domain Adaptation (CVPR 2019) [링크]

Universal DA 와 다른 방법론들의 비교

동일하게 DA를 하는데, target label space에 대한 정보를 알지 못한다는 가정을 하고 있다. 그래서 학습 데이터에서 보지 못한 클래스라고 판단되면 "unknown"이라고 예측하도록 하는 것이 중요하다고 할 수 있다. 

 

일단...여기까지...

이 내용으로 논문을 쓸 수 있어야 할텐데 말이지...😊