본문 바로가기

대학원 이야기/관련 공부5

[요즘 보고 있는] Universal Domain Adaptation 요즘 보고있는 분야 간단하게 정리해본다. 원래는 Domain Adaptaion (DA) 이라는 분야를 보고있었다. 원래 머신러닝 모델들은 i.i.d assumption을 하고 있는데, 간단히 설명하면 모델을 학습하는 데이터와 모델을 테스트하는 데이터가 같은 분포에서 온다는 가정이다. (어려운 개념이 아니니, 찾아보는 것을 추천) (올바른 예인지는 모르겠지만) 예를들어, 문장이 주어졌을 때, 해당 문장이 긍정적인지, 부정적인지 판단하는 모델이 있다고 가정해보자. 만약 이 모델이 영화 리뷰에 대해서 긍정/부정을 예측하도록 학습되었다면, 기존 방식에서는 테스트 데이터도 동일하게 영화 리뷰를 입력으로 받아서 테스트를 하게 된다. 하지만, domain adaptation에서는 테스트 데이터가 다른 분포에서 온다는.. 2022. 9. 4.
DBSCAN 이해해보기 Clustering 관련 공부를 하다가 간단한 clustering 방법 중 하나인 DBSCAN에 대해서 글을 써보려고 한다. 요즘 구글링 해서 글을 찾아 읽는 것보다, 유튜브에서 잘 설명된 영상을 (존재한다면) 보고 공부하는 것을 선호한다. 이번 포스트는 이 영상을 보고 이해한대로 정리한 내용이다. 매우 매우 이해하기 쉽게 정리해주셨기 때문에 저 영상을 보는 것을 추천한다. DBSCAN은 밀도 기반 군집화(density-based clustering)의 방법 중 하나이다. 밀도가 높은 곳에 클러스터를 형성하고, 밀도가 낮은 곳에는 클러스터를 형성하지 않고 해당 위치에 존재하는 점들을 outlier로 취급하게 된다. 다양한 클러스터링 방법들이 있는데, 가장 대표적인 k-means clustering과 DB.. 2022. 7. 19.
최대우도법 (Maximum Likelihood Estimation, MLE) 최대우도법(Maximum Likelihood Estimation, MLE)은 파라미터 $ \theta $ 로 구성된 어떠한 확률밀도함수 $ P(x|\theta) $ 에서 관측된 표본의 집합을 $ x = (x_1, ..., x_n) $ 이라고 할 때, 이 표본들을 통해서 파라미터 $ \theta $ 를 추정하는 방법이다. 쉽게 말하면, 데이터를 관찰해서 관찰한 데이터가 추출되었을 것이라고 예상되는 분포에 맞게 현재 분포의 파라미터를 업데이트하는 방법이다. [그림-1]과 은 분포에 대한 likelihood를 먼저 이야기해보자. Likelihood는 지금 주어진 데이터(-3, -2, -1, 0, 1, 2, 3) 에 대한 확률분포의 값들을 모두 곱한 것이라고 생각할 수 있다. 각 데이터에 대한 확률분포의 값을 .. 2021. 1. 21.
정말 간단한 Transformer의 구조/동작 과정 정리 Transformer는 기존의 RNN 류(LSTM, GUR 등)의 recurrence 를 제거하고 오직 linear layers, attention, normalization 만으로 구성된 모델이다. Sequence-to-sequence 모델과 비슷하게 encoder와 decoder로 구성되어 있다. 한 부분씩 보면서 어떤 순서대로 동작하는지 확인해보자. Transformer를 처음으로 제안한 논문 "Attention is all you need" 의 리뷰는 여기에서 확인해볼 수 있다. 너무 오래전에 읽고 정리한 내용이라 이번 포스트 이후에 다시 읽어보고 다시 처음부터 정리해봐야겠다. # Encoder 인코더에서는 입력으로 제공된 sequence $ X = (x_1, x_2, ..., x_n) $ 에 대.. 2020. 12. 1.
Bayes' Rule (베이즈 정리) (수정 중) 베이즈 정리(Bayes' Rule) 는 두 확률 변수의 사전 확률과 사후 확률 사이의 관계를 나타내는 정리이다. 대부분의 내용을 이 블로그의 글을 참고했다. 조금 더 자세한 내용을 보고싶다면 들어가보는 것을 추천한다. # 조건부 확률 (Conditional Probability) 베이즈 정리에서 가장 중요한 개념이다. 어떤 사건 A 가 일어난 경우, 특정 사건 B가 일어날 확률을 계산하는 것이다. 조건부 확률을 식으로 표현하면 다음과 같다. 만약에 사건 A와 B가 서로 독립적으로 수행되는 경우 P(A∩B) = P(A)P(B) 라고 할 수 있다. 그렇다면, A 와 B가 서로 독립인 경우, A가 일어났을 때 B 가 나타날 확률은 다음과 같이 표현할 수 있다. # 베이즈 정리 (Bayes' Rule) 참고한 .. 2020. 8. 26.

티스토리툴바