Bayes' Rule (베이즈 정리) (수정 중)

베이즈 정리(Bayes' Rule) 는 두 확률 변수의 사전 확률과 사후 확률 사이의 관계를 나타내는 정리이다.

대부분의 내용을 이 블로그의 글을 참고했다. 조금 더 자세한 내용을 보고싶다면 들어가보는 것을 추천한다.

---

# 조건부 확률 (Conditional Probability) 

베이즈 정리에서 가장 중요한 개념이다. 어떤 사건 A 가 일어난 경우, 특정 사건 B가 일어날 확률을 계산하는 것이다. 조건부 확률을 식으로 표현하면 다음과 같다.

[식-1]

만약에 사건 A와 B가 서로 독립적으로 수행되는 경우 P(A∩B) = P(A)P(B) 라고 할 수 있다. 그렇다면, A 와 B가 서로 독립인 경우, A가 일어났을 때 B 가 나타날 확률은 다음과 같이 표현할 수 있다.

[식-2]

# 베이즈 정리 (Bayes' Rule)

참고한 블로그(여기)에서 사용하는 예시를 들어서 설명해보겠다. 

[그림-1]

[그림-1]에서 좌측의 물고기는 농어(sea bass), 우측의 물고기는 연어(salmon)이다. 우리는 이 두 물고기를 구분하려고 한다. 두 물고기를 구분하는 과정에서, 농어인지 연어인지 판단하는 기준을 피부의 밝기로 한다. 물고기 피부의 밝기는 $ x $, 낚은 물고기가 농어일 확률을 $ w_1 $,  연어일 확률을 $ w_2 $ 라고 하면, 피부색이 $ x $ 인 물고기가 농어인 경우와 연어인 경우는 각각 다음과 같이 나타낼 수 있다.

[식-1]

우리는 $ x $ 가 주어졌을 때, 물고기가 class $ w_i $ 에 속할 확률을 구하면 해당 문제를 풀 수 있다. 우리가 지금 풀고싶은 식 $ P(w_i|x) $ 을 Posterior(사후확률) 이라고 한다. 

우리는 직접적으로 사후확률을 구할 수 없다. 하지만, $ P(x|w_i) $ , 즉, 현재 잡은 물고기의 종류가 $ w_i $ 일 때 피부 밝기가 $ x $ 일 확률을 구할 수 있다. 다시 말하면, 물고기 $ w_i $ 의 피부 밝기의 분포를 구할 수 있다. 충분히 많은 물고기를 잡아서, 해당 물고기 종류의 피부 밝기를 구하면 해결할 수 있다. 이렇게 관찰을 통해서 얻은 확률분포 $ P(x|w_i) $ 를 Likelihood(가능도) 라고 한다.

가능도만 이용해서 결과를 구할 수 도 있지 않을까? 라는 생각을 할 수 있지만, 해당 방법은 농어와 연어가 정확히 똑같은 비율로 존재하는 경우에만 가능하다. 즉, 현재 존재하는 농어와 연어의 비율을 함께 계산해줘야 한다. 그러므로, 우리는 피부 밝기와는 상관 없이 각 물고기가 잡힐 확률 $ P(w_i) $ 를 구해야 한다. 이러한 값을 우리는 Prior (사전확률) 이라고 한다. 우리가 사전에 가지고 있는 정보에 해당한다.