이번 포스팅에서는 앞선 포스팅 통계이론 - 조건부확률1에서 정리한 내용을 바탕으로 베이즈이론에 대한 소개와 증명을 다루는 내용을 포함하겠습니다. 전환률 공식: $$사건 B_1, B_2,..., B_k$$ 에 대하여 $$ B_i \cap B_j = \varnothing , i \neq j$$ 이고, $$ \bigcup_{i=1}^{k} B_i = S$$ 를 만족할 경우 $$P(A) = \sum_{i=1}^{n}P(B_i)P(A|B_i)$$ 가 성립한다. Proof. $$ P(A) = P(A \cap S) = P \left( A \cap \left( \bigcup_{i=1}^{k} B_i \right) \right) = \sum_{i=1}^{k} P(B_i)P(A|B_i) $$ 첫번째 가정은 사건 $B$는 ..

보통 확률론에서, Hoeffing's inequality는 upper bound를 제공하고, 이는 독립적인 랜덤 변수들의 합이 랜덤 변수들의 기대값에서부터 일정량이상 벗어날 확률을 구하는 것이다. 여기서 랜덤 변수들에 대한 제약조건이 하나 붙는데, 이는 일반 independent random variable이 아닌, bounded independent random variables이므로, 각 변수들은 $$a_i \leq X_i \leq b_i$$로 특정 범위 내에서 랜덤 변수들임을 의미한다. 가정 $$X_1,X_2,...X_n$$ 은 독립적인 랜덤 변수들이고 $$(a_i \leq X_i \leq b_i)$$를 만족한다. 또한 범위 $$(a_i \leq X_i \leq b_i)$$에 존재하는 모든 X들은 ..

다시 통계공부를 시작해서 오늘은 통계 기초에 대해 포스팅하려고 합니다.머신러닝과 딥러닝에서는 베이즈 이론이 상당히 많은 부분을 차지하므로, 이를 다시 공부하는 것에 포커스를 맞추려고 합니다. 이를 이해하기 위한 기초적인 개념에 대해 포스팅하겠습니다. 확률공리 어떤 사건 A가 발생할 확률은 0보다 같거나 큽니다. $$P(A) \geq 0$$ 모든 표본공간(사건이 발생하는 모든 경우를 모아놓은 공간) S에 대한 확률의 값은 1입니다. $$P(S)=1, S =\{A_1, A_2,A_3, \dots, A_n\}, $$ 표본공간 S에 정의된 사건열에 대해 겹치지 않으면(mutual exclusive), 다음이 성립합니다.$$P(\cup_{i=1}^{\infty}A_i)= \sum_{i=1}^{\infty}P(A_..