이런저런 일로 매우 한동안 너무 바빴어서 이제서야 포스팅을 해봅니다. 오늘은 Federated Learning (FL)이라는 개념에 대해 알아보고자합니다. 연합 학습(Federated Learning)은 각데이터를 공유하지 않고 탈중앙화 장치 또는 데이터 소스에서 머신 러닝 모델을 훈련하는 데 사용됩니다.  즉, 여러대의 디바이스들이 존재한다고 가정할때, 이들의 데이터가아닌 이들이 가진 가중치들을 서로 공유함으로써 글로벌 모델은 거시적인 인사이트를 얻고 이를 모든 디바이스들에게 공유하는 방식인 것입니다. 이는 다음과같은 이점들이 있습니다. 개인정보 보호 및 보안: 데이터를 로컬로써 유지하고, 사용자 개인정보와 같은 민감한 정보들에 대한 보호를 보증합니다.탈중앙화: 데이터를 중앙 집중화하지 않고도 여러 장..

보통 확률론에서, Hoeffing's inequality는 upper bound를 제공하고, 이는 독립적인 랜덤 변수들의 합이 랜덤 변수들의 기대값에서부터 일정량이상 벗어날 확률을 구하는 것이다. 여기서 랜덤 변수들에 대한 제약조건이 하나 붙는데, 이는 일반 independent random variable이 아닌, bounded independent random variables이므로, 각 변수들은 $$a_i \leq X_i \leq b_i$$로 특정 범위 내에서 랜덤 변수들임을 의미한다. 가정 $$X_1,X_2,...X_n$$ 은 독립적인 랜덤 변수들이고 $$(a_i \leq X_i \leq b_i)$$를 만족한다. 또한 범위 $$(a_i \leq X_i \leq b_i)$$에 존재하는 모든 X들은 ..