데이터사이언스/federated learning (8) 썸네일형 리스트형 Unlabeled dataset을 주고받는 Federated distillation method 1. DS-FL 1) Entropy Reduction Aggregation(ERA) [1]에서는 aggregation 과정에 Entropy Reduction Aggregation(ERA)라는 방식을 제안하였다. ERA는 softmax 과정에서 temperature를 1보다 낮게 설정하여, distillation에서 사용될 soft target의 entrophy를 낮추는 방식이다.원래 distillation에서 사용되는 soft target은, hard label보다 많은 정보를 가지고 있다고 있다. 예를 들어 MNIST에서 정답이 7인 class가 있다고 하면, 7과 1의 유사성으로 인해서 이 class의 soft label은 1이 0보다는 높은 값을 가지고 있을 것이다. 하지만 높은 non-IID 환경.. Labeled distillation data을 교환하는 federated distillation methods 0. introdution Federated Learning에서 distilation을 이용하는 방법은 여러 방법으로 분류할 수 있다. 지난 글에서는 distillation이 어디에서 어디로 이루어지는지를 기준으로 나누어서 client에서 server로 지식을 distill하는 방식들을 살펴보았다. 이번에는 서버와 client가 어떤 정보를 주고받는지를 기준으로 분류를 해보려고 한다. 서버와 client가 주고받는 정보를 크게 분류한다면 모델 파라미터, public data가 있을 것이다. 모델 파라미터를 주고받는 방식은 기존 연합학습에서 사용되는 방식으로, communication cost가 높지만 상대적으로 높은 정확도를 가진다. public data를 주고받는 방식은 communication cos.. [논문 리뷰] Learn from Others and Be Yourself in Heterogeneous Federated Learning 1. 소개 이 논문에서는 1) client 데이터 간의 이질성으로 인한 모델 성능 하락, 2) local에서 모델이 업데이트 될 때 이전에 학습했던 정보를 망각하는 catastrophic forgetting 두 가지 문제를 해결하기 위해 FCCL(Federated CrossCorrelation and Continual Learning)을 제안한다. FCCL은 domain shift를 해결하기 위해 다양한 domain의 데이터로 구성된 unlabeled public data로 cross-correlation matrix를 학습한다.. 또한 정보 유출없이 catastrophic forgetting 문제를 해결하기 위해 knowledge distillation을 활용한다. 또한 이미지 분류에 대한 실험을 통해.. Federated Learning의 Aggregation method로서의 Distillation Distillation이란, model이 학습한 지식을 효과적으로 압축하고, 전달할 수 있는 방법이다. Distillation에 대한 자세한 설명은 아래 글을 참고하자. https://baeseongsu.github.io/posts/knowledge-distillation/ 딥러닝 모델 지식의 증류기법, Knowledge Distillation A minimal, portfolio, sidebar, bootstrap Jekyll theme with responsive web design and focuses on text presentation. baeseongsu.github.io 1. Distillation in FL 모든 device에서 공유할 수 있는 public 데이터가 있는 환경에서 disti.. 연합학습 library FederatedScope의 Event-driven Architecture https://federatedscope.io/docs/event-driven-architecture/ Event-driven Architecture The event-driven architecture used in FederatedScope. federatedscope.io FederatedScope 공식 문서를 바탕으로 작성된 글이다. FedScope의 설계 철학인 Event-driven Architecture는 널리 채택된 sequential 프로세스와는 다르게 customizing에 이점을 가진다. 또한 풍부한 기능적 구성요소를 사용해 사용자의 구현을 도울 수 있고, 편리하게 멋진 기능을 확장할 수도 있다. 먼저 연합학습 과정을 이벤트-핸들러 쌍으로 보는 관점을 설명하고, 왜 이런 설계가 Fed.. [논문 리뷰] Motely: Benchmarking Heterogeneity and Personalization in Federated Learning 1. 소개 clustering, meta-learning을 비롯한 다양한 personalized FL 방법론이 제안되었다. 하지만 clustering을 제안하는 논문에서는 일정한 cluster를 따라 데이터를 생성하는 것처럼 자신들의 가정에 맞는 데이터를 임의로 만들어낸다. 이렇게 하면 그 방법에 대한 유효성은 검증할 수 있지만, 현실에 그 방법을 적용했을 때 성공적일지는 알 수 없다. 따라서 이 논문에서는 데이터 이질성에 대응하고 personalized FL을 효과적으로 검증할 수 있는 벤치마크 Motely를 제안한다. Motely는 데이터 이질성을 효과적으로 반영하는 7개의 데이터셋과 5가지 personalized FL baseline과 그 결과로 구성되어있다. 2. personalized FL ba.. [논문 리뷰] To Federate or Not To Federate: Incentivizing Client Participation in Federated Learning https://baechu-story.tistory.com/61 [논문 리뷰] Mechanisms that Incentivize Data Sharing in Federated Learning 1. 요약 이 논문은 2022 NeuralPS 연합학습 Workshop에서 발표되었다. 논문에서는 연합학습 환경에서 합리적인 행동을 하는 agent(client)를 가정하고, 데이터의 공유를 막는 free-riding 문제를 제시한다. 그 baechu-story.tistory.com 지난 글에 이어 두 번째로 연합학습에서 인센티브 메커니즘을 다룬 논문이다. 1. 요약 클라이언트가 local 모델보다 높은 정확도를 갖는 global 모델을 얻는 것을 incentive로 정의한다. 또한 Incentivce 효과를 측정할.. [논문 리뷰] Mechanisms that Incentivize Data Sharing in Federated Learning 1. 요약 이 논문은 2022 NeuralPS 연합학습 Workshop에서 발표되었다. 논문에서는 연합학습 환경에서 합리적인 행동을 하는 agent(client)를 가정하고, 데이터의 공유를 막는 free-riding 문제를 제시한다. 그리고 계약 이론에서 아이디어를 얻어 free-riding 문제를 막고, 데이터 공유를 최대화하는 accuracy shaping 기반 메커니즘을 제안한다. 2. single agent 문제를 단순화하기 위해 모든 데이터의 가치가 같다고 가정한다. 각 agent는 size가 m인 데이터셋에서 만들어지는 가치함수 v(m) -> [0,1]을 최대화하기를 원한다. 여기서 가치함수 v의 값은 모델의 정확도이다. agent i는 데이터 하나를 생성하는데 $c_{i}$의 비용이 필요하.. 이전 1 다음
