데이터사이언스 (23) 썸네일형 리스트형 [간단 리뷰] Genie: Generative Interactive Environments 하루가 멀게 새로운 AI 모델의 등장이 우리를 놀라게 하고 있다. 이번에는 Deepmind에서 사진이나 스케치 등을 활용해서 비디오 게임처럼 플레이 가능한 세계를 만드는 Genie라는 모델을 공개했다. 11B 파라미터를 가지는 Genie는 20만 시간이 넘는 공개된 온라인 게임 비디오로 학습을 진행했다. Genie는 action이나 text 주석이 없이 훈련을 했음에도 불구하고, latent action space를 이용해서 프레임 단위로 제어 가능하다. 성능에 대해서는 공식 블로그에서 충분히 소개하고 있기 때문에, 이 글에서는 Genie를 구성하고 있는 Component를 간단하게 소개한다 1. Model Component 위 그림에서 볼 수 있는 것처럼, Genie는 세개의 핵심 구성요소를 가진다. .. Vid2Seq 논문 정리 (1) 대부분의 동영상에는 이벤트가 포함된다. '달리기를 하는 여자'와 '박수를 치는 사람들'을 예로 들 수 있다. Video captioning은 동영상을 설명하는 한 줄의 설명을 생성하는 것이지만, Dense Video captioning은 비디오에서 모든 이벤트를 감지하고 설명하며, 시간대를 식별하는 작업을 포함한다. 이는 영상의 길이가 증가할 수록 훨씬 어려워지는 작업이다. 기존 방식은 대부분 이벤트의 시간대를 찾은 뒤 캡셔닝하는 2단계의 접근 방식을 사용한다. 시간대를 찾는 것과 캡셔닝의 상호관계를 활용하기 위해, 일부 방식은 두 task를 동시에 푸는 모델을 사용한다, 하지만, 이런 방식은 주로 envent counter 같은 task-specific한 구성 요소가 필요하다. 더 나아가, 이 방식들은.. Unlabeled dataset을 주고받는 Federated distillation method 1. DS-FL 1) Entropy Reduction Aggregation(ERA) [1]에서는 aggregation 과정에 Entropy Reduction Aggregation(ERA)라는 방식을 제안하였다. ERA는 softmax 과정에서 temperature를 1보다 낮게 설정하여, distillation에서 사용될 soft target의 entrophy를 낮추는 방식이다.원래 distillation에서 사용되는 soft target은, hard label보다 많은 정보를 가지고 있다고 있다. 예를 들어 MNIST에서 정답이 7인 class가 있다고 하면, 7과 1의 유사성으로 인해서 이 class의 soft label은 1이 0보다는 높은 값을 가지고 있을 것이다. 하지만 높은 non-IID 환경.. Labeled distillation data을 교환하는 federated distillation methods 0. introdution Federated Learning에서 distilation을 이용하는 방법은 여러 방법으로 분류할 수 있다. 지난 글에서는 distillation이 어디에서 어디로 이루어지는지를 기준으로 나누어서 client에서 server로 지식을 distill하는 방식들을 살펴보았다. 이번에는 서버와 client가 어떤 정보를 주고받는지를 기준으로 분류를 해보려고 한다. 서버와 client가 주고받는 정보를 크게 분류한다면 모델 파라미터, public data가 있을 것이다. 모델 파라미터를 주고받는 방식은 기존 연합학습에서 사용되는 방식으로, communication cost가 높지만 상대적으로 높은 정확도를 가진다. public data를 주고받는 방식은 communication cos.. [논문 리뷰] Learn from Others and Be Yourself in Heterogeneous Federated Learning 1. 소개 이 논문에서는 1) client 데이터 간의 이질성으로 인한 모델 성능 하락, 2) local에서 모델이 업데이트 될 때 이전에 학습했던 정보를 망각하는 catastrophic forgetting 두 가지 문제를 해결하기 위해 FCCL(Federated CrossCorrelation and Continual Learning)을 제안한다. FCCL은 domain shift를 해결하기 위해 다양한 domain의 데이터로 구성된 unlabeled public data로 cross-correlation matrix를 학습한다.. 또한 정보 유출없이 catastrophic forgetting 문제를 해결하기 위해 knowledge distillation을 활용한다. 또한 이미지 분류에 대한 실험을 통해.. Federated Learning의 Aggregation method로서의 Distillation Distillation이란, model이 학습한 지식을 효과적으로 압축하고, 전달할 수 있는 방법이다. Distillation에 대한 자세한 설명은 아래 글을 참고하자. https://baeseongsu.github.io/posts/knowledge-distillation/ 딥러닝 모델 지식의 증류기법, Knowledge Distillation A minimal, portfolio, sidebar, bootstrap Jekyll theme with responsive web design and focuses on text presentation. baeseongsu.github.io 1. Distillation in FL 모든 device에서 공유할 수 있는 public 데이터가 있는 환경에서 disti.. 연합학습 library FederatedScope의 Event-driven Architecture https://federatedscope.io/docs/event-driven-architecture/ Event-driven Architecture The event-driven architecture used in FederatedScope. federatedscope.io FederatedScope 공식 문서를 바탕으로 작성된 글이다. FedScope의 설계 철학인 Event-driven Architecture는 널리 채택된 sequential 프로세스와는 다르게 customizing에 이점을 가진다. 또한 풍부한 기능적 구성요소를 사용해 사용자의 구현을 도울 수 있고, 편리하게 멋진 기능을 확장할 수도 있다. 먼저 연합학습 과정을 이벤트-핸들러 쌍으로 보는 관점을 설명하고, 왜 이런 설계가 Fed.. [논문 리뷰] Motely: Benchmarking Heterogeneity and Personalization in Federated Learning 1. 소개 clustering, meta-learning을 비롯한 다양한 personalized FL 방법론이 제안되었다. 하지만 clustering을 제안하는 논문에서는 일정한 cluster를 따라 데이터를 생성하는 것처럼 자신들의 가정에 맞는 데이터를 임의로 만들어낸다. 이렇게 하면 그 방법에 대한 유효성은 검증할 수 있지만, 현실에 그 방법을 적용했을 때 성공적일지는 알 수 없다. 따라서 이 논문에서는 데이터 이질성에 대응하고 personalized FL을 효과적으로 검증할 수 있는 벤치마크 Motely를 제안한다. Motely는 데이터 이질성을 효과적으로 반영하는 7개의 데이터셋과 5가지 personalized FL baseline과 그 결과로 구성되어있다. 2. personalized FL ba.. 이전 1 2 3 다음
