Federated Learning of Artificial Neural Networks

Kiss, Péter

Federated Learning of Artificial Neural Networks

Subject: Műszaki tudományok/Informatikai tudományok
Machine Learning
Optimisation
Federated Learning
Neural Networks
Distributed Learning
Genetic/nature inspired algorithms
Privacy
Peer-to-peer ML
Informatika D. I./Információs rendszerek
Gépi tanulás
Optimalizáció
Federált tanulás
Neurális hálók
Elosztott tanulás
Genetikus/ természet által inspirált algoritmusok
Peer-to-peer tanulás
Bizalmasság

URI: http://hdl.handle.net/10831/82700

Link to Library Catalogue: https://opac.elte.hu/Record/opac-EUL01-1107237

MTMT: 33853158

DOI: 10.15476/ELTE.2021.124

Abstract:

A jelenlegi, legszélesebb körben alkalmazható gépi tanulás (ML) modellek, és különösképp mesterséges neurális hálók betanítása rendkívül nagy mennyiségű adatot és jelentős számítási kapacitást igényel. A Federált Tanulás (FL) kutatás fókuszában az ML modellek kollaboratív tanítása áll, napjaink heterogén, földrajzilag is erősen elosztott információs infrastruktúráján. Az FL célja ezáltal eloszlatni a tanulás számítási igényét a résztvevők (node-ok) között, az adatot annak keletkezési helyén feldolgozva, míg tanulás maga a node-okon számított módosítási igények (update-ek) időszakonkénti begyűjtésével, összegzésével és a frissített modell szétosztásával történik.

Az FL-lel kapcsolatos kutatások, a mi megátsunk szerint három főbb irányba folynak: (1) Az első irány az általánosan elfogadott federált tanulási metódus, a Federált Átlagolás (FedAvg) életszerű környezetben való alkalmazásának kérdéseivel foglalkozik, azaz hogyan lehetséges a szükséges kommunikációs és számítási kapacitás biztosítása. (2) A második irány a FedAvg algoritmus alkalmazásakor fellépő problémákra fókuszál, úgymint a modell csökkenő általános pontosága, valamint a közös modell potenciálisan elégtelen teljesítménye a végfelhasználóknál. (3) A harmadik sokat kutatott téma pedig a résztvevők bizalmas adatinak minél erősebb védelmének módjait vizsgálja.

A disszertációban az mesterséges neurális hálók federált tanításának az ezen, általunk a legfontosabbnak ítélt irányokban történő fejlesztésére irányuló munkánkat mutatom be. Az bemutatott metódusok az egyes problémák ehnyhítésére a következő ötleteken alapulnak: (1) A FedAvg algoritmus peer-to-peer átalakítása (2) a múltbeli állapotokon alapuló optimalizációs metódusok alkalmazása; valamint (3) a gradiensek használatát nem igénylő természet által inspirált optimalizációs módszerek alkalmazása.

Abstract:

Training of the most expressive state-of-the-art Machine Learning (ML) models, and especially that one of Artificial Neural Networks (NN) requires a huge amount of training data, along with very significant computation resources. The paradigm of Federated Learning (FL) focuses on the possibilities of collaborative training of ML models in heterogeneous, spatially distributed environment of recent IT infrastructures. The goal is, thus, dividing the burden of computation among all the stakeholders and leaving the potentially sensitive data at the locations of its creation while the training itself proceeds through periodically collecting and redistributing the model updates by a coordinator. In the research field of federated optimization, recent works are conducted with three main goals in mind: (1) The first concerns practical questions of deployment of the state-of-the-art Federated Averaging (FedAvg) - based algorithms, such that resource provisioning in real world network architectures. (2) The second is about developing methods to alleviate problems of FedAvg such that performance degradation of the learning process or insufficient accuracy on the side of the end users. (3) And the third is seeking to provide higher privacy guaranties for the users who participate with their data in the training process. In this dissertation I am presenting my work related to the possibilities to improve widely used techniques of FL for training NNs, addressing the problems which we perceived to be the biggest issues of this approach. The proposed solutions for these problems are methods based on (1) peer-to-peer transformation of FL, (2) utilization of stateful optimization methods, and (3) applying nature inspired derivative-free training.

Show full item record