In dem Beitrag FedBKD: Distilled Federated Learning to Embrace Gerneralization and Personalization on Non-IID Data wird ein neuartiges Framework für föderiertes Lernen (FL) zur Bewältigung von Herausforderungen bei nicht-identisch und unabhängig verteilten (non-IID) Daten vorgestellt: FedBKD.

Problemstellung:

Herkömmliche FL-Lösungen konzentrieren sich entweder auf die Erstellung eines leistungsstarken globalen Modells oder auf die Anpassung personalisierter lokaler Modelle. Nur wenige können beides gleichzeitig leisten: ein gut generalisiertes globales Modell und leistungsfähige lokale Modelle. [1][2] Zudem nutzen viele FL-Lösungen für das non-IID-Problem öffentliche Datensätze, was jedoch das Risiko von Datenlecks erhöht.

FedBKD als Lösung:

FedBKD (Federated Bidirectional Knowledge Distillation) ist ein datenfreies Destillations-Framework, das diese Probleme angeht. Es ist das erste seiner Art, das eine bidirektionale Destillation nutzt, um den Wissensaustausch zwischen globalen und lokalen Modellen zu verbessern. [1][2]

Kernmerkmale und Funktionsweise:

• Datenfreier Generator: Um die Privatsphäre der Client-Daten zu wahren und dennoch eine hohe Destillationsqualität zu gewährleisten, verwendet FedBKD Generative Adversarial Networks (GANs), um hochwertige, client-ähnliche synthetische Daten zu erzeugen. Dabei dienen die lokalen Modelle als Diskriminatoren, deren Parameter eingefroren sind.
• Bidirektionale Wissensdestillation: Die synthetischen Daten werden für die bidirektionale Destillation zwischen globalen und lokalen Modellen genutzt.
• Global zu Lokal: Diese Destillation verbessert die Fähigkeit der lokalen Modelle zur Merkmalsextraktion und somit deren Leistung auf lokalen Daten.
• Lokal zu Global: Diese Destillation reduziert die Gefahr der Parameterdrift des globalen Modells und verbessert dessen Generalisierungsfähigkeit, indem es Wissen von lokalen Modellen integriert, die auf unterschiedlich verteilten Daten trainiert wurden.

Experimentelle Ergebnisse:

Umfassende Experimente auf vier Benchmark-Datensätzen (CIFAR-10, CIFAR-100, FEMNIST und SENT140) unter verschiedenen non-IID-Bedingungen zeigen, dass FedBKD in allen Fällen eine hochmoderne (SOTA) Leistung erzielt. Ablationsstudien bestätigen die wesentliche Bedeutung sowohl des datenfreien Generators als auch der bidirektionalen Destillation für die überragende Leistung von FedBKD.

Fazit:

FedBKD bietet einen neuen Ansatz für föderiertes Lernen, der gleichzeitig die Generalisierungsfähigkeit des globalen Modells und die Personalisierung der lokalen Modelle auf non-IID-Daten verbessert, während die Datenprivatsphäre gewahrt bleibt. Zukünftige Arbeiten sollen die Fähigkeiten von FedBKD auf komplexere maschinelle Lernaufgaben ausweiten.