Vers un apprentissage fédéré plus sûr et plus efficace

L’apprentissage fédéré en un coup d’œil

L’apprentissage fédéré permet à plusieurs institutions — hôpitaux, ministères, entreprises — de collaborer pour construire un modèle commun, sans jamais partager leurs données brutes. Chaque entité entraîne un modèle localement, puis envoie uniquement les paramètres appris à un serveur central pour agrégation. Ce paradigme est particulièrement adapté aux environnements sensibles où la protection des données est cruciale.

Bien sûr, cela dépasse largement le domaine de la santé. Dans le secteur de la défense, par exemple, les données sont souvent classifiées et inaccessibles aux partenaires extérieurs. L’apprentissage fédéré permet alors de bénéficier de l’intelligence collective tout en maintenant des cloisonnements stricts entre les sources de données. Une logique similaire s’applique aussi à des domaines comme la finance, la justice ou la recherche industrielle.

Mais ce modèle distribué n’est pas sans vulnérabilités : attaques par inférence, empoisonnement, ou fuite d’informations via les modèles eux-mêmes. D’où la nécessité d’ajouter des couches de protection avancées.

Protection des modèles par cryptage homomorphique

Le chiffrement homomorphe permet d’effectuer des calculs directement sur des données chiffrées, sans jamais devoir les déchiffrer. Appliqué à l’apprentissage fédéré, cela signifie que les poids des modèles peuvent être chiffrés avant d’être transmis, puis agrégés en toute sécurité.

Mais cette sécurité accrue à un prix : les opérations homomorphes sont coûteuses en calcul et en mémoire, surtout pour les modèles de grande taille. Il devient alors crucial de concevoir des modèles plus légers, sans sacrifier leur performance.

Alléger les modèles sans compromettre l’efficacité

Deux techniques principales sont utilisées pour compresser les modèles :

• Le pruning, qui consiste à supprimer les paramètres ou neurones les moins utiles.
• La distillation de connaissances, où un petit modèle “élève” apprend à reproduire le comportement d’un grand modèle “professeur”.

Toutes les méthodes de distillation ne se valent pas. Dans notre approche, nous combinons deux formes complémentaires :

• Distillation par logits : l’élève apprend à imiter les sorties du professeur. Simple à mettre en œuvre, mais offre une vision limitée du raisonnement du modèle.
• Distillation par features : l’élève apprend à reproduire les représentations internes du professeur, pour un transfert de connaissances plus profond mais qui demande une structure plus proche entre les deux modèles.

Notre approche

Nous avons appliqué cette approche innovante à la détection du cancer du sein à partir de mammographies, avec une architecture fondée sur trois piliers :

• Compression intelligente  : grâce au pruning et à la distillation, nous avons conçu un modèle ultra-léger basé sur MobileNetV2, spécialement optimisé pour un apprentissage chiffré.
• Distillation inversée  : chaque client utilise une paire professeur-élève. Les élèves sont agrégés au niveau central, puis leur savoir est renvoyé vers les professeurs, instaurant un cycle d’apprentissage bidirectionnel.
• Chiffrement intégral  : la compacité du modèle permet un chiffrement homomorphe complet via le schéma CKKS, garantissant une confidentialité totale, y compris pendant l’entraînement.

Vous souhaitez en savoir plus sur cette approche innovante ? N’hésitez pas à contacter nos experts.