Un modèle de recrutement entraîné sur dix ans de CV d'une entreprise apprend, tout seul, à écarter les femmes. Personne ne lui a dit de le faire. Il a juste remarqué que les postes techniques étaient historiquement occupés par des hommes et a reproduit le schéma. C'est l'histoire d'Amazon en 2018, et honnêtement, elle résume à elle seule le problème : l'éthique et les biais dans les algorithmes d'IA ne se règlent pas avec de bonnes intentions, mais avec des méthodes.
Je me suis lancé dans l'audit d'un modèle de scoring interne il y a deux ans, convaincu que « si les données sont neutres, le résultat l'est aussi ». J'ai passé trois semaines à me tromper lourdement. Ce que j'ai découvert m'a forcé à revoir toute ma façon de concevoir ces systèmes.
Points clés à retenir
- Un biais algorithmique n'est pas un bug isolé : c'est un écart systématique entre ce que le modèle prédit et ce qui serait juste.
- La donnée d'entraînement est rarement neutre, et la nettoyer ne suffit pas — le biais revient par la définition même de la cible.
- La « boîte noire » désigne l'impossibilité de reconstituer pourquoi un modèle profond produit une décision précise, ce qui complique l'audit.
- Des outils existent : AI Fairness 360, Fairlearn, tests de parité démographique, débiaisage pré/post-traitement.
- Le RGPD (article 22) et l'AI Act européen imposent des obligations concrètes, pas seulement des principes.
Éthique et biais dans les algorithmes d'IA : pourquoi la neutralité est un mythe
On m'a souvent demandé si un algorithme pouvait être neutre. La réponse courte : non. La réponse longue mérite qu'on s'y attarde.
Un algorithme optimise une fonction objectif qu'un humain a choisie. Ce choix est une décision politique, morale, économique — pas mathématique. Quand un système de crédit apprend à minimiser les défauts de paiement, il ne cherche pas « la justice ». Il cherche à réduire un chiffre. Et ce chiffre, selon les données, peut parfaitement s'obtenir en refusant systématiquement les habitants de certains quartiers.
Qu'est-ce qu'un biais algorithmique, concrètement ?
La définition que je retiens : un écart systématique entre les prédictions d'un modèle et la réalité, qui produit un traitement injuste pour un groupe donné. Le mot important est « systématique ». Un modèle qui se trompe au hasard n'est pas biaisé — il est juste mauvais. Un modèle qui se trompe toujours dans la même direction est dangereux.
Le synonyme le plus utile que je connaisse, c'est « discrimination algorithmique ». Il dit ce que le mot biais masque parfois : il y a des victimes.
Le problème de la boîte noire de l'IA fait référence au défi de quoi, au juste ?
Le problème de la boîte noire de l'IA fait référence au défi de comprendre comment un modèle aboutit à une décision précise. Sur un réseau de neurones profond, on peut retracer les couches, les poids, les activations — mais pas produire une explication causale propre du type « ce client a été refusé parce que X ». On observe une corrélation, jamais une justification.
Et là, surprise : cette opacité n'est pas qu'un problème technique. C'est un problème juridique. L'article 22 du RGPD encadre les décisions entièrement automatisées et ouvre un droit à l'explication. Comment expliquer ce qu'on ne comprend pas soi-même ? C'est tout l'enjeu.
D'où viennent les biais, vraiment
Le discours dominant pointe les données. C'est vrai, mais incomplet. Dans mon audit, j'ai isolé quatre sources distinctes — et la donnée n'était que la première.
- Les données historiques. Elles portent le passé de l'entreprise. Si une équipe a toujours promu des profils similaires, le modèle apprend à faire pareil.
- La variable cible. Celle-ci m'a le plus surpris. Choisir « performance » comme cible quand on ne mesure la performance que par l'avis du manager, c'est injecter tout le biais du manager dans le modèle.
- Les variables proxies — le code postal, le prénom, le type d'établissement scolaire. Elles n'ont l'air de rien. Elles encodent l'origine et le milieu social.
- Le feedback loop. Un modèle qui prédit mal une catégorie la sous-évalue, génère moins de données pour elle, et se dégrade encore au cycle suivant.
Ce dernier point est le plus sournois. Une entreprise qui déploie un système de tri et observe ensuite ce que ce système produit finit par confondre sa prédiction avec la réalité. Le modèle devient sa propre source de vérité.
Trois exemples qui ont marqué les esprits
Amazon et le tri de CV
Entre 2014 et 2017, Amazon développe un outil d'aide au recrutement pour trier les candidatures techniques. En 2018, l'entreprise l'abandonne. Le système pénalisait les CV contenant le mot « women's » — par exemple dans une association étudiante féminine — et favorisait une grammaire de CV typiquement masculine. Toute une leçon tient dans cette phrase : le modèle n'avait pas reçu d'instruction sexiste. Il avait appris sur dix ans de candidatures majoritairement masculines.
COMPAS et la justice pénale
Aux États-Unis, l'outil COMPAS est utilisé pour estimer un risque de récidive. Une enquête de ProPublica a montré que le taux de faux positifs (prédire une récidive qui n'aura pas lieu) était nettement plus élevé pour les personnes noires, tandis que les faux négatifs frappaient davantage les personnes blanches. Une partie des chercheurs a soutenu que le modèle était « calibré » et donc acceptable. L'autre a répondu : une erreur qui enferme un innocent n'est pas équivalente à une erreur qui laisse un coupable libre. Les deux camps avaient raison. C'est ça, le problème éthique.
Le crédit et l'allocation de ressources
Des cartes de crédit américaines ont, à plusieurs reprises, accordé des plafonds plus faibles aux femmes à profil de revenu et de dépenses équivalent. Là encore : pas de règle écrite. Juste des corrélations apprises. Et une conséquence directe sur la vie des gens.
Comment détecter et corriger un biais
Bon, passons à la partie utile. Parce que « il faut faire attention » n'a jamais corrigé quoi que ce soit. Voici ce qui fonctionne réellement, dans l'ordre où je l'applique.
1. Mesurer avant de corriger
On ne peut pas corriger ce qu'on ne mesure pas. Cela suppose de définir des métriques de fairness et de tester la parité démographique, l'égalité des chances, ou l'égalité des odds selon le contexte. Ces métriques ne sont pas interchangeables — mathématiquement, on ne peut pas toutes les satisfaire en même temps. Il faut donc choisir, ce qui est une décision éthique, pas technique.
2. Utiliser des outils éprouvés
Deux bibliothèques libres reviennent souvent dans les audits : AI Fairness 360 (IBM) et Fairlearn (Microsoft). Elles ne corrigent pas le biais à votre place — ne croyez pas à cette promesse. Elles rendent le diagnostic reproductible et documenté. C'est déjà énorme.
3. Intervenir à trois niveaux
| Niveau d'intervention | Quand | Exemple concret | Limite |
|---|---|---|---|
| Pré-traitement | Sur les données d'entraînement | Rééquilibrage, suppression de variables proxies | Peut dégrader la performance |
| In-traitement | Pendant l'apprentissage | Ajout d'une pénalité de fairness dans la fonction de perte | Complexe à régler finement |
| Post-traitement | Sur les sorties du modèle | Seuils de décision différents selon le groupe | Effet purement cosmétique si mal calibré |
J'ai testé les trois. Le post-traitement est le plus rapide à déployer et le plus tentant. C'est aussi celui qui donne le plus souvent l'illusion d'avoir résolu le problème. Corriger un seuil ne change rien à ce que le modèle pense du monde.
Ce que la loi impose déjà
Il est tentant de tout renvoyer à la morale. Le droit est plus concret qu'on ne le croit.
RGPD et accès à une explication
L'article 22 du RGPD interdit les décisions entièrement automatisées produisant des effets juridiques significatifs, sauf exceptions strictes. Et quand l'automatisation est permise, la personne concernée dispose d'un droit à une intervention humaine et à une explication. Pour une entreprise qui déploie un système opaque, c'est une bombe à retardement.
AI Act européen
Le règlement européen sur l'intelligence artificielle est entré en application progressive depuis 2025. Il classe certains usages comme « à haut risque » — recrutement, éducation, services essentiels, justice. Pour ces usages, obligations de documentation, de surveillance humaine, de gestion des risques. La CNIL, en France, a publié des lignes directrices sur les systèmes d'IA. Ce ne sont plus des recommandations, ce sont des exigences opposables.
Mettre en place une vraie gouvernance, pas un comité vitrine
Un comité d'éthique qui se réunit une fois par trimestre pour valider des slides ne sert à rien. J'ai vu des deux. La différence n'est pas dans les moyens — elle est dans trois pratiques simples :
- Un model card par modèle en production : usages prévus, données d'entraînement, limites connues, performances par sous-groupe. Rédigé par l'équipe, pas par la communication.
- Un audit algorithmique avant tout déploiement à impact humain, refait tous les six à douze mois.
- Une personne responsable, nommément désignée. Pas une équipe. Un nom associé à un modèle.
Et une règle non négociable : celui qui conçoit le modèle ne doit pas être le seul à l'auditer. Trop de conflits d'intérêts, même avec la meilleure volonté du monde.
Ce qui reste, une fois tout cela dit
Aucune méthode ne rendra un système parfaitement juste. C'est inconfortable, et j'ai mis longtemps à l'accepter. À chaque fois qu'on corrige un biais, on en déplace un autre — on améliore la parité démographique au prix de l'égalité des chances, on rétablit l'équité statistique en sacrifiant un peu de précision.
Ce n'est pas un échec. C'est la nature du problème. La vraie question n'est jamais « ce modèle est-il neutre ? » — il ne le sera pas. La vraie question est : qui décide de ce qui est juste, et devant qui cette personne doit-elle répondre ? Tant qu'on répondra « le modèle », on aura délégué une décision humaine à une fonction mathématique qui ne sait rien de la justice.