Sommaire de la série d’articles sur la gouvernance de l'intelligence artificielle :
1ère partie : les enjeux de la gouvernance de l’intelligence artificielle
2ème partie : cartographier les risques
3ème partie : cadres réglementaires et normatifs, réflexion éthique
4ème partie : la feuille de route, qui, quoi, comment et quand (à paraitre)
5ème partie : les données (à paraitre)
6ème partie : les modèles (à paraitre)
7ème partie : audit et responsabilisation (à paraitre)
2ème partie : cartographier les risques
3ème partie : cadres réglementaires et normatifs, réflexion éthique
4ème partie : la feuille de route, qui, quoi, comment et quand (à paraitre)
5ème partie : les données (à paraitre)
6ème partie : les modèles (à paraitre)
7ème partie : audit et responsabilisation (à paraitre)
Dans cette deuxième partie, de notre série sur la gouvernance de l’intelligence artificielle, nous allons nous pencher sur les risques. Principale motivation en effet pour mettre en place une gouvernance : l’anticipation, la mesure, et l’atténuation des risques.
L’Être humain a besoin d’apprendre par lui-même. Il utilise peu les enseignements du passé, et nécessite reproduire les erreurs pour s’e rendre compte et trouver des solutions. La conclusion est que l’IA va créer des erreurs, certains vont le payer cher, certains vont perdre leur emploi pour avoir utilisé l’IA, d’autres perdront des clients. Allons jusqu’au bout, certains, oui, perdront la vie par erreur, par exemple lors du déploiement dans les conflits, d’armes pilotées par l’intelligence artificielle.
Nous n’en sommes pas là, et notre sujet reste l’entreprise. Cependant les risques sont bien réels, même si les conséquences sont moins extrêmes.
Je distinguerais deux catégories de risques. D’une part les risques liés à l’intelligence artificielle, ses données et ses modèles ; D’autre part, les risques liés à des usages incorrects d’une IA qui, elle, fonctionne correctement.
Le premier rôle d’un responsable de la gouvernance de l’IA sera de cartographier ces risques. Tout comme dans le domaine cyber ou en intelligence économique, il est indispensable de savoir à quelles menaces l’on est susceptible d’être confronté, pour ensuite l’évaluer, la mesurer, et enfin proposer des solutions pour l’atténuer.
William KELVIN aurait déjà affirmé au XIXème siècle : "Si vous ne pouvez pas le mesurer, vous ne pouvez pas l'améliorer". N’allez donc pas me dire que votre IA est parfaitement contrôlée, exempte de tout risque, alors que vous n’avez même pas commencé ce travail de cartographie. Cela s’appelle avancer dans le noir. Parfois ça marche, mais ne venez pas vous plaindre des conséquences, si vous croisez un risque !
Donc prenez les choses dans le bon ordre, et cartographiez vos risques. Vous pouvez le faire par vous-même, en utilisant les modèles que je recommande dans mes formations, ou vous pouvez conduire une démarche plus complète en vous appuyant sur la norme ISO 31000 (1) par exemple. Cette norme n’est en rien spécialisée dans un type de risque lié à l’intelligence artificielle, mais vous enseigne une démarche globale de management des risques. Si vous ne souhaitez pas vous plonger dans la norme complète, l’ouvrage « Comprendre l'ISO 31000 : Mettre en place une gestion globale et intégrée des risques (2) », publié par l’AFNOR, est une bonne introduction.
L’objectif de cette cartographie, obtenir une matrice des risques de l’IA.
Vous pouvez réaliser cette matrice avec un simple tableur, ou vous équiper d’un logiciel. Il en existe plusieurs sur le marché ; je ne les connais pas et ne les ai pas testés, mais regardez par exemple ce que fait la solution de Value Associates (3).
En résumé l’objectif de cette cartographie est triple :
1) Identifier les risques potentiels ;
2) Mesurer la probabilité de leur survenance ;
3) Évaluer leur impact possible sur votre activité.
A partir de ces éléments, on déterminera l’ordre dans lequel ces risques vont être traités, et les ressources que l’on affectera pour atténuer leur impact.
Alors en matière d’intelligence artificielle, quels sont ces risques ? Je vous propose non pas une liste exhaustive, mais quelques focus sur les risques les plus fréquents par lesquels vous devrez passer.
L’Être humain a besoin d’apprendre par lui-même. Il utilise peu les enseignements du passé, et nécessite reproduire les erreurs pour s’e rendre compte et trouver des solutions. La conclusion est que l’IA va créer des erreurs, certains vont le payer cher, certains vont perdre leur emploi pour avoir utilisé l’IA, d’autres perdront des clients. Allons jusqu’au bout, certains, oui, perdront la vie par erreur, par exemple lors du déploiement dans les conflits, d’armes pilotées par l’intelligence artificielle.
Nous n’en sommes pas là, et notre sujet reste l’entreprise. Cependant les risques sont bien réels, même si les conséquences sont moins extrêmes.
Je distinguerais deux catégories de risques. D’une part les risques liés à l’intelligence artificielle, ses données et ses modèles ; D’autre part, les risques liés à des usages incorrects d’une IA qui, elle, fonctionne correctement.
Le premier rôle d’un responsable de la gouvernance de l’IA sera de cartographier ces risques. Tout comme dans le domaine cyber ou en intelligence économique, il est indispensable de savoir à quelles menaces l’on est susceptible d’être confronté, pour ensuite l’évaluer, la mesurer, et enfin proposer des solutions pour l’atténuer.
William KELVIN aurait déjà affirmé au XIXème siècle : "Si vous ne pouvez pas le mesurer, vous ne pouvez pas l'améliorer". N’allez donc pas me dire que votre IA est parfaitement contrôlée, exempte de tout risque, alors que vous n’avez même pas commencé ce travail de cartographie. Cela s’appelle avancer dans le noir. Parfois ça marche, mais ne venez pas vous plaindre des conséquences, si vous croisez un risque !
Donc prenez les choses dans le bon ordre, et cartographiez vos risques. Vous pouvez le faire par vous-même, en utilisant les modèles que je recommande dans mes formations, ou vous pouvez conduire une démarche plus complète en vous appuyant sur la norme ISO 31000 (1) par exemple. Cette norme n’est en rien spécialisée dans un type de risque lié à l’intelligence artificielle, mais vous enseigne une démarche globale de management des risques. Si vous ne souhaitez pas vous plonger dans la norme complète, l’ouvrage « Comprendre l'ISO 31000 : Mettre en place une gestion globale et intégrée des risques (2) », publié par l’AFNOR, est une bonne introduction.
L’objectif de cette cartographie, obtenir une matrice des risques de l’IA.
Vous pouvez réaliser cette matrice avec un simple tableur, ou vous équiper d’un logiciel. Il en existe plusieurs sur le marché ; je ne les connais pas et ne les ai pas testés, mais regardez par exemple ce que fait la solution de Value Associates (3).
En résumé l’objectif de cette cartographie est triple :
1) Identifier les risques potentiels ;
2) Mesurer la probabilité de leur survenance ;
3) Évaluer leur impact possible sur votre activité.
A partir de ces éléments, on déterminera l’ordre dans lequel ces risques vont être traités, et les ressources que l’on affectera pour atténuer leur impact.
Alors en matière d’intelligence artificielle, quels sont ces risques ? Je vous propose non pas une liste exhaustive, mais quelques focus sur les risques les plus fréquents par lesquels vous devrez passer.
Les risques liés aux données
Données erronées
Le premier risque et le plus évident est celui lié à la non-qualité des données. L’IA ne comprend rien bien entendu ; et si vous la nourrissez avec des données imparfaites, vous aurez des résultats imparfaits.
Biais
Les biais sont compliqués à identifier et même parfois volontairement provoqués. Si mon IA représente l’image d’un campeur avec un short en nylon, un marcel et des sandales au pied, est-ce un biais, parce que je ne l’ai nourrie qu’avec des images de ce type, ou est-ce la réalité ? Il y a bien sur des campeurs qui ont une autre apparence, mais alors, biais ou minorité invisible ? Autre exemple, les femmes conduisent mieux que les hommes, c’est un fait que les assureurs automobiles connaissent bien. Donc si j’utilise le genre de la personne pour cotiser son assurance automobile, les hommes paieront plus que les femmes. Est-ce normal ou est-ce un biais ? C’est une question compliquée.
Discriminations
Même chose pour les discriminations. Faire un choix, c’est discriminer ! Dans tous les cas ! La question est celle du critère. Je peux choisir un candidat sur ses connaissances techniques, mais pas le discriminer sur son âge. Mais puis-je choisir une hôtesse d’accueil sur son apparence ? Ou discriminer positivement, en donnant la priorité d’accès à mes services à des réfugiés ? La question est incroyablement compliquée. Mais justement le rôle de la gouvernance de l’IA est de se poser ces questions-là, avant que le problème n’apparaisse.
Copyright
Autre thème, la propriété des contenus que j’utilise pour alimenter mes modèles. Si vous utilisez uniquement des données internes, pas d’inquiétude. Mais ChatGPT a par exemple pompé des milliards de pages web, de documents PDF, de livres, afin d’alimenter son modèle, sans jamais se préoccuper de l’autorisation de l’auteur. On revient aux débuts d’Internet avec des remarques comme « c’est sur Internet donc c’est gratuit » … et bien non !
Le premier risque et le plus évident est celui lié à la non-qualité des données. L’IA ne comprend rien bien entendu ; et si vous la nourrissez avec des données imparfaites, vous aurez des résultats imparfaits.
Biais
Les biais sont compliqués à identifier et même parfois volontairement provoqués. Si mon IA représente l’image d’un campeur avec un short en nylon, un marcel et des sandales au pied, est-ce un biais, parce que je ne l’ai nourrie qu’avec des images de ce type, ou est-ce la réalité ? Il y a bien sur des campeurs qui ont une autre apparence, mais alors, biais ou minorité invisible ? Autre exemple, les femmes conduisent mieux que les hommes, c’est un fait que les assureurs automobiles connaissent bien. Donc si j’utilise le genre de la personne pour cotiser son assurance automobile, les hommes paieront plus que les femmes. Est-ce normal ou est-ce un biais ? C’est une question compliquée.
Discriminations
Même chose pour les discriminations. Faire un choix, c’est discriminer ! Dans tous les cas ! La question est celle du critère. Je peux choisir un candidat sur ses connaissances techniques, mais pas le discriminer sur son âge. Mais puis-je choisir une hôtesse d’accueil sur son apparence ? Ou discriminer positivement, en donnant la priorité d’accès à mes services à des réfugiés ? La question est incroyablement compliquée. Mais justement le rôle de la gouvernance de l’IA est de se poser ces questions-là, avant que le problème n’apparaisse.
Copyright
Autre thème, la propriété des contenus que j’utilise pour alimenter mes modèles. Si vous utilisez uniquement des données internes, pas d’inquiétude. Mais ChatGPT a par exemple pompé des milliards de pages web, de documents PDF, de livres, afin d’alimenter son modèle, sans jamais se préoccuper de l’autorisation de l’auteur. On revient aux débuts d’Internet avec des remarques comme « c’est sur Internet donc c’est gratuit » … et bien non !
Les risques liés aux modèles
Deuxième catégorie de risques, ceux qui sont liés aux modèles d’IA en eux-mêmes.
Modèles mal paramétrés
N’oubliez jamais que le modèle d’IA, quel qu’il soit, ne comprend rien de notre monde ! Ne comptez donc pas sur lui pour vous signaler qu’il a été mal paramétré. Et comme tout cela ce sont des mathématiques, le réglage des paramètres est très important.
Hallucinations
Les modèles parfois se trompent ! Et on ne peut pas leur en vouloir, car en effet, ils ne comprennent rien. Du coup, il y a quelques mois, lorsque je demandais à ChatGPT la différence entre les œufs de poule et les œufs de coq, il s’exécutait, et produisait vingt lignes sur le sujet, sans jamais se poser la question de la capacité du coq à pondre des œufs.
Impact environnemental
Enfin, n’oublions pas que cette IA qui nous amuse et nous fait rêver, est incroyablement consommatrice en énergie. Un des risques de développement de l’IA en entreprise, c’est de faire exploser son bilan carbone. Alors c’est bien de réutiliser les feuilles de papier brouillon, mais si en même temps vous lancez ChatGPT pour un oui ou pour un non, vous allez souffrir quand il va falloir en évaluer l’impact dans votre bilan ESG. Un requête lancée sur ChatGPT consomme dix fois plus d'électricité qu'une requête Google (4).
Modèles mal paramétrés
N’oubliez jamais que le modèle d’IA, quel qu’il soit, ne comprend rien de notre monde ! Ne comptez donc pas sur lui pour vous signaler qu’il a été mal paramétré. Et comme tout cela ce sont des mathématiques, le réglage des paramètres est très important.
Hallucinations
Les modèles parfois se trompent ! Et on ne peut pas leur en vouloir, car en effet, ils ne comprennent rien. Du coup, il y a quelques mois, lorsque je demandais à ChatGPT la différence entre les œufs de poule et les œufs de coq, il s’exécutait, et produisait vingt lignes sur le sujet, sans jamais se poser la question de la capacité du coq à pondre des œufs.
Impact environnemental
Enfin, n’oublions pas que cette IA qui nous amuse et nous fait rêver, est incroyablement consommatrice en énergie. Un des risques de développement de l’IA en entreprise, c’est de faire exploser son bilan carbone. Alors c’est bien de réutiliser les feuilles de papier brouillon, mais si en même temps vous lancez ChatGPT pour un oui ou pour un non, vous allez souffrir quand il va falloir en évaluer l’impact dans votre bilan ESG. Un requête lancée sur ChatGPT consomme dix fois plus d'électricité qu'une requête Google (4).
Les risques liés aux usages
Parlons maintenant des risques liés aux mauvais usages de l'IA.
Deepfakes
Les deepfakes, qu’il s’agisse de fausses images, de fausses vidéos ou de fausses voix, elles peuvent être utilisées contre l’entreprise, par exemple dans le cas de tentative de fraude dite « au Président ».
Au niveau sociétal, c’est leur usage dans le cadre de campagnes électorales qui inquiète.
Elles peuvent servir également à humilier ou harceler certaines personnes. La chanteuse Tailor Swift a récemment été victime de ces images générées par l’IA.
Tromperie : Fausses publicités
Produire de faux contenus, par exemple une publicité vidéo-réaliste mais qui a été générée par l’IA. Ça coutera beaucoup moins cher que de tourner une vraie publicité. C’est bien ou ce n’est pas bien ? A chacun de définir ses règles éthiques.
Mauvaise qualité
Si l’IA est utilisée par des personnes qui connaissent le sujet, et qui y voient un outil pour aller plus vite dans leur travail, très bien. Mais si l’IA est utilisée par des gens qui ne connaissent pas le sujet. Et qui produisent ainsi des contenus de faible qualité, qui ensuite vont être envoyés à un client ou un fournisseur, ou publiés sur un site web. Cela va-t-il nuire à l’image à terme de l’entreprise. Les contenus générés par l’IA sont plats, sans ironie, sans prise d’opinion, je dirais sans relief. Est-ce l’image que vous souhaitez donner de votre entreprise ?
Shadow IA
Un des risques dont on parle peu, c’est celui du Shadow IA, de l’utilisation de l’intelligence artificielle par des salariés, alors même que l’usage leur en est interdit. Allez, discrètement, je vais demander à ChatGPT de produire le compte-rendu de la réunion confidentielle que j’ai enregistrée… je n’ai pas le temps de tout réécouter. Et hop, c’est le contenu de la réunion confidentielle qui part sur les serveurs d’OpenAI, sans que personne ne le sache.
Encadrer l’usage et le non-usage de l’IA dans l’entreprise est un des premiers sujets à aborder dans la charte de l’intelligence artificielle que va mettre en place l’équipe de gouvernance de l’IA.
Encore une fois, cette liste n’est pas exhaustive, mais vous donne des pistes de recherche. Le plus important est de cartographier vos propres risques. Et cette cartographie doit être vivante. Une forme d’alerte doit sortir lorsqu’un risque nouveau apparait ; et par sécurité il est conseillé de planifier une revue générale des risques chaque année, pour tenir compte de l’évolution de leurs impacts et de leur probabilité de survenance.
Dans le prochain épisode, nous aborderons les cadres réglementaires et normatifs sur lesquels appuyer sa démarche de gouvernance de l’intelligence artificielle.
Deepfakes
Les deepfakes, qu’il s’agisse de fausses images, de fausses vidéos ou de fausses voix, elles peuvent être utilisées contre l’entreprise, par exemple dans le cas de tentative de fraude dite « au Président ».
Au niveau sociétal, c’est leur usage dans le cadre de campagnes électorales qui inquiète.
Elles peuvent servir également à humilier ou harceler certaines personnes. La chanteuse Tailor Swift a récemment été victime de ces images générées par l’IA.
Tromperie : Fausses publicités
Produire de faux contenus, par exemple une publicité vidéo-réaliste mais qui a été générée par l’IA. Ça coutera beaucoup moins cher que de tourner une vraie publicité. C’est bien ou ce n’est pas bien ? A chacun de définir ses règles éthiques.
Mauvaise qualité
Si l’IA est utilisée par des personnes qui connaissent le sujet, et qui y voient un outil pour aller plus vite dans leur travail, très bien. Mais si l’IA est utilisée par des gens qui ne connaissent pas le sujet. Et qui produisent ainsi des contenus de faible qualité, qui ensuite vont être envoyés à un client ou un fournisseur, ou publiés sur un site web. Cela va-t-il nuire à l’image à terme de l’entreprise. Les contenus générés par l’IA sont plats, sans ironie, sans prise d’opinion, je dirais sans relief. Est-ce l’image que vous souhaitez donner de votre entreprise ?
Shadow IA
Un des risques dont on parle peu, c’est celui du Shadow IA, de l’utilisation de l’intelligence artificielle par des salariés, alors même que l’usage leur en est interdit. Allez, discrètement, je vais demander à ChatGPT de produire le compte-rendu de la réunion confidentielle que j’ai enregistrée… je n’ai pas le temps de tout réécouter. Et hop, c’est le contenu de la réunion confidentielle qui part sur les serveurs d’OpenAI, sans que personne ne le sache.
Encadrer l’usage et le non-usage de l’IA dans l’entreprise est un des premiers sujets à aborder dans la charte de l’intelligence artificielle que va mettre en place l’équipe de gouvernance de l’IA.
Encore une fois, cette liste n’est pas exhaustive, mais vous donne des pistes de recherche. Le plus important est de cartographier vos propres risques. Et cette cartographie doit être vivante. Une forme d’alerte doit sortir lorsqu’un risque nouveau apparait ; et par sécurité il est conseillé de planifier une revue générale des risques chaque année, pour tenir compte de l’évolution de leurs impacts et de leur probabilité de survenance.
Dans le prochain épisode, nous aborderons les cadres réglementaires et normatifs sur lesquels appuyer sa démarche de gouvernance de l’intelligence artificielle.
(1) https://www.iso.org/fr/iso-31000-risk-management.html
(2) ISBN : 9782124658794
(3) https://www.values-associates.fr/cartographie-des-risques/logiciel/
(4) Source Note de marchés du fonds ODDO BHF Green Planet - Avril 2024
(2) ISBN : 9782124658794
(3) https://www.values-associates.fr/cartographie-des-risques/logiciel/
(4) Source Note de marchés du fonds ODDO BHF Green Planet - Avril 2024
Autres articles
-
Gouverner l’intelligence artificielle : cadres réglementaires et normatifs (3ème partie)
-
Podcast : Données personnelles, reprenons le contrôle, avec Cécile Petitgand
-
Gouverner l’intelligence artificielle : un passage obligé afin d’en sécuriser les bénéfices pour l’entreprise (1ère partie)
-
Le GENES se mobilise pour lutter contre la pénurie d’experts en data science
-
IBM s'engage à former 2 millions de personnes à l'intelligence artificielle en trois ans, en mettant l'accent sur les catégories minoritaires de la population
