Deloitte contraint de rembourser le gouvernement australien pour un rapport truffé d’erreurs réalisé avec l’IA

Fausses références et même décision de justice inventée... Le grand cabinet d’audit et de conseil a accepté de rembourser partiellement les 440.000 dollars australiens (près de 250.000 euros) que le document avait coûté au ministère australien de l’Emploi.

On peut être un cabinet du «Big Four» et être rattrapé par la patrouille comme un étudiant de première année. C’est ce qui est arrivé à Deloitte, en Australie, après avoir remis au ministère local de l’Emploi et des Relations professionnelles un rapport truffé d’erreurs... réalisé en partie grâce à l’intelligence artificielle (IA). Le grand cabinet d’audit et de conseil a accepté de partiellement rembourser les 440.000 dollars australiens (près de 250.000 euros) que ce document de 237 pages - portant sur le système informatique utilisé par le ministère pour automatiser les sanctions du système de protection sociale - avait coûtés au gouvernement de l’État d’Océanie.

Publié en juillet, le rapport avait interloqué Chris Rudge, chercheur en droit de la santé et de la protection sociale à l’Université de Sydney, qui a été le premier à relever des erreurs dans le texte - une vingtaine selon lui -, notamment des fausses références. Et celui-ci de suspecter des «hallucinations» de l’IA générative. Soit quand la technologie invente purement et simplement des réponses. Ici des rapports inexistants ou encore une référence inventée à une décision de justice, précise l’Australian Financial Review, le plus important quotidien économique d’Australie.

Contraint d’enquêter sur ce rapport après ces révélations, Deloitte a finalement mis en ligne une version actualisée du document vendredi 3 octobre. Dans celle-ci, le cabinet reconnaît avoir corrigé des citations et des références «qui contenaient des erreurs». A également été ajoutée, dans l’annexe «méthodologie», une précision - qui ne figurait pas dans le rapport initial - selon laquelle Deloitte a utilisé «une chaîne d’outils basée sur un modèle linguistique génératif d’intelligence artificielle (IA) (Azure OpenAI GPT4o)».

«Usage abusif de l’IA»

Deloitte a examiné le rapport et «a confirmé que certaines notes de bas de page et références étaient incorrectes», a confirmé le ministère australien dans un communiqué publié ce mardi, cité par l’agence de presse américaine Associated Press (AP). Il ajoute que le cabinet a «accepté de rembourser la dernière tranche prévue par son contrat», dont le montant n’a pas encore été communiqué. La sénatrice Barbara Pocock, porte-parole des Verts australiens pour le secteur public, a réclamé un remboursement total de la prestation, estimant que Deloitte «a fait un usage abusif de l’IA, et ce de manière très inappropriée».

De son côté, Deloitte s’est contenté d’indiquer que «le problème a été résolu directement avec le client», refusant de dire si les erreurs étaient du fait du recours à l’IA. «Les mises à jour effectuées n’ont aucune incidence sur le contenu, les conclusions et les recommandations du rapport», est-il affirmé dans la version modifiée du document. Quoi qu’il en soit, cet incident est embarrassant pour Deloitte. Car, comme le rappelle l’Australian Financial Review, le cabinet d’audit et de conseil «réalise une part croissante de son chiffre d’affaires annuel mondial [...] en conseillant et en formant ses clients et ses dirigeants à l’IA»...

Découvrir davantage...

Continuer la lecture