Depuis plusieurs mois, Éducaloi expérimente avec l’intelligence artificielle générative. Notre objectif est de comprendre comment cette technologie peut contribuer à améliorer l’accès à l’information juridique, mais aussi de mieux de cerner ses limites.
Nos essais nous ont notamment permis d’identifier trois grands défis : trouver une information fiable, trouver le bon morceau d’information et tirer une conclusion à partir d’une information imparfaite.
Défi #1 : Trouver une information fiable
Sur Internet, l’information juridique est abondante. Mais elle n’est pas toujours fiable, à jour ou adaptée au contexte québécois. Et si l’IA s’appuie sur une mauvaise source, sa réponse risque évidemment d’être mauvaise elle aussi.
Sur ce plan, les outils d’IA et les moteurs de recherche ont beaucoup progressé. Ils semblent de plus en plus capables d’identifier et de privilégier des sources reconnues.
C’est notamment pour cette raison qu’Éducaloi apparaît souvent dans les résultats de recherche et est régulièrement cité par des outils d’IA. C’est aussi ce qui explique pourquoi c’est si important d’avoir des sources d’information juridique locales, neutres, rigoureuses et à jour pour nourrir l’IA.
Dans nos expérimentations, nous avons voulu réduire encore davantage ce premier risque en utilisant une « génération augmentée par récupération », ou RAG, pour Retrieval-Augmented Generation. En termes simples, plutôt que de laisser l’IA chercher partout, nous lui demandons d’abord de chercher dans un ensemble de contenus que nous avons sélectionnés, notamment les contenus juridiques d’Éducaloi. Cela règle une partie du problème. Mais seulement une partie.
Une autre approche qui se développe rapidement est le MCP, pour Model Context Protocol. Le MCP permet à une IA de se connecter de façon standardisée à des sources d’information et à des outils externes. On pourrait, par exemple, permettre à une IA d’interroger directement une base de contenus juridiques fiables plutôt que de chercher librement sur Internet.
Défi #2 : Trouver le bon morceau d’information
Même avec une excellente bibliothèque de contenus, l’IA doit encore déterminer quels passages de la source répondent réellement à la question posée : et c’est plus difficile qu’il n’y paraît!
L’information juridique n’est pas toujours rédigée sous le même angle que la question de l’usagère ou de l’usager. C’est d’ailleurs l’un des grands intérêts de l’IA : on peut lui poser une question avec ses propres mots, à partir de sa propre situation, sans connaître le vocabulaire juridique.
Prenons un exemple. Imaginons qu’un article explique que certains animaux de soutien peuvent être admis dans un palais de justice. Une personne demande alors : « Est-ce que je peux entrer au palais de justice avec mon poney de soutien? » Avant les derniers événements au palais de justice, il est fort possible qu’aucun de nos textes ne parle précisément des poneys. Pour plus d’information lire l’article de La Presse.
L’IA doit alors chercher les morceaux d’information qui semblent pertinents : les règles sur les animaux, les animaux de soutien, l’accès au palais de justice, les exceptions, etc. Elle fait donc déjà un travail d’interprétation.
Défi #3 : Tirer une conclusion à partir d’une information imparfaite
C’est ici que les choses se compliquent encore. L’IA est conçue pour produire une réponse. Quand elle ne trouve pas exactement l’information recherchée, elle peut tenter de compléter les morceaux manquants en faisant des déductions.
Reprenons notre poney. L’IA pourrait raisonner ainsi :
- certains animaux de soutien sont autorisés dans les palais de justice,
- un poney peut être un animal de soutien,
- donc, un poney de soutien devrait pouvoir entrer dans un palais de justice.
Le raisonnement est cohérent et la conclusion semble logique, mais elle pourrait malgré tout être fausse. Un poney pose des contraintes très différentes de celles d’un chien : espace, sécurité, déplacements, installations, etc. Une règle générale peut donc avoir des limites qui ne sont pas explicitement décrites dans les textes consultés par l’IA.
C’est probablement l’un des apprentissages les plus importants de nos expérimentations : une réponse peut sembler parfaitement logique sans être juridiquement exacte.
Une force qui est aussi une faiblesse
Ces trois étapes montrent pourquoi il reste très difficile de garantir la fiabilité d’une IA juridique lorsque la question sort d’une situation clairement expliquée dans les sources. Mais nos essais nous montrent aussi l’autre côté de la médaille.
L’IA est particulièrement efficace pour chercher de l’information à partir de la façon dont une personne formule elle-même son problème. Pas besoin de connaître le bon terme juridique, de parcourir plusieurs menus ou de deviner quel article de loi correspond à son problème.
Pour les situations bien documentées et bien balisées, l’IA peut donc aider à trouver rapidement une information pertinente et à la présenter dans un langage adapté à la question posée.
Le problème, c’est qu’elle peut être presque aussi convaincante lorsqu’elle se trompe. Une comparaison nous revient souvent dans nos expérimentations : l’IA ressemble parfois à une ou un stagiaire extrêmement motivé qui veut absolument donner une réponse. Elle cherche vite, rassemble l’information et propose une conclusion avec assurance, mais l’IA ne maîtrise pas toujours suffisamment le sujet pour savoir quand il faudrait plutôt dire : « Je ne sais pas. »
C’est pourquoi, à ce stade de nos expérimentations, la vérification et l’accompagnement humains restent essentiels dès que l’on veut pouvoir se fier à une réponse juridique produite par l’IA.
Me Frédérick Roussel, directeur général