Utilisation de l'intelligence artificielle dans le catalogue

Ce guide présente les raisons et les modalités d’utilisation des technologies d’intelligence artificielle (IA) dans le catalogue de Recherche Data Gouv. Le volume croissant de données scientifiques et l’hétérogénéité de leur qualité documentaire représentent un défi significatif pour les chercheurs souhaitant identifier rapidement les informations pertinentes. Ils nécessitent donc des méthodes sophistiquées de récupération et de recherche d'informations. Dans ce contexte, les méthodes de recherche traditionnelles, basées sur la correspondance de mots-clés, s'avèrent de plus en plus limitées.

Introduction

Recherche Data Gouv est un écosystème qui propose aux chercheurs des solutions souveraines pour partager, structurer, préserver et ouvrir leurs données. Le catalogue national joue un rôle central dans ce dispositif en moissonnant et en interconnectant les métadonnées d'entrepôts institutionnels et thématiques divers, créant ainsi une porte d'entrée unique et interdisciplinaire. L’objectif de ce catalogue est de permettre la découverte des jeux de données de manière transversale, indépendamment des domaines thématiques.

L’IA dans l’exploration de données

La recherche traditionnelle par mots-clés, bien qu'efficace en temps de calcul (et donc sobre en consommation électrique) ne parvient souvent pas à saisir les relations conceptuelles entre les termes scientifiques exprimés par une terminologie hétérogène. Cette limitation est particulièrement prononcée lorsqu’on adresse des jeux de données multilingues (typiquement français ou anglais dans le cas Recherche Data Gouv), où le même concept scientifique peut être décrit à l'aide de mots différents selon la langue employée. 

La recherche sémantique offre une alternative puissante en comprenant la signification derrière les requêtes, permettant la découverte d'informations pertinentes même en l'absence de correspondances exactes. La pierre angulaire de cette approche réside dans l'utilisation de modèles d'embeddings textuels, qui transforment le texte en vecteurs numériques denses encodant le sens sémantique. Ces représentations vectorielles permettent la comparaison mathématique du contenu textuel, facilitant l'identification de documents ou de passages sémantiquement similaires.

Recherche mot-clé vs sémantique

La différence fondamentale entre la recherche sémantique et la recherche traditionnelle par mots-clés réside dans leur approche de la compréhension des requêtes des utilisateurs et du contenu des documents. 

• La recherche par mots-clés fonctionne en faisant correspondre les mots exacts présents dans une requête avec ceux trouvés dans les documents. Cette méthode est limitée par son incapacité à reconnaître les synonymes, les concepts connexes ou le sens sous-jacent du texte.
• En revanche, la recherche sémantique utilise les représentations vectorielles générées par les modèles d'embeddings pour s’attacher au sens de la requête. En comparant la distance entre l’embedding d'une requête avec ceux des documents, le système identifie les résultats pertinents même si les mots-clés exacts ne sont pas présents.

Par exemple, dans le contexte de jeux de données scientifiques, un utilisateur pourrait rechercher "analyse de l'expression génique". Une recherche par mots-clés ne renverrait que les documents contenant cette phrase exacte. Une recherche sémantique  récupérerait également les documents qui traitent des "données de séquençage d'ARN", reconnaissant la forte relation conceptuelle entre ces termes dans le domaine de la biologie moléculaire.

Principes fondamentaux des embeddings textuels pour la recherche sémantique  

Pour comprendre la recherche sémantique, il faut se représenter l'embedding comme un traducteur de sens. Ce procédé capture la signification d'un mot, d'une phrase, d'un paragraphe ou d'un document complet, et la convertit en un vecteur de N nombres réels (typiquement autour de 3000 dimensions).

Pour faire une analogie simple, on peut imaginer des coordonnées sur une carte géographique. Si deux points ont des coordonnées proches sur la carte, cela signifie qu'ils sont géographiquement voisins. De la même manière, dans l'espace vectoriel du catalogue, deux documents dont les vecteurs sont proches sont sémantiquement très parents.

L’avantage principal des modèles d’embedding est leur efficacité. Chaque vecteur n’est calculé qu’une seule fois, au moment de son intégration dans le catalogue, et la méthode de recherche se résume à mesurer la distance entre la requête et les éléments du catalogue, ce qui est très peu coûteux en tant de calcul. En revanche, bien que performante, la recherche sémantique par embeddings n’est pas la méthode la plus précise. Pour optimiser les résultats, il convient parfois de la compléter avec des méthodes de reclassement plus pointues : c'est là qu'intervient le cross-encoder.

Ré-ordonnancement avec le Cross encoder

L'avantage majeur du cross-encoder est sa très haute précision dans l'évaluation de la pertinence. Son inconvénient réside dans sa forte consommation de ressources : contrairement aux embeddings simples, il doit calculer un score en comparant de manière croisée, deux à deux, la requête de l'utilisateur et l'intégralité des métadonnées du jeu de données.

Le catalogue comptant plus de 100 000 jeux de données, il serait techniquement déraisonnable d'exécuter ce calcul sur l'ensemble de la base en temps réel. Une stratégie d'optimisation a donc été mise en place : le calcul par cross-encoder est restreint exclusivement aux 1000 jeux de données identifiés en amont comme les plus proches sémantiquement (via les embeddings). De plus, en raison de son coût computationnel, cette fonctionnalité n'est pas systématique : elle est proposée en option à l'utilisateur s'il souhaite des résultats plus pertinents mais plus coûteux en calcul.

Recherche hybride avec des facettes

Pour permettre une expérience complète de recherche, le catalogue propose un système de recherche hybride qui combine la puissance de l'approche sémantique et l'efficacité des facettes classiques. Si la recherche sémantique excelle pour comprendre l'intention globale derrière une requête, l'usage de filtres structurés s'avère extrêmement pratique pour les utilisateurs au quotidien, leur évitant de se perdre dans un trop grand volume de résultats.

Grâce à cette approche hybride, les utilisateurs peuvent croiser librement leur recherche textuelle sémantique avec des facettes clés du catalogue :

• La date de publication
• Les affiliations
• Les auteurs
• Le domaine scientifique (aligné sur le thesaurus HCERES)

Cette liste a vocation à être progressivement élargie afin d'intégrer d'autres critères de filtrage essentiels pour la communauté scientifique (par exemple les financeurs, le type de licence, etc.).

Sur le plan technique, cette synergie repose sur l'utilisation d'une base de données Typesense, qui gère et optimise nativement ce comportement hybride. Typesense permet d'entrelacer instantanément la comparaison vectorielle sémantique et le filtrage strict par attributs, garantissant des temps de réponse de l'ordre de la fraction de seconde. Pour l'utilisateur, cela se traduit par un confort de recherche inédit, alliant la pertinence d'une IA sémantique à la précision stricte des filtres documentaires classiques.

Synthèse des choix architecturaux

En résumé, l’approche adoptée dans le catalogue est la suivante : 

• En premier lieu, tous les documents moissonnées sont analysés par un modèle d’embedding, qui les positionnent tous dans un espace vectoriel sémantique. Ces calculs, légers, ne sont fait qu’une seule fois, les vecteurs produits sont stockés dans une base de données.
• Lorsque l’utilisateur effectue une requête, celle-ci est convertie en embedding, le système mesure la distance entre ce vecteur-requête et celui des documents, puis renvoie les résultats classés du plus proche au plus lointain. Le système propose arbitrairement les 1000 jeux de données les plus proches. Il n’y a qu’un calcul d’embedding et une recherche de points les plus proches.
• Si les premiers résultats ne s'avèrent pas pleinement satisfaisants, l'option cross-encoder permet de relancer une comparaison bilatérale approfondie sur le top 1000 afin d'affiner la pertinence du classement. Cette option n’est tout de même pas neutre en coût de calcul et donc en impact énergétique, et ne reste à privilégier que dans le cas où les premiers résultats ne donnent pas satisfaction.

Il est important de préciser qu'aucun grand modèle de langage (LLM) n'est utilisé directement pour la fonction de recherche en production. Ce choix répond à des exigences de sobriété environnementale. De plus, ce besoin est avantageusement comblé par l'intégration d'un serveur MCP (Model Context Protocol), activable à la demande en exploitant directement les propres ressources LLM des utilisateurs.

Alignement et curation des métadonnées 

Au-delà des algorithmes de recherche, l’utilisabilité du catalogue repose fondamentalement sur la qualité de ses métadonnées. L'analyse des données moissonnées met toutefois en lumière un défi de taille : l'extrême variété des informations saisies manuellement par les utilisateurs. Ces métadonnées sont rarement alignées sur des vocabulaires contrôlés et souffrent d'une grande hétérogénéité (erreurs de frappe, acronymes locaux, raccourcis textuels, syntaxes variables).

Concrètement, cette dispersion est telle qu'il devient parfois presque plus complexe pour un utilisateur de s'y retrouver dans ces champs de métadonnées que dans les jeux de données eux-mêmes. Pour simplifier l'expérience des utilisateurs et garantir un catalogue fonctionnel, un travail d'alignement a posteriori a été mis en œuvre à travers deux chantiers majeurs. Par souci de transparence et pour garantir la confiance des usagers, chaque champ enrichi ou généré par l'IA est explicitement signalé dans l'interface homme-machine (IHM) du catalogue.

L'alignement des affiliations sur le référentiel ROR

L'affiliation des auteurs représente une métadonnée essentielle pour identifier la provenance d'un jeu de données. Cependant, ces données se présentent souvent sous la forme d'un bloc de texte brut, sans uniformité. Les affiliations sont alignées sur le ROR grâce à une méthode hybride s'appuyant sur des LLM.

Méthodologie d'alignement :

• Les affiliations brutes sont extraites des métadonnées moissonnées. En parallèle, les 120 000+ entrées du ROR sont stockées localement dans une base SQLite interconnectée avec le catalogue, évitant les appels API externes répétés pour plus de fiabilité et de rapidité.
• Pour chaque affiliation brute, une correspondance exacte est recherchée dans la base SQLite ROR. Si elle est détectée, le nom officiel issu du ROR est injecté dans le champ « Affiliation ».
• Si aucune correspondance directe n'est possible, un LLM est sollicité en tâche de fond pour désagréger les structures complexes d’affiliations imbriquées. Les entités isolées sont nettoyées et structurées dans un fichier JSON, puis le processus de recherche SQLite leur est réappliqué. En cas d'échec persistant, l'historique est consigné pour amélioration de la démarche.
• L'alignement est soumis à un second modèle LLM jouant le rôle de juge. Si la validation est rejetée, les métadonnées ajoutées à cette étape sont immédiatement retirées pour préserver la qualité du catalogue.

La catégorisation disciplinaire via le thésaurus HCERES

Afin de permettre une exploration thématique efficace et standardisée, le texte des métadonnées principales (titre, résumé et mots-clés) a fait l'objet d'un alignement automatique vers le thésaurus du HCERES. Cet enrichissement permet aux utilisateurs de chercher et de filtrer des jeux de données de manière fiable via un critère de domaine disciplinaire unifié, indépendamment de la terminologie d'origine.

Ambitions et perspectives futures

Ces premiers chantiers d'harmonisation a posteriori posent les fondations d'un catalogue pleinement interconnecté. L'ambition pour les étapes futures du projet est de déployer un système d'alignement entièrement automatisé et étendu vers d'autres thésaurus de référence ainsi que vers des ontologies complexes, afin de catégoriser encore plus finement les jeux de données et de renforcer leur interopérabilité sémantique.

Modèles utilisés et exécution locale

Pour travailler efficacement sur des corpus scientifiques contenant des titres et résumés rédigés en français et en anglais, le choix des modèles doit capturer les nuances translingues et la terminologie hyperspécialisée de la littérature scientifique.

Dans une démarche d'éco-conception, de souveraineté et d'indépendance, le catalogue s'appuie exclusivement sur des modèles ouverts (open-weights) et dimensionnés au plus juste besoin. De plus, nous nous appuyons sur l'initiative ILAAS pour l'exécution locale et mutualisée des LLM, des embeddings et des cross-encoders.

Cette infrastructure permet d’exécuter de manière optimale et opérationnelles les modèles suivants :

• BGE-M3, utilisé pour la génération d'embeddings sémantiques et pour les tâches de cross-encoding.
• Mistral-Small et Mistral-Medium,  mobilisés pour les besoins d'analyse, de désagrégation et de validation (LLM juge) en back-office.

Consommation énergétique et impact environnemental 

Conformément aux bonnes pratiques d'éco-conception de services numériques, l'empreinte énergétique des traitements IA du catalogue fait l'objet d'un suivi strict :

• Les calculs d’embeddings sur les métadonnées moissonnées, ainsi que les alignements sont exécutés une seule fois en back-office et sont stockés dans une base MongoDB.
• Sur le front-office, la génération des embeddings et l'analyse par cross-encoder sur le top 1000 s'exécutent en une fraction de seconde par requête utilisateur. Ces calculs sont réalisés sur une infrastructure machine très modeste et ne consomment que quelques watts.
• L'usage des LLM est banni de la navigation temps réel. Il intervient uniquement en amont, lors des phases de préparation de l'information et d'analyse de la qualité de la curation en tâche de fond.