Pourquoi il vous faut un modèle de maturité avant de vous lancer dans l’IAG ?

Sur Hugging face, la plateforme d’échange sur les modèle d’apprentissage en open source, il existe 48 000 Large Language Models (LLM)  et autant de manières de l’utiliser. Faut-il pour autant prendre le plus populaire ? Ou le plus téléchargé ? Utilisons l’analogie suivante : vous êtes agriculteur, utilisez-vous une Ferrari pour labourer les champs ? Ou bien : vous êtes un architecte data, utilisez-vous un tracteur pour aller au travail ? Non. Pour l’IAG c’est pareil. Savoir/pouvoir identifier ses besoins est crucial. Et pour cela nous vous proposons un modèle de maturité.

Fondements des LLM : Comprendre avant d’appliquer

On ne le dira jamais assez : il n’y a rien de magique dans l’IA Générative. Les LLMs sont des programmes basés sur des entrainements statistiques qui, face à une phrase vont proposer le/les mots suivants les plus probables dans ce contexte. D’un certain point de vue, on est au niveau du « café du commerce » où un individu répéterait qu’il ou elle a entendu et mémorisé d’un message à la radio le matin même.

Il est intéressant de constater que la capacité des LLMs à « raisonner » est apparue en augmentant considérablement l’apprentissage c’est à dire en fait la « mémoire » de celui-ci. En soi, c’est remarquable. Cependant, cela ne fournit pas nécessairement les réponses attendues dans le contexte particulier d’un projet ou d’une entreprise. On peut dès lors distinguer différents moyens d’interagir avec les LLMs depuis l’utilisation la plus brute de cette base de connaissance jusqu’à un niveau utilisant d’avantage la capacité de raisonnement.

Ceci correspond à différents niveaux d’utilisation, de maturité.

Niveau 1 : « L’art du Prompt Engineering

Le premier niveau correspond à une utilisation basique, directe des LLMs. On est au niveau de la question générique. C’est le fameux « prompt engineering » qui est l’art de poser des bonnes questions à la machine. Il est à présent établi que suivant la manière dont les questions seront posées la qualité des réponses ne sera pas la même. De manière générale, la réponse dépendra du corpus d’entrainement et de la spécialisation du LLM comme pour de la génération de code. La demande peut alors se définir comme :

• « Répond à cette question à partir de ce que tu as appris lors de l’entrainement ».

Cette solution est bien évidemment la plus simple mais fortement tributaire de l’organisme à l’origine du LLM.

Niveau 2 : Au-delà des bases avec le RAG

Le second niveau est celui d’une solution pour laquelle le prompt sera enrichi d’information. C’est le fameux RAG (Retrieval Augmented Generation). Dans la pratique, cela revient à dire à la machine :

• « Répond à cette question en t’appuyant sur ce que tu as appris lors de l’entrainement ET sur les documents que je te donne ».

Beaucoup de Chatbot s’appuient sur cette technique. La recherche des documents pertinents étant basée sur des bases vectorielles qui permettent d’identifier les extraits de textes proches sémantiquement de la question.

Cette méthode suppose la vectorisation préalable de la base de connaissance, c’est-à-dire de la représentation mathématique des textes ainsi que des questions. Une mesure de la distance (mathématique) permettra de trouver le document apportant le plus d’éléments pertinents pour la réponse.

Une variante de cet enrichissement est le fine tuning. S’il est bien peu d’organisation capables d’aligner des ressources comme celles de Meta ou bien encore d’OpenAI, des techniques « low cost » existent cependant. Elles consistent, comme pour tout réseau de neurones, à figer les poids des couches basses et de travailler uniquement sur les couches supérieures (finales) et ce, souvent, en réduisant la précision mathématique. En quelque sorte, il s’agit là, comme pour un stagiaire, d’apprendre des notions propres à l’entreprise « au-dessus » de connaissances universitaires.

En baissant la précision de calcul, on multipliera le nombre d’opérations possibles sur un processeur donné. Les gains en vitesse de calcul sont considérables (souvent d’un facteur 10 à 20) et permettront « d’enseigner » au LLM les notions principales de votre organisation.

Niveau 3 : Intégration dynamique et recherche d’information

Le troisième niveau est celui où le LLM va acquérir un niveau supplémentaire de compétence. Ici, la question type pourra être :

• « Répond à cette question en t’appuyant sur ce que tu as appris lors de l’entrainement ET va chercher l’information ».

La recherche d’information s’appuiera sur des « agents » (pour faire simple des API) pour lesquelles on aura décrit la manière d’interroger. On pourra dès lors connecter le LLM à différentes sources telles que bases de données, ou encore des capteurs dans le cadre d’un projet de type IoT. Ceci confèrera une dimension dynamique, temps réel aux traitements par opposition à une connaissance figée.
On s’appuiera typiquement sur des frameworks de type LangChain ou LlamaIndex pour orchestrer les différentes recherches d’information.

Niveau 4 : La connexion de concepts pour des insights approfondis

Enfin le quatrième niveau est sans doute le plus évolué. L’idée ici est d’utiliser pleinement la capacité de « compréhension » du LLM et plus précisément la capacité à extraire des concepts et à suivre un fil directeur, l’expression anglaise la plus proche étant « connecting the dots ». Un exemple d’application est celui du RSE où il peut être important de connaitre ses fournisseurs de rang n afin de savoir s’ils sont liés à des pratiques éthiques douteuses. Un autre exemple est celui de l’évaluation d’un risque et de manière générale toute recherche d’information nécessitant de « rebondir » une information à la suivante. La question type ici étant alors :

• « Répond à cette question en t’appuyant sur ce que tu as appris lors de l’entrainement ET en cherchant récursivement des informations en suivant tel et tel axe ».

Ici, l’aspect dynamique est encore renforcé. Il ne s’agit pas simplement des données mais du processus complet qui évoluera au fur et à mesure des informations trouvées. Il est important à ce stade de préciser les axes de recherche. En effet, la combinatoire peut rapidement devenir explosive sans produire de résultat probant. Il est préférable d’orienter le LLM vers ce qui va créer de la valeur et ce, suivant les besoins de chaque domaine.

Ainsi, pour une analyse de risque RSE on pourra demander au LLM de « fouiller » suivant des axes écologiques ou éthiques. Dans le cadre d’une société industrielle on pourra privilégier les liens entre sous-traitants et l’origine des composants (cas d’une sensibilité à ITAR par exemple).

En conclusion

Ainsi, au-delà du buzz médiatique provoqué par les LLMs, la question de l’utilisation de l’IA générative aboutit finalement comme souvent à la maitrise de l’information et de son utilisation. Différentes options sont donc disponibles pour enrichir la base de connaissance des LLMs et ainsi prendre en compte les spécificités de l’entreprise.

Patrick Chable – Practice Manager JEMS