Session

10/10/2024 : 15h45 - 17h30 | Espace immersion G10 | Benjamin Dauvissat, Vincent Brehin

Au-delà de la hype autour de ChatGPT, comment construire un moteur de recherche conversationnelle (aka “chatbot”) basé sur des données et documents qui doivent rester privés ? La solution est le RAG (Retrieval Augmented Generation). C’est le moteur de recherche qui va fournir un contexte vérifiable sur lequel se basera la génération des réponses du chatbot.

Elasticsearch, bien connu pour ses capacités de recherche par mots-clés a depuis plusieurs années intégré les “dense vectors” et la recherche sémantique, permettant une recherche et un scoring hybrides combinant ces deux approches. En parallèle, l’utilisation des LLM (Large Language Models) s’est démocratisée avec des orchestrateurs comme LangChain4J et des LLM accessibles et faciles à déployer avec Ollama.

Dans ce hands-on lab, après une introduction des principes de base, nous vous proposons de construire un chatbot sur un jeu de données d’entreprise et discuter avec lui ! Nous utiliserons Elasticsearch, Quarkus, LangChain4J et Ollama.

Prérequis à la participation à cet atelier. Installer Ollama :

• Soit en temps que service : https://ollama.com/download
• Soit dans un conteneur Docker : https://github.com/ollama/ollama/blob/main/docs/docker.md

Ensuite, lancer la commande ollama pull gemma:2b

Workshop
Data & AI