GenAI en production : la méthode open source du Crédit Mutuel Arkéa décryptée

Un chatbot qui répond correctement en démo, tu peux le monter en une semaine. Le mettre en production dans une banque, avec des vrais clients et l'AI Act qui te regarde, c'est un autre métier. Le Crédit Mutuel Arkéa a choisi de le faire en open source. Et ils ont publié leurs briques.

Pour une entreprise de la région qui galère à sortir ses prototypes GenAI du laboratoire, c'est un cas d'école. On décrypte ce qu'ils ont fait, pourquoi, et ce que tu peux en tirer.

Industrialiser une appli GenAI, ça veut dire quoi exactement

Attention au piège classique. Un POC, c'est une démonstration qui marche dans des conditions contrôlées. L'industrialisation, c'est une application fiable, sécurisée, maintenable et supervisée, capable d'encaisser des volumes réels en continu.

Les exigences n'ont rien à voir. Un chatbot de démo tolère les approximations. Une application client soumise à la conformité bancaire et bientôt à l'AI Act, non. Confondre les deux, c'est se planter au moment le plus coûteux : quand tu déploies.

Chez Arkéa, la démarche est portée par le Data Office, créé en 2022 au sein du pôle Innovation et Opérations. Ce pôle, c'est 6 directions et 1 000 collaborateurs, basé au Relecq-Kerhuon près de Brest. Autrement dit, une structure dédiée, pas une équipe bricolée à côté.

Deux briques open source au cœur du dispositif

La stratégie d'industrialisation de l'IA générative chez Arkéa repose sur deux outils complémentaires. TOCK pour l'orchestration conversationnelle. QaLLam pour l'ingestion des données non structurées. L'un gère la conversation, l'autre prépare la matière première.

TOCK : l'orchestrateur qui t'évite de te verrouiller

TOCK, pour The Open Conversation Kit, est un projet open source initié par la SNCF. Arkéa l'utilise notamment pour son chatbot « Tybot », déployé sur les espaces clients. L'intérêt majeur pour une équipe technique : TOCK n'enferme pas dans un fournisseur de modèle.

Concrètement, TOCK offre une compatibilité avec l'API standard type OpenAI. Tu peux donc changer de LLM sans réécrire toute ta couche applicative. Modèle propriétaire aujourd'hui, modèle souverain ou auto-hébergé demain, la mécanique reste la même. C'est la meilleure assurance contre le verrouillage fournisseur, ce piège où tu deviens dépendant d'un acteur unique et de sa grille tarifaire.

Autre signal de maturité : le projet dépasse les frontières, avec des déploiements en Espagne. Tu ne t'appuies pas sur un outil confidentiel.

QaLLam : la qualité de l'ingestion avant tout

C'est là que se joue la réussite d'un projet RAG. La façon dont tu découpes et indexes tes documents détermine la pertinence de tout le reste. Arkéa a bossé ce point finement.

Le groupe adopte des approches inspirées du Dense X-Retrieval pour le découpage, le fameux « chunking ». L'idée : éviter le découpage récursif classique, celui qui coupe mécaniquement tous les 500 caractères et fait perdre le sens. Ce raffinement sert de rempart contre les hallucinations lors de la génération.

Et QaLLam ne sert pas qu'au chatbot. Son usage est généralisé à toutes les applications d'IA générative du groupe qui traitent de la donnée non structurée en masse. Si le sujet du RAG te parle, on l'a détaillé dans notre guide sur faire répondre une IA sur vos propres documents et dans notre article sur comment limiter les hallucinations.

Le cas Tybot : de la quarantaine d'expérimentations au client final

Arkéa n'a pas déboulé avec une idée géniale du jour au lendemain. Les équipes ont concentré leurs travaux sur une quarantaine d'expérimentations : chatbot en support des collaborateurs sur base documentaire, rédaction de synthèses, collecte de données extra-financières à partir de rapports.

En septembre 2024, le groupe a lancé un chatbot pour ses clients. Déployer sur les espaces clients d'une banque, ça impose des contraintes lourdes : conformité, traçabilité, contrôle des réponses. Rien à voir avec un assistant interne où une erreur reste sans conséquence externe.

Conformité, souveraineté, sobriété : les vraies motivations

Le choix de l'open source n'est pas qu'une affaire de tuyauterie technique. C'est stratégique.

D'abord la conformité. Chez Arkéa, le modèle a été conçu par le Data Office en collaboration avec le service conformité, dès la conception. Pas en fin de parcours. C'est la différence entre anticiper une contrainte et se prendre un mur. Le groupe a d'ailleurs engagé des démarches autour de la certification « IA de confiance » pour anticiper l'AI Act. Si tu ne sais pas où tu en es sur ce texte, notre calendrier d'application de l'AI Act fait le point échéance par échéance.

Ensuite la souveraineté. En publiant ses modèles en open source, Arkéa met la technologie à disposition d'autres entreprises qui veulent utiliser l'IA en toute sécurité sur leurs propres corpus documentaires. Pour un groupe devenu société à mission, c'est un positionnement assumé. Le sujet t'intéresse ? On a écrit sur héberger son IA en France, concrètement.

Enfin la sobriété. Dès octobre 2023, Arkéa publiait en open source un modèle en français basé sur 7 milliards de paramètres, un chiffre volontairement modeste pour limiter la consommation d'énergie liée à l'entraînement. La démarche s'inscrit dans l'innovation ouverte, la transparence sur les données et la sobriété énergétique.

Les cinq erreurs à ne pas reproduire

Le vrai intérêt de ce cas, ce sont les pièges qu'il permet d'éviter. Voici ce que tu devrais garder en tête avant de lancer ton chantier GenAI.

• Négliger l'ingestion des données. Le découpage mécanique récursif fait perdre le sens et alimente les hallucinations. Investir dans la qualité du chunking est prioritaire, avant même de choisir ton modèle.
• Se verrouiller sur un fournisseur. La compatibilité API type OpenAI de TOCK permet de changer de modèle sans tout réécrire. Garde cette liberté.
• Confondre POC et industrialisation. Une démo n'a pas les mêmes exigences qu'une application soumise à la conformité et à l'AI Act. Ne budgète pas l'une en pensant à l'autre.
• Repartir de zéro. S'appuyer sur des briques open source matures évite de réinventer l'orchestration conversationnelle. TOCK existe, il est éprouvé, il tourne à l'international.
• Traiter la conformité en fin de parcours. Chez Arkéa, le service conformité est associé dès la conception. Fais pareil, sinon tu paieras la facture au pire moment.

Ce que les entreprises de la région peuvent en tirer

Bonne nouvelle : les briques sont accessibles. TOCK et QaLLam étant open source, une PME ou une ETI d'Auvergne-Rhône-Alpes peut monter une chaîne GenAI sans licence propriétaire lourde, et l'adapter à ses propres corpus documentaires.

Ça ne veut pas dire que c'est gratuit ni simple. Il te faut des compétences pour intégrer, héberger et superviser. Mais tu pars d'une base solide plutôt que d'une page blanche. Pour une entreprise industrielle de la vallée du Rhône, un cabinet de conseil lyonnais ou une collectivité qui veut exploiter ses archives documentaires, la logique reste transposable : soigner l'ingestion, garder la main sur le modèle, embarquer la conformité tôt.

Avant de te lancer, pose le cadre. Cadre ton projet, définis tes cas d'usage, mesure ce que tu attends. Notre article sur cadrer un projet IA en quatre étapes te donne la méthode, et celui sur fine-tuning ou RAG t'aidera à choisir la bonne approche technique. Le cas Arkéa prouve une chose simple : industrialiser la GenAI, c'est d'abord une discipline d'ingénierie et de conformité, pas une course au modèle le plus gros.