Advanced RAG and Evaluation Specialist

Analyse des modes d’échec en RAG : contexte manquant, erroné, périmé ou contradictoire. Ce module explique précisément ces défaillances, comment les détecter et les diagnostiquer pour améliorer la robustesse des systèmes fondés sur la récupération et la génération d’informations.

Présente les catégories d’erreurs liées au contexte — absent, inapproprié, périmé, contradictoire — et leurs conséquences sur les réponses générées.

Explique les indicateurs de défaillance exploitables pour diagnostiquer l’origine (récupération vs génération) et prioriser les corrections.

Donne une approche structurée pour documenter et reproduire les cas d’échec afin d’itérer sur les composants RAG.

Patrons avancés de recherche pour RAG : réécriture et décomposition de requêtes, HyDE, multi-query/index, reranking et compression contextuelle. Le module décrit ces techniques et leur usage pour améliorer la pertinence et la couverture des documents récupérés.

Présente la réécriture de requête, la décomposition en sous-requêtes et HyDE comme méthodes pour générer de meilleurs passages de recherche.

Explique l’usage de requêtes multiples et d’index séparés pour couvrir différents sous-domaines ou types de données.

Décrit le reranking et la compression contextuelle pour réduire le bruit et prioriser preuves utiles lors de la génération.

Pipelines d’évaluation pour RAG : génération de jeux synthétiques, métriques de récupération (recall, precision, MRR, nDCG) et de génération (faithfulness, helpfulness, correctness), plus calibration et biais des LLMs-juges. Approche pratique pour mesurer et comparer.

Explique comment concevoir jeux de données synthétiques ciblés pour tester scénarios de RAG et faciliter des diagnostics reproductibles.

Définit les métriques de récupération — recall, precision, MRR, nDCG — et leur interprétation pour évaluer la couverture et le classement.

Présente les métriques de génération axées sur la fidélité et l’utilité, et examine l’utilisation d’un LLM comme évaluateur, avec ses limites de calibration et biais.

Amélioration continue des systèmes RAG : tests de régression, boucles de feedback humain, suivi d’expérimentations et critères de mise en production, ainsi que rapports vers parties prenantes produit et métier.

Détaille la conception de tests de régression pour surveiller l’impact des changements sur la qualité RAG et éviter détériorations imprévues.

Présente les architectures de boucles de feedback humain et workflows d’annotation pour collecter signal de qualité et prioriser corrections.

Explique le suivi d’expérimentations, l’établissement de gates de release et la manière de structurer des rapports clairs pour les parties prenantes produit et métier.