Open-Source LLMs and Fine-Tuning Engineer

Exploration de l’écosystème de modèles open-source : familles de modèles, licences, cas d’usage, Hub et model cards, pipelines Transformers et choix entre API, modèle local ou fine-tuning pour déployer des LLMs.

Cartographie des familles de modèles open-source, contraintes de licences et cas d’usage adaptés.

Présentation des hubs de modèles et des model cards : comment lire métadonnées et datasets associés.

Principes des pipelines Transformers et du rôle des tokenizers dans les performances et coûts.

Critères pour décider entre usage d’API, hébergement local ou fine-tuning selon besoins techniques et ressources.

Conception et évaluation de datasets pour le fine-tuning : formatage pour instruction tuning, stratégies de split train/validation/test, évaluation baseline et contrôles contre biais, fuite de données et qualité des données.

Méthodes pour concevoir et formater des jeux de données destinés à l’instruction tuning, avec exemples de structure attendue.

Stratégies de partition train/validation/test et impacts sur l’évaluation et la généralisation.

Évaluation baseline pour mesurer performances avant fine-tuning et établir références comparatives.

Contrôles qualité : détection de biais, prévention des fuites de données et bonnes pratiques pour assurer robustesse.

Comparaison des approches de fine-tuning pour modèles open‑source, expliquant différences entre fine‑tuning complet et PEFT, puis LoRA/QLoRA et usage du TRL SFTTrainer. Aborde aussi réglages d’hyperparamètres et principaux modes de défaillance à surveiller.

Présentation claire des différences entre fine‑tuning complet et méthodes PEFT, avec implications pratiques pour modèles open‑source.

Approfondissement de LoRA et QLoRA : principes, implémentation et scénarios d’usage pour optimiser paramètres.

Exposé du workflow TRL SFTTrainer appliqué à la formation supervisée et points d’attention opérationnels.

Analyse des hyperparamètres clés, de leurs effets sur l’entraînement et des modes de défaillance fréquents à diagnostiquer.

Emballage et mise en production de modèles fine‑tuned : sauvegarde et fusion d’adapters, rédaction de fiches modèle et documentation de datasets, modes de servation et gestion coûts/gouvernance sur le cycle de vie.

Procédure de sauvegarde et fusion d’adapters pour combiner adaptations sans toucher au backbone, avec implications pratiques pour déploiement.

Réalisation et contenu attendu d’une fiche modèle et d’une documentation de jeu de données pour garantir traçabilité et reproductibilité.

Principes et options pour servir des modèles fine‑tuned en production, en tenant compte des adaptations appliquées.

Aspects coûts, gouvernance et gestion du cycle de vie : garder la maîtrise des versions, de la conformité et des risques opérationnels.