NEOPOLIS · DES COMPÉTENCES POUR VOTRE ENTREPRISE
Open-Source LLMs and Fine-Tuning Engineer
Développez les compétences de votre équipe avec « Open-Source LLMs and Fine-Tuning Engineer ». Spécialisation avancée sur modèles open‑source : sélection et adaptation de modèles, préparation de données, méthodes PEFT/LoRA/QLoRA/TR L, fine‑tuning et évaluation pour déploiement.
Parlons des besoins de votre équipe ↗
DE LA FORMATION À L’APPLICATION
Pourquoi envisager ce parcours pour votre entreprise ?
Reliez le prototype IA aux contraintes de production. Une équipe doit pouvoir évaluer la pertinence des réponses, intégrer les données utiles et suivre le fonctionnement de la solution avant d’élargir son usage.
Cadrer une première application utile
Prenez « Open-Source LLMs and Fine-Tuning Engineer » comme point de départ d’un échange avec l’équipe concernée. Sélectionnez une tâche, décrivez le processus actuel et convenez d’une méthode de vérification avant d’utiliser des données métier réelles.
Un premier sujet à discuter : « Open-Source Model Ecosystem ». Appuyez-vous sur le programme ci-dessous pour vérifier son adéquation avec votre projet.
Pistes de cadrage proposées par Neopolis ; elles n’ajoutent pas de résultats garantis ni de livrables au programme Akademy.
Ce que couvre le programme Akademy
Cartographie de l’écosystème open‑source : familles de modèles, caractéristiques (taille, mémoire, latence) et choix selon cas d’usage.
Couvre la constitution et la gestion de jeux de données : nettoyage, étiquetage, splits, métriques d’évaluation et pipelines d’expérimentation.
Décrit les techniques de fine‑tuning et adaptation : PEFT, LoRA/QLoRA, stratégies de réglage et outils pour entraîner avec efficacité les modèles open‑source.
Traite de l’emballage et du déploiement : conversions, optimisations d’inférence, monitoring post‑déploiement et évaluation continue des modèles en production.
Formation gratuite pour tous les candidats admis. L’accès au parcours reste soumis aux règles d’admission de Neopolis Akademy.
Formation assistée par Achraf Khelil.
Temps de contenu : 1 heure
Explorer le programme
01Open-Source Model Ecosystem
Exploration de l’écosystème de modèles open-source : familles de modèles, licences, cas d’usage, Hub et model cards, pipelines Transformers et choix entre API, modèle local ou fine-tuning pour déployer des LLMs.
Cartographie des familles de modèles open-source, contraintes de licences et cas d’usage adaptés.
Présentation des hubs de modèles et des model cards : comment lire métadonnées et datasets associés.
Principes des pipelines Transformers et du rôle des tokenizers dans les performances et coûts.
Critères pour décider entre usage d’API, hébergement local ou fine-tuning selon besoins techniques et ressources.
Voir sur Akademy ↗02Datasets and Evaluation
Conception et évaluation de datasets pour le fine-tuning : formatage pour instruction tuning, stratégies de split train/validation/test, évaluation baseline et contrôles contre biais, fuite de données et qualité des données.
Méthodes pour concevoir et formater des jeux de données destinés à l’instruction tuning, avec exemples de structure attendue.
Stratégies de partition train/validation/test et impacts sur l’évaluation et la généralisation.
Évaluation baseline pour mesurer performances avant fine-tuning et établir références comparatives.
Contrôles qualité : détection de biais, prévention des fuites de données et bonnes pratiques pour assurer robustesse.
Voir sur Akademy ↗03Fine-Tuning Techniques
Comparaison des approches de fine-tuning pour modèles open‑source, expliquant différences entre fine‑tuning complet et PEFT, puis LoRA/QLoRA et usage du TRL SFTTrainer. Aborde aussi réglages d’hyperparamètres et principaux modes de défaillance à surveiller.
Présentation claire des différences entre fine‑tuning complet et méthodes PEFT, avec implications pratiques pour modèles open‑source.
Approfondissement de LoRA et QLoRA : principes, implémentation et scénarios d’usage pour optimiser paramètres.
Exposé du workflow TRL SFTTrainer appliqué à la formation supervisée et points d’attention opérationnels.
Analyse des hyperparamètres clés, de leurs effets sur l’entraînement et des modes de défaillance fréquents à diagnostiquer.
Voir sur Akademy ↗04Packaging and Deployment
Emballage et mise en production de modèles fine‑tuned : sauvegarde et fusion d’adapters, rédaction de fiches modèle et documentation de datasets, modes de servation et gestion coûts/gouvernance sur le cycle de vie.
Procédure de sauvegarde et fusion d’adapters pour combiner adaptations sans toucher au backbone, avec implications pratiques pour déploiement.
Réalisation et contenu attendu d’une fiche modèle et d’une documentation de jeu de données pour garantir traçabilité et reproductibilité.
Principes et options pour servir des modèles fine‑tuned en production, en tenant compte des adaptations appliquées.
Aspects coûts, gouvernance et gestion du cycle de vie : garder la maîtrise des versions, de la conformité et des risques opérationnels.
Voir sur Akademy ↗Questions pratiques
Où s’inscrire ?
L’inscription et l’accès à « Open-Source LLMs and Fine-Tuning Engineer » se font sur Neopolis Akademy, une sous-marque de Neopolis Development. Les conditions d’admission sont précisées sur Akademy.
Cette formation est-elle gratuite ?
Akademy indique que cette formation est gratuite pour les candidats admis. L’accès reste soumis à ses règles d’admission. Un accompagnement distinct de votre entreprise est à discuter avec Neopolis.
Programme publié par Neopolis Akademy, une sous-marque de Neopolis Development. Consulter le programme source
