Contexte
Sélectionné parmi 7 000+ candidatures mondiales pour le Mistral AI Worldwide Hackathon à Londres (28 févr. - 1er mars 2026). L'événement était organisé par Mistral AI et Iterate, avec Weights & Biases, NVIDIA, Amazon Web Services (AWS), ElevenLabs et Hugging Face comme sponsors.
Fine-Tuning Track (sponsorisé par W&B) — 48 heures pour fine-tuner des modèles Mistral open-source et construire une application fonctionnelle.Projet
Ecotopia est une simulation politique interactive où le joueur incarne un maire face à l'effondrement écologique. Les discours en texte libre sont analysés par des modèles spécialisés fine-tunés :
- Extraction d'information supervisée — NER de promesses politiques, catégorisation et détection de contradictions
- Génération conditionnelle de texte — réactions citoyennes contextualisées selon l'état du jeu, les profils et l'historique de confiance
Fine-tuning
4 modèles Mistral fine-tunés via QLoRA (NF4 4-bit, LoRA r=16, alpha=32) sur 690 exemples synthétiques générés avec Amazon Bedrock, en moins de 10 minutes par modèle :
| Tâche | Modèles | Exemples |
|---|
| Extraction de promesses | Ministral 8B, Nemo 12B | 300 (3 niveaux de difficulté) |
| Réactions citoyennes | Ministral 8B, Small 24B | 390 |
Résultats
Nos SLMs 8B fine-tunés surpassent Mistral Large (base) sur toute la pipeline structurée avec une latence 10x inférieure. Mistral Large obtient 0% de JSON valide sur les réactions citoyennes sans fine-tuning.
La spécialisation de petits modèles sur des tâches précises permet de construire des applications temps réel où la latence et la fiabilité du format de sortie sont des contraintes dures.Architecture
- Inférence : Hugging Face Endpoints avec handler custom (4-bit BitsAndBytes)
- Backend : Spring Boot 3.5 + Spring AI
- Frontend : Phaser 3 (TypeScript, pixel art)
- Tracking : Weights & Biases (suivi d'expériences, évaluation, rapport automatisé)
- Données : PostgreSQL + données synthétiques via Amazon Bedrock
