Projects
Fine-TuningMarch 1, 2026

Mistral AI Worldwide Hackathon - London 2026 - Ecotopia

Selected among 7,000+ global applicants. Built an interactive political simulation powered by fine-tuned Mistral SLMs. 4 models fine-tuned via QLoRA in under 10 minutes each — our 8B outperforms Mistral Large on structured output at 10x lower latency.

Context

Selected among 7,000+ global applicants for the Mistral AI Worldwide Hackathon in London (Feb 28 - Mar 1, 2026). Organized by Mistral AI and Iterate, sponsored by Weights & Biases, NVIDIA, Amazon Web Services (AWS), ElevenLabs and Hugging Face. Fine-Tuning Track (sponsored by W&B) — 48 hours to fine-tune open-source Mistral models and build a working application.
Sélectionné parmi 7 000+ candidatures mondiales pour le Mistral AI Worldwide Hackathon à Londres (28 févr. - 1er mars 2026). L'événement était organisé par Mistral AI et Iterate, avec Weights & Biases, NVIDIA, Amazon Web Services (AWS), ElevenLabs et Hugging Face comme sponsors. Fine-Tuning Track (sponsorisé par W&B) — 48 heures pour fine-tuner des modèles Mistral open-source et construire une application fonctionnelle.

Project

Ecotopia is an interactive political simulation where the player is mayor of a city facing ecological collapse. Free-text speeches are analyzed by specialized fine-tuned models:
  • Structured information extraction — Political promise NER, type categorization, contradiction detection
  • Conditional text generation — Contextualized citizen reactions based on game state, citizen profiles, and trust history
Ecotopia est une simulation politique interactive où le joueur incarne un maire face à l'effondrement écologique. Les discours en texte libre sont analysés par des modèles spécialisés fine-tunés :
  • Extraction d'information supervisée — NER de promesses politiques, catégorisation et détection de contradictions
  • Génération conditionnelle de texte — réactions citoyennes contextualisées selon l'état du jeu, les profils et l'historique de confiance

Fine-Tuning

4 Mistral models fine-tuned via QLoRA (NF4 4-bit, LoRA r=16, alpha=32) on 690 synthetic examples generated via Amazon Bedrock, in under 10 minutes per model:
TaskModelsTraining Examples
Promise ExtractionMinistral 8B, Nemo 12B300 (3 difficulty tiers)
Citizen ReactionsMinistral 8B, Small 24B390
4 modèles Mistral fine-tunés via QLoRA (NF4 4-bit, LoRA r=16, alpha=32) sur 690 exemples synthétiques générés avec Amazon Bedrock, en moins de 10 minutes par modèle :
TâcheModèlesExemples
Extraction de promessesMinistral 8B, Nemo 12B300 (3 niveaux de difficulté)
Réactions citoyennesMinistral 8B, Small 24B390

Results

Our 8B fine-tuned SLMs outperform Mistral Large (base) across the entire structured output pipeline at 10x lower latency. Mistral Large scores 0% valid JSON on citizen reactions without fine-tuning. Specializing small models on precise tasks enables real-time applications where latency and output format reliability are hard constraints.
Nos SLMs 8B fine-tunés surpassent Mistral Large (base) sur toute la pipeline structurée avec une latence 10x inférieure. Mistral Large obtient 0% de JSON valide sur les réactions citoyennes sans fine-tuning. La spécialisation de petits modèles sur des tâches précises permet de construire des applications temps réel où la latence et la fiabilité du format de sortie sont des contraintes dures.

Architecture

  • Inference: HuggingFace Endpoints with custom handler (4-bit BitsAndBytes)
  • Backend: Spring Boot 3.5 + Spring AI
  • Frontend: Phaser 3 (TypeScript, pixel art)
  • Tracking: Weights & Biases (experiment tracking, evaluation, automated report)
  • Data: PostgreSQL + synthetic training data via Amazon Bedrock
  • Inférence : Hugging Face Endpoints avec handler custom (4-bit BitsAndBytes)
  • Backend : Spring Boot 3.5 + Spring AI
  • Frontend : Phaser 3 (TypeScript, pixel art)
  • Tracking : Weights & Biases (suivi d'expériences, évaluation, rapport automatisé)
  • Données : PostgreSQL + données synthétiques via Amazon Bedrock