WIP – simpliscore : poc/cadrage/archi

[mfo]

https://pad.numerique.gouv.fr/jX1xFwkfSp-r7mDaYla8mw#

Feuille de route POC Simplify

Objectif : valider un pipeline LLM fiable pour la règle Improve Label, puis ouvrir la voie aux règles suivantes.

Réalisé

• Passage du parsing JSON libre (RevisionImproverService) au tool calling (LabelImprover).
  • Pourquoi : sortie typée, schema-driven, plus simple à maintenir.
• Stockage des suggestions dans LLMRuleSuggestion + LLMRuleSuggestionItem.
  • Pourquoi : tracer la version du schéma et les opérations unitaires.
• Activation via Flipper de la règle Improve Label.
  • Pourquoi : montée en charge contrôlée.
• Cron nightly + job async pour générer les suggestions.
  • Pourquoi : maîtriser le coût LLM et rester aligné sur la dernière révision publiée.
• Écran admin Simplify + carte QualiScore basées sur le linter actuel.
  • Pourquoi : exposition des suggestions et point d’entrée utilisateur.
• Checklist héritée à migrer (uppercase, longueur, structure, etc.).

V0 — Pipeline robuste (règle unique Improve Label)

• Isoler la règle dans un ViewComponent + contrôleur routé proprement.
  • Pourquoi : base claire pour les prochaines règles.
• KPI de base.
  • Choisir 1-2 métriques (acceptation, temps traitement).
  • Collecte via requêtes console prod.
• Observabilité pipeline LLM (Langfuse si dispo, sinon logs + alerte).
  • Pourquoi : visibilité immédiate en cas de dérive.
• Bouton admin de relance manuelle.
  • Pourquoi : rerun immédiat sans attendre la nuit.
• Revalidation LLM (remplacer le scoring Ruby).
  • Appeler le tool sur une copie enrichie du brouillon (pas d’écriture DB).

V1 — Extension multi-règles

• Définir les schémas de tool calling pour les autres règles (structure, conditions, etc.).
• Factoriser la vue en ViewComponents par règle.
  • Extraire une base réutilisable.
  • Définir le contrat vue/règle.
• Gérer add/destroy dans le pipeline.
  • Générer les items complets (add/destroy/update).
  • Brancher les nouvelles règles sur le cron + UI.
• Sécuriser ProcedureRevision#apply_changes pour add/destroy.
  • Insertion/suppression sécurisée côté modèle.
• Validation LLM multi-règles post-application.
  • Prompts/outillage de revalidation.
  • Intégration UI + automatisation.
  • Suppression définitive du linter legacy.
• Améliorations UX (résumés, accordéons, badges confiance, gestion suggestions périmées).