QA Engineer : 200 systèmes en production, et il faut qu'ils tiennent
Passé un certain nombre de systèmes en production, la contrainte n'est plus de construire. C'est de garantir que ça tient. C'est ce poste, et il est nouveau. Précision utile : c'est du QA de systèmes IA, pas du test d'interface. Vous testez des sorties non déterministes, pas des boutons.
Ce que vous prenez en main
Vous écrivez une suite d'évaluations, et elle ment
Vous construisez un jeu de test pour l'agent support d'un client. Ça passe à 95%. Deux semaines plus tard, un utilisateur pose une question formulée différemment de tout ce qui figure dans votre jeu de test, et le système répond n'importe quoi. Votre travail : entretenir un jeu de test qui se rapproche du trafic réel, semaine après semaine.
Vous cassez un workflow n8n pour de bonnes raisons
Et vérifiez que rien d'autre ne casse avec lui. Un nœud est modifié pour corriger un bug ; une étape en aval qui dépendait d'un format de sortie précis échoue silencieusement. Vos tests de régression rattrapent ça avant le client.
Vous êtes la dernière porte avant la livraison
Jeu de test métier, cas limites du client, vérification que les sorties sont présentables devant un dirigeant qui va s'en servir pour décider. Vous dites oui ou non à la mise en production.
Vous vérifiez un chiffre que l'entreprise répète partout
« 7 heures par semaine récupérées en moyenne » est un argument commercial central, et une affirmation vérifiable. Vous construisez la méthode pour l'auditer projet par projet, et vous dites quand il ne tient pas pour un cas donné.
Vous surveillez ce qui se dégrade sans prévenir
Qualité qui baisse sur plusieurs semaines sans alerte, coût en tokens qui explose. Vous construisez les signaux qui rendent ces dérives visibles avant le client.
Vous écrivez beaucoup, et pour être compris tout de suite
Rapports de recette, notes de non-conformité, comptes-rendus de dérive : lisibles en trente secondes par quelqu'un qui n'a pas suivi le projet.
Mois 1, vous auditez ce qui existe et vous nous dites où ça casse le plus souvent. Mois 2, vous installez le socle d'évaluation sur un système en production. Mois 3, aucun système ne part chez un client sans passer par votre recette.
Ce qu'on cherche
- Techniques d'évaluation
- Golden datasets, rubriques de scoring, LLM-as-judge calibré contre annotation humaine, tests de régression
- Outils
- Python solide, un framework d'éval (promptfoo, DeepEval ou équivalent), lecture et tests de workflows n8n, CI/CD
- Non-déterminisme
- Raisonne en plages de qualité acceptable, distingue variation normale et vraie régression
- Écrit
- Rapports clairs, lisibles par un non-technicien
- Terrain
- 3 à 8 ans QA, test engineering ou SDET, dont une partie sur des systèmes IA en production, à l'aise pour dire non sous pression
Ce qu'on ne cherche pas
Quelqu'un qui exécute des plans de test écrits par d'autres. Ici, vous écrivez la stratégie.
Où il se distingue des rôles voisins
| Rôle | Ce qu'il fait | Qui porte le résultat |
|---|---|---|
| QA ou testeur manuel généraliste | Scénarios prédéfinis sur du déterministe | La couverture fonctionnelle porte le résultat |
| MLOps ou Platform Engineer | Infra qui fait tourner les modèles | La disponibilité technique porte le résultat |
| Data Scientist ou ML Engineer | Conçoit et entraîne les modèles | La performance du modèle en amont porte le résultat |
| QA Engineer, AI Systems, AI Makers | Construit les évaluations, décide go ou no-go | Vous portez la fiabilité des chiffres publiés |
À distance, dans un fuseau horaire compatible avec Paris et Casablanca (Europe, Maghreb ou proche), aucune obligation de résidence dans l'une des deux villes, avec des temps de présence ponctuels dans nos bureaux.
Ce poste vous correspond ?
Pas de lettre de motivation. Le formulaire prend cinq minutes et commence par montrer ce que vous avez construit.
Postuler pour QA Engineer