Inférence canadienne.
Performance compétitive sur le travail canadien.
Nous avons évalué 7 modèles sur 4 suites de travail canadiennes : réponses ancrées dans des documents, consignes en français et extraction structurée. Ossington 5 a obtenu 97,3 en moyenne sur les suites publiées, contre 97,8 pour notre référence Claude Sonnet 5.5. Les deux modèles Augure ont aussi égalé le 60/60 de la référence sur notre évaluation bilingue de réponses à partir de documents canadiens.
Évaluations écrites et exécutées par Augure. La suite bilingue utilise des documents fournis et des scénarios fictifs fondés sur des règles canadiennes; 6 modèles sur 7 ont obtenu 60/60.
Rosedale One · Intelligence générale. Inférence canadienne.
Performance mesurée solide en programmation, en mathématiques, en raisonnement scientifique et en connaissances. Dans nos évaluations d'octobre, Rosedale One a obtenu 98,2 sur HumanEval (meilleur score ex æquo de notre comparaison) et 86,7 sur AIME 2025, tous les échantillons publiés étant servis depuis le Canada.
98,2
Code · HumanEval
meilleur score ex æquo (2 modèles) · n = 164 · IC 94,8–99,4
86,7
Maths · AIME 2025
3e sur 7 · n = 30 · IC 70,3–94,7
83,0
Raisonnement · GPQA Diamond
5e sur 7 · n = 792 · IC 78,3–87,6
86,0
Connaissances · MMLU-Pro
5e sur 7 · n = 500 · IC 82,7–88,8
6,00 $ par million de jetons de sortie, 58 % sous le tarif affiché de Claude Sonnet 5.5; entrée 2,50 $, 12 % sous. L'économie réelle dépend de la charge de travail. · source datée
Ossington 5 · Le travail canadien de tous les jours, à un prix plus bas.
Ossington 5 a obtenu 97,3 en moyenne sur les 4 suites de travail publiées, contre 97,8 pour la référence Claude Sonnet 5.5, dont 60/60 sur les réponses ancrées dans des documents canadiens.
98,3
Réponses ancrées · sources québécoises
2e sur 7 · n = 60 · IC 91,1–99,7
100,0
Réponses ancrées · droit et services publics canadiens
meilleur score ex æquo (6 modèles) · n = 60 · IC 94,0–100,0
95,0
Consignes en français · IFEval-QC
3e sur 7 · n = 60 · IC 86,3–98,3
96,0
Extraction structurée · documents québécois
5e sur 7 · n = 50 · IC 86,5–98,9
3,00 $ par million de jetons de sortie, 79 % sous le tarif affiché de Claude Sonnet 5.5; entrée 1,50 $, 47 % sous. L'économie réelle dépend de la charge de travail. · source datée
Lieu d'inférence : chaque appel Augure des exécutions publiées porte la région de service dans sa réponse (Waterloo ou Toronto, Ontario); la clé d'évaluation est configurée pour échouer plutôt que de quitter le Canada. Les autres modèles sont appelés par l'API publique de leur fournisseur.
Octobre 2026 · 7 modèles · 4 suites de travail · 230 tâchesTélécharger les agrégats (JSON)
Quatre suites écrites et exécutées par Augure, 230 tâches : répondre à partir de documents fournis (en français sur des sources québécoises; en anglais et en français sur des documents de partout au Canada), suivre des consignes en français et extraire des données structurées de documents québécois. Les écarts de quelques points entre des intervalles qui se chevauchent n'établissent pas une supériorité.
AugureAutres modèlesIntervalle de confiance à 95 %Axe commun de 70 à 100
Réponses ancrées · sources québécoises
Rosedale One a obtenu 60/60; Ossington 5 a égalé la référence Claude Sonnet 5.5 à 59/60.
60 tâches · score sur 100 · IC à 95 % · axe de 70 à 100
Voir le tableau de données
| Modèle | Score | Réussies | n | IC à 95 % |
|---|---|---|---|---|
| Rosedale One | 100,0 | 60 | 60 | 94,0 – 100,0 |
| Claude Haiku 5.5 | 98,3 | 59 | 60 | 91,1 – 99,7 |
| Claude Sonnet 5.5 | 98,3 | 59 | 60 | 91,1 – 99,7 |
| Gemini 3.8 Flash | 98,3 | 59 | 60 | 91,1 – 99,7 |
| Mistral Large 4 | 98,3 | 59 | 60 | 91,1 – 99,7 |
| Ossington 5 | 98,3 | 59 | 60 | 91,1 – 99,7 |
| GPT-5.4 mini | 90,0 | 54 | 60 | 79,9 – 95,3 |
Réponses ancrées · droit et services publics canadiens
Les deux modèles Augure ont obtenu 60/60, comme 4 autres modèles.
60 tâches · score sur 100 · IC à 95 % · axe de 70 à 100
Voir le tableau de données
| Modèle | Score | Réussies | n | IC à 95 % |
|---|---|---|---|---|
| Claude Haiku 5.5 | 100,0 | 60 | 60 | 94,0 – 100,0 |
| Claude Sonnet 5.5 | 100,0 | 60 | 60 | 94,0 – 100,0 |
| Gemini 3.8 Flash | 100,0 | 60 | 60 | 94,0 – 100,0 |
| Mistral Large 4 | 100,0 | 60 | 60 | 94,0 – 100,0 |
| Ossington 5 | 100,0 | 60 | 60 | 94,0 – 100,0 |
| Rosedale One | 100,0 | 60 | 60 | 94,0 – 100,0 |
| GPT-5.4 mini | 98,3 | 59 | 60 | 91,1 – 99,7 |
Consignes en français · IFEval-QC
Ossington 5 a égalé la référence Claude Sonnet 5.5 à 57/60; Rosedale One a obtenu 54/60.
60 tâches · score sur 100 · IC à 95 % · axe de 70 à 100
Voir le tableau de données
| Modèle | Score | Réussies | n | IC à 95 % |
|---|---|---|---|---|
| Mistral Large 4 | 100,0 | 60 | 60 | 94,0 – 100,0 |
| Gemini 3.8 Flash | 98,3 | 59 | 60 | 91,1 – 99,7 |
| Claude Sonnet 5.5 | 95,0 | 57 | 60 | 86,3 – 98,3 |
| GPT-5.4 mini | 95,0 | 57 | 60 | 86,3 – 98,3 |
| Ossington 5 | 95,0 | 57 | 60 | 86,3 – 98,3 |
| Claude Haiku 5.5 | 90,0 | 54 | 60 | 79,9 – 95,3 |
| Rosedale One | 90,0 | 54 | 60 | 79,9 – 95,3 |
Extraction structurée · documents québécois
Ossington 5 a obtenu 48/50; Rosedale One a obtenu 46/50, contre 49/50 pour la référence Claude Sonnet 5.5.
50 tâches · score sur 100 · IC à 95 % · axe de 70 à 100
Voir le tableau de données
| Modèle | Score | Réussies | n | IC à 95 % |
|---|---|---|---|---|
| Claude Haiku 5.5 | 98,0 | 49 | 50 | 89,5 – 99,6 |
| Claude Sonnet 5.5 | 98,0 | 49 | 50 | 89,5 – 99,6 |
| Gemini 3.8 Flash | 98,0 | 49 | 50 | 89,5 – 99,6 |
| GPT-5.4 mini | 98,0 | 49 | 50 | 89,5 – 99,6 |
| Ossington 5 | 96,0 | 48 | 50 | 86,5 – 98,9 |
| Mistral Large 4 | 94,0 | 47 | 50 | 83,8 – 97,9 |
| Rosedale One | 92,0 | 46 | 50 | 81,2 – 96,8 |
Score des suites de travail selon le prix affiché des jetons de sortie
Les scores plus élevés et les prix de sortie affichés plus bas se trouvent vers le haut à gauche.
Axe vertical resserré de 90 à 100 : de petits écarts n'établissent pas une supériorité. Moyenne à poids égal des suites de travail publiées. Prix en $ CA par million de jetons.
| Modèle | Score | Entrée ($ CA / M) | Sortie ($ CA / M) |
|---|---|---|---|
| Gemini 3.8 Flash | 98,7 | 1,07 $ | 5,35 $ |
| Mistral Large 4 | 98,1 | 1,94 $ | 5,96 $ |
| Claude Sonnet 5.5Référence | 97,8 | 2,85 $ | 14,26 $ |
| Ossington 5 | 97,3 | 1,50 $ | 3,00 $ |
| Claude Haiku 5.5 | 96,6 | 0,14 $ | 0,71 $ |
| Rosedale One | 95,5 | 2,50 $ | 6,00 $ |
| GPT-5.4 mini | 95,3 | 1,07 $ | 6,42 $ |
Prix affichés des fournisseurs (tarif standard, sans lot ni cache), relevés le 2026-10-14, convertis en $ CA au taux de la Banque du Canada (1,4263). Augure : tarif de l'API développeur. Le prix des jetons n'est pas le coût d'une tâche : raisonnement facturé, reprises et échecs ne sont pas comptés ici.