Cohere, expliqué : ce que l'entreprise d'IA canadienne fait vraiment avec vos données

La question qui a fait traîner notre évaluation n'était pas de savoir si les modèles de Cohere étaient bons. Ils le sont. De l'avis général, même plus que bons pour les travaux d'entreprise axés sur la recherche d'information. Ce qui a bloqué les choses, c'est de savoir qui signe l'annexe de traitement des données, et sous le papier de quelle entité.

Pour une entreprise qui se présente comme le fleuron de l'IA canadienne, une partie surprenante de la contractualisation réelle passe par des structures qu'il a fallu trois appels distincts à notre équipe juridique pour démêler.

Je dirige l'évaluation de conformité des outils d'IA dans une organisation de taille moyenne qui traite beaucoup de données clients réglementées. Évaluer des plateformes d'IA canadiennes est devenu une partie récurrente de mon travail au cours de la dernière année. Cohere revient dans presque toutes ces conversations — c'est le nom le plus visible en IA canadienne, et les équipes d'approvisionnement aiment pouvoir dire qu'elles ont choisi un outil canadien plutôt que de se rabattre par défaut sur un géant américain du nuage. Voici ce qu'on a trouvé une fois passé le discours de vente.

Ce que Cohere est vraiment

Cohere Inc. est une entreprise d'IA basée à Toronto, fondée en 2019 par Aidan Gomez, Ivan Zhang et Nick Frosst. Gomez vient de l'équipe Google Brain qui a rédigé l'article original sur les transformeurs. L'entreprise développe de grands modèles de langage — la famille Command est celle que les acheteurs d'entreprise voient le plus souvent — et vend l'accès par API, par des fiches sur des places de marché infonuagiques, et par des contrats d'entreprise directs. Elle a levé beaucoup de capital au fil de plusieurs rondes, y compris auprès de fonds non canadiens, ce qui compte un peu pour la question de souveraineté et pas tellement pour le reste.

C'est, selon toute définition normale, une entreprise canadienne. Siège social à Toronto. Fondateurs canadiens. Constituée au Canada. Ça, ce n'est pas contesté.

Où les données aboutissent vraiment

C'est là que ça s'est compliqué. L'offre d'entreprise de Cohere peut être déployée via les grands fournisseurs infonuagiques, dont AWS et Azure, et le déploiement réel d'un client peut finir acheminé par une infrastructure qui n'est pas du tout canadienne, selon la région et le palier contractuel négociés. Notre réviseure en sécurité a estimé qu'« entreprise canadienne » et « résidence des données au Canada » sont deux affirmations distinctes, et que le matériel public de Cohere laisse parfois le lecteur les confondre.

On a demandé directement à l'équipe des ventes de Cohere, par écrit, où tournerait l'inférence pour notre cas d'usage précis et quelle juridiction encadrerait une demande d'assignation visant nos données. La réponse a été : ça dépend de la configuration du déploiement. Un déploiement entièrement résident au Canada était possible, mais ça exigeait un palier contractuel d'entreprise précis, pas les conditions API standards. C'est une réponse honnête. Ce n'est toutefois pas la réponse qu'une affirmation marketing d'une ligne laisse croire.

La LPRPDE n'interdit pas carrément les flux de données transfrontaliers. Elle exige que les organisations demeurent responsables des renseignements personnels même quand un tiers les traite à l'étranger, et que des mesures de protection raisonnables accompagnent les données. La Loi 25 du Québec est plus stricte : l'article 17 exige une évaluation de facteurs comme la sensibilité des données et le cadre juridique de la juridiction de destination avant certains transferts hors province. Aucune des deux lois ne dit de ne pas utiliser Cohere. Les deux exigent toutefois qu'on puisse dire, précisément, où le traitement a lieu — et pour un modèle de déploiement multi-nuage flexible, cette réponse peut varier selon le contrat signé par le client.

C'est la clause sur laquelle notre conseiller juridique revenait sans cesse.

Pas parce que Cohere faisait quelque chose de mal, mais parce que « ça dépend de votre contrat » est difficile à inscrire dans une évaluation des facteurs relatifs à la vie privée censée tenir la route pendant les trois prochaines années.

Une objection à laquelle on devait répondre à l'interne avant d'aller plus loin : est-ce que tout ça compte vraiment si les données en question sont peu sensibles? Pour une partie de nos cas d'usage — rédaction interne, résumé de dépôts publics —, la réponse honnête était non, et on l'a écrit tel quel dans le mémo d'évaluation plutôt que de prétendre que chaque charge de travail méritait le même niveau de scrutin. La question du palier de déploiement n'a mérité les heures qu'on lui a consacrées que parce qu'une part significative de ce qu'on voulait faire passer par l'outil était identifiable aux clients.

La question du CLOUD Act, et ce qui s'est finalement révélé sans importance

Comme les déploiements d'entreprise de Cohere peuvent tourner sur une infrastructure AWS ou Azure, on a dû poser la suite logique : est-ce que l'hébergement via la région canadienne d'un géant américain du nuage expose les données au CLOUD Act américain, même si les serveurs physiques se trouvent au Canada? L'avis de notre conseiller juridique — et je précise que c'est une lecture légale, pas quelque chose que je peux vérifier moi-même — était qu'un fournisseur infonuagique constitué aux États-Unis exploitant un centre de données canadien peut, dans certaines circonstances, être contraint de produire des données sous juridiction américaine, peu importe où les serveurs se trouvent physiquement. C'est le point du CLOUD Act sur lequel notre conseiller n'a pas bougé d'un pouce. C'est la raison pour laquelle « les serveurs sont au Canada » n'a pas clos le débat comme je m'y attendais au départ.

Ce qui s'est finalement révélé sans importance, au bout du compte, ce sont les bancs d'essai de Cohere.

On a passé un après-midi à comparer Command R+ à quelques alternatives sur la précision de recherche d'information et la qualité des résumés, et les écarts étaient assez marginaux pour que personne dans l'équipe d'évaluation n'y revienne. La décision n'allait jamais se jouer sur la qualité du modèle. Elle allait se jouer sur le libellé des contrats, et à peu près personne ne vous le dit au départ — je ne m'y attendais certainement pas quand j'ai fixé le premier appel.

L'autre chose qui s'est révélée sans importance, ce qui m'a surprise davantage, ce sont les ententes de niveau de service sur la disponibilité. Chaque présentation de fournisseur commence par son pourcentage, et on les a dûment comparées pendant une vingtaine de minutes avant de réaliser qu'aucun de nous ne pouvait nommer un scénario où un demi-point d'écart changerait ce qu'on signait. Ce dont on a vraiment débattu par la suite, c'est la divulgation des sous-traitants — qui d'autre touche aux données avant qu'elles nous reviennent, et si cette liste peut être modifiée sans préavis.

Ce qu'on a demandé à chaque fournisseur

On a posé les mêmes six questions à chaque fournisseur sur notre liste courte, Cohere y compris :

• Où tourne physiquement l'inférence, par défaut et selon notre palier contractuel précis?
• Les données des clients servent-elles à l'entraînement des modèles, et peut-on exclure ça par contrat?
• Quelle est la structure corporative de l'entreprise, et une société mère ou un investisseur se trouve-t-il sous juridiction américaine?
• Qu'arrive-t-il à nos données à la fin du contrat?
• Quels sous-traitants sont impliqués, et où se trouvent-ils?
• Pouvez-vous nommer les cadres réglementaires précis que votre architecture a été conçue pour respecter, et nous montrer comment?

Cohere a répondu raisonnablement à la plupart de ces questions, même si la liste des sous-traitants a demandé deux courriels de suivi pour l'obtenir en entier. La question sur les données d'entraînement avait une réponse claire : les clients d'entreprise peuvent choisir de retirer leurs données de l'amélioration des modèles, ce qui correspondait à la documentation publique.

La question de la résiliation, c'est celle sur laquelle j'insisterais davantage si je refaisais cette évaluation. On a demandé ce qu'il advient de nos données à la fin du contrat et on a reçu une réponse qui semblait raisonnable sur les délais de suppression, mais on ne l'a jamais demandé par écrit comme obligation contractuelle de suppression avec un nombre de jours précis — seulement comme une assurance verbale des ventes. C'est la faille que je comblerais en premier la prochaine fois, avant la liste des sous-traitants, parce qu'une promesse de suppression vague est pire qu'un honnête « ça dépend » sur la région d'hébergement.

Où Augure se situe

On a mis Augure sur la même liste courte en partie parce que l'entreprise répond à la question de juridiction en une phrase plutôt que par un organigramme de paliers contractuels. Entreprise canadienne, aucune société mère américaine, aucun investisseur américain, inférence sur une infrastructure canadienne avec des partenaires européens vérifiés pour certains paliers de modèles, jamais acheminée vers des fournisseurs américains pour le contenu client. Cette affirmation se limite précisément à l'inférence de l'IA et aux conversations clients — le traitement des paiements et l'envoi de courriels touchent encore des systèmes américains, et la politique de confidentialité d'Augure le dit elle-même.

C'était tout de même plus facile à faire approuver par notre conseiller juridique que la réponse de Cohere, dépendante du déploiement, parce qu'il n'y avait qu'une seule configuration à évaluer plutôt que plusieurs. On n'était pas entièrement certains, au départ, que cette simplicité tiendrait une fois qu'on aurait posé des questions plus pointues. Elle a tenu, en grande partie.

La tarification était aussi tout simplement plus claire. Le forfait d'équipe d'Augure coûte 80 $ CA par mois par poste, avec documents illimités et agents de recherche approfondie, contre une soumission d'entreprise de Cohere qui exigeait un appel des ventes et revenait sous forme d'un chiffre personnalisé qu'on ne pouvait pas partager davantage. Je ne pense pas que ça rende Cohere pire. Ça a rendu notre évaluation plus rapide, et la rapidité est en soi une forme de réponse quand on a un échéancier à respecter pour un mémo destiné au conseil d'administration.

On n'a migré l'ensemble de notre organisation vers aucune des deux plateformes ce trimestre-là. Les cycles budgétaires se sont mis en travers, ce qui arrive plus souvent qu'aucun article de comparaison de fournisseurs ne l'admet. Mais l'exercice a clarifié une chose que j'irais me dire à moi-même au début : posez des questions sur les paliers contractuels avant de poser des questions sur la qualité du modèle, parce que c'est là que se trouve la vraie différence.

Si vous faites la même évaluation, augureai.ca affiche directement la politique de confidentialité et le tableau des sous-traitants. Ça nous a épargné au moins un des courriels de suivi qu'on a dû envoyer à Cohere.