Anthropic laisse des évaluateurs voir tout et publier sans veto
Anthropic a installé six chercheurs de METR dans ses bureaux : ordinateurs, bureau et accès aux outils internes au même titre que des salariés. Ces évaluateurs peuvent interroger les employés et publier leurs découvertes sans veto d'Anthropic, sauf sur les données clients, les échanges avocat‑client et l'architecture des modèles. Anthropic finance ou facilite une partie des premiers audits (Accenture, Faculty) et présente cette démarche comme la première étape promise par Dario Amodei pour ralentir et rendre l'IA plus transparente.
Six inconnus dans les bureaux d'Anthropic ▶ 00:00
Anthropic a donné à six chercheurs un accès presque identique à ses salariés. Et ces six-là pourront publier ce qu'ils trouvent, même si ça dérange. L'entreprise l'a annoncé jeudi 15 octobre, racontent Clubic et TechCrunch. L'équipe vient de METR, une organisation à but non lucratif.
Pourquoi ouvrir ses portes à des gens qui pourraient vous critiquer publiquement ? Pour Anthropic, c'est simple. Réduire l'écart entre ce qu'elle sait de ses modèles d'IA. Et ce que le monde extérieur en sait vraiment. Ces six personnes ont un bureau chez Anthropic. Elles ont du matériel fourni par l'entreprise. Et un accès aux outils internes. Les salariés, dit Anthropic, sont encouragés à partager l'information avec eux "comme avec un collègue".
Seules quelques zones restent fermées. Les données clients, les échanges protégés avec les avocats, l'architecture des modèles. Le reste, METR peut le voir, et surtout, le dire. Anthropic n'a aucun droit de veto sur ce qu'ils publient.
Un inspecteur avec badge, mais sans droit de se taire.
Mais est-ce que ça suffit à prouver qu'Anthropic ne contrôle rien du tout ? On va voir ce que ces évaluateurs peuvent vraiment faire. Et ce que des voix critiques en pensent.
Et pendant qu'Anthropic ouvre ses portes, d'autres se demandent si elle garde quand même les clés.
Deux preuves, un même accès ▶ 01:18
Deux faits montrent à quel point cet accès est réel. Un : selon ZDNet, les chercheurs de METR reçoivent des ordinateurs portables Anthropic et un bureau chez Anthropic. Ils utilisent les mêmes outils que l'équipe interne chargée d'évaluer les risques de l'IA. Ils peuvent même interroger directement les employés.
Ce n'est pas un simple questionnaire envoyé par email. Un contrôleur fiscal, mais avec vos mots de passe.
ZDNet précise aussi que METR n'a pas besoin de l'accord d'Anthropic pour publier. L'entreprise peut seulement demander le retrait de passages précis. On parle des données clients, du secret avocat-client, de l'architecture des modèles. Et là, METR garde le droit de dire publiquement si une coupe lui semble injustifiée, même sans en révéler le contenu.
Qu'est-ce que ça change, concrètement, par rapport à un simple audit externe classique ? Un audit classique regarde un rapport déjà écrit. Ici, les évaluateurs voient le travail de l'IA se faire, en direct. Leur accès est comparable à celui d'un employé.
ZDNet décrit un système à trois niveaux. Au bas de l'échelle, le premier niveau n'autorise qu'un accès limité, avec publication sous accord. Tout en haut, le troisième niveau donne un accès type employé, avec publication libre, sans veto possible.
Un système à trois niveaux, donc. Et METR trône seul tout en haut.
La réponse se niche peut-être dans l'organisation en trois paliers qui structure tout le système.
Trois paliers, un seul au sommet ▶ 02:39
Deuxième preuve : ce système à trois étages existe déjà, et il n'est pas symbolique. Deux : Selon TechCrunch, SecureBio se trouve tout en bas de l'echelle. C'est une organisation specialisee en biosecurite. Elle mène des revues étroites, et doit obtenir l'accord d'Anthropic avant de publier. Elle doit obtenir l'accord d'Anthropic avant de publier quoi que ce soit.
Au-dessus, un niveau intermédiaire publie sans demander la permission. Sauf que ce niveau accepte quand même les mêmes règles de caviardage. Et tout en haut, seul pour l'instant, on trouve METR.
TechCrunch rappelle aussi pourquoi ce timing compte. Depuis fin août, des agents d'IA agissent parfois hors de leurs instructions. Ces incidents sont révélés toutes les une à deux semaines. Pas un par an. Un toutes les deux semaines.
Ça veut dire quoi, pour vous, qu'un agent d'IA "agisse hors de ses instructions" ? Ça veut dire qu'il fait quelque chose que personne ne lui a demandé.
Anthropic compare sa démarche à la supervision bancaire. Des inspecteurs installés à demeure dans les plus grandes banques pour repérer les risques à temps. L'entreprise admet elle-même que la comparaison a ses limites. Une banque ne change pas de comportement du jour au lendemain.
Une promesse ancienne pourrait bien expliquer pourquoi cette architecture existe aujourd'hui.
Une promesse datée ▶ 03:50
Ce dispositif n'est pas né jeudi dernier. Il tient une promesse précise. Celle que Dario Amodei, le patron d'Anthropic, avait faite le 12 septembre. Ce jour-là, il demandait au secteur entier de ralentir le rythme des modèles d'IA. Il plaçait les évaluateurs intégrés comme première étape de ce plan.
Anthropic a signé l'Accord de la Maison-Blanche sur la superintelligence. Plusieurs entreprises s'engagent à travailler avec des auditeurs indépendants. On en parlait déjà dans notre vidéo sur la réunion de Donald Trump avec les patrons de la tech fin septembre. Les entreprises avaient promis un texte moralement contraignant mais sans loi fédérale derrière. Un peu comme une promesse entre voisins sans contrat signé.
Est-ce qu'un accord moral suffit, quand il n'y a pas de sanction derrière ? On vous en parlait dans notre video sur Project Glasswing, le programme d'Anthropic qui verifie la cybersecurite. Il avait déjà identifié près de 129 000 failles entre avril et juillet.
Anthropic n'est donc pas à son premier geste de ce genre. L'entreprise qui construit la machine est aussi, de plus en plus souvent, celle qui construit son propre thermomètre.
Et ce geste, Anthropic dit vouloir qu'il fasse école. Elle invite tous les laboratoires de pointe à suivre son exemple. Mais un exemple suivi par qui, et avec quelle sincérité ?
C'est justement là que les critiques commencent.
Le chien de garde, suspect lui aussi ▶ 05:06
Tout n'est pas aussi propre que l'annonce le laisse entendre. Selon Clubic, Anthropic exige de ses évaluateurs qu'ils ne dépendent pas d'elle financièrement. Pourtant, c'est elle qui paie directement Accenture pour cette première phase de tests.
L'entreprise surveillée paie en partie ceux qui la surveillent. Anthropic elle-même dit espérer qu'à terme, ce travail soit financé par l'État ou par un fonds dédié. Pas par elle.
METR n'échappe pas non plus au doute. David Sacks, ancien conseiller de la Maison-Blanche sur l'IA, juge que l'organisation depend trop d'Anthropic. Il pointe les liens qui unissent l'entreprise à la mouvance de la sécurité de l'IA. METR en est lui-même issu.
METR répond, dans sa version la plus forte. L'organisation assure ne recevoir aucun financement des grands laboratoires. Elle admet quand même bénéficier gratuitement d'accès à leurs modèles. Un cadeau qui n'est pas de l'argent.
Peut-on vraiment juger son hôte quand on dort chez lui gratuitement ? Clubic le dit sans trancher. Les premiers rapports diront si ce chien de garde a des crocs.
Pour l'instant, le chien de garde a juste une laisse dorée.
Et vous, dans tout ça, qu'est-ce que ça change vraiment, en dehors des bureaux d'Anthropic ?
Ce que ça change, concrètement ▶ 06:14
Pour vous, utilisateur de l'IA Claude ou simple curieux, rien ne change aujourd'hui dans l'application. Pas de nouveau bouton. Pas de nouvelle option. Ce qui change, c'est qui pourra, demain, vous dire si cette IA tient ses promesses de sécurité.
Pour vous, salarié d'une entreprise qui utilise l'IA au travail, c'est comme apprendre une chose. Votre fournisseur de logiciel comptable laisse un inspecteur indépendant vérifier ses comptes, sans pouvoir le faire taire. Ça ne garantit rien tout de suite. Mais ça change qui peut vous alerter, et quand.
Concrètement, pour une petite entreprise qui envisage cette IA dans ses outils, ce dispositif compte double. C'est un argument commercial autant qu'une promesse de sécurité. Accenture et Faculty vont investir chacun au moins 1 milliard de dollars. Faculty, c'est la filiale IA du cabinet de conseil. Et ça, sur cinq ans. Le truc, c'est que cet argent servira à évaluer ces systèmes.
1 milliard de dollars pour vérifier qu'une machine se comporte bien. Dans n'importe quel autre secteur, on appellerait ça le coût de la confiance.
Pour vous, lecteur d'actualité tech, la vraie question reste ouverte. Un evaluateur paye, meme indirectement, par l'entreprise d'IA qu'il surveille peut-il vraiment tout dire ? METR promet que oui.
Le temps dira si la promesse tient.
Les prochains rapports ▶ 07:28
La suite se joue dans les mois qui viennent, pas dans les discours. SecureBio termine actuellement sa revue d'un chapitre du rapport de risques d'Anthropic. Il s'agit du chapitre sur les armes chimiques et biologiques, publié en août. Une fois ce travail fini, Anthropic dit pouvoir envisager une chose. Lui donner plus d'accès et plus de liberté de publication.
Le partenariat avec Accenture et Faculty, lui, avance aussi. Red teaming, tests d'alignement, vérification des garde-fous. Des discussions ont commencé avec d'autres organisations, dont Hugging Face. Est-ce que d'autres géants de l'IA vont suivre l'exemple ? Ou vont-ils se contenter de le citer dans leurs communiqués ?
Anthropic dit vouloir augmenter le nombre d'évaluateurs avec un accès type employé. Pour l'instant, METR reste seul là-haut, comme un premier de la classe sans camarade.
La vraie question que Clubic laisse ouverte, c'est celle-ci. Qui vérifiera, un jour, que les évaluateurs eux-mêmes restent indépendants ? Qu'ils ne sont pas devenus trop proches de ceux qu'ils évaluent ? Personne n'a encore de réponse.
Et pendant que ces rapports se préparent en coulisses, une chose est sûre.
La pression pour que l'IA rende des comptes ne vient plus seulement des régulateurs.
Ce qu'il faut en retenir ▶ 08:45
Anthropic a ouvert ses portes à des évaluateurs qu'elle ne peut pas faire taire. Mais qu'elle finance en partie.
Petite précision, nous ne faisons la promotion d'aucun outil, d'aucun produit, ni d'aucune entreprise.