O que aprendemos auditando o Trust Score de 24 componentes de IA
Toda a plataforma prometia Trust Score honesto. Até semana passada, quase todo componente ainda estava not-tested. Isto é o que uma auditoria real, sem inflar nota, encontrou.
Reveno Agents nasceu com um princípio simples: nunca inventar confiança. Um componente sem verificação real fica marcado como "not-tested", nunca com nota inventada para parecer completo. O problema é que, até a semana passada, isso descrevia praticamente o catálogo inteiro: 5 dos 24 componentes tinham algum teste real registrado. Os outros 19 estavam not-tested desde o dia em que o catálogo virou gratuito.
O que uma auditoria real significa aqui
Não inferimos nota de nenhum componente. Para os 19 sem teste anterior, a auditoria foi estrutural: confirmar que LEIA-PRIMEIRO.md e LICENÇA.md existem, que o SKILL.md bate com a pasta declarada e, pela inspeção do código-fonte de cada produto, confirmar ausência real de rede, shell ou cron. Isso permite avaliar segurança, privacidade, documentação, governança e controle humano. Ainda não permite avaliar confiabilidade e utilidade, porque isso exige testar a skill na prática.
O achado mais importante não foi de nota, foi de honestidade
Os 24 componentes do catálogo declaravam permissões vazias, inclusive o único agente com tarefa agendada: o Monitor de Governança de IA, que adiciona uma rotina ao sistema do usuário e acessa a rede. Isso não é um detalhe. É exatamente o tipo de lacuna que o Trust Score precisa mostrar. Corrigimos as permissões declaradas e adicionamos uma seção pública de segurança com o que ele acessa, como revisar antes de instalar e como remover tudo.
Testes dinâmicos reais, não simulados
Para os componentes que ganharam reliability/usefulness = pass, rodamos a skill de verdade com um caso sintético completo e avaliamos contra o próprio checklist que a skill declara para si. Um exemplo real: testamos a skill de revisão de código com um trecho com dois bugs de propósito (SQL injection por interpolação de string, e acesso a uma propriedade que podia ser undefined). A skill achou os dois, classificou como bloqueante, e deu a correção certa para cada um. Isso é prova de utilidade real, não suposição.
"Não testado" é diferente de "ruim". É o estado mais honesto quando ainda não existe verificação. Isso é sempre melhor do que inventar uma nota.
Onde isso deixa o catálogo hoje
24 de 24 componentes com Trust Score real registrado, cada um com o método de verificação explicado publicamente na própria página. 9 avaliações reais publicadas, a partir de testes de verdade, não fabricadas para preencher a página. O trabalho que falta (reliability real dos componentes ainda não testados dinamicamente) fica registrado como pendência aberta, não escondido.