AI Agent Risk Assessment: a practical checklist

AI agent risk assessment starts with what an agent can do, not what its name promises. Identify the data it reads, the tools it can call, the systems it can change and the people who approve actions. Use static evidence first, then test in an isolated environment before production.

Map capabilities

List shell, network, arquivos, credenciais, hooks, MCP servers, dependencies and external actions. Separate read, write, send, delete and decision capabilities. The more an agent can affect outside its workspace, the more control it needs.

Review provenance

Confirm the original source, maintainer, license, version, commit and update history. Avoid treating a mirror, marketplace card or polished description as proof of ownership or safety. Provenance is part of the risk decision.

Check autonomy and aprovação humana

Define whether the agent is manual, assisted or autonomous. Put a aprovação humana before sending messages, changing records, publishing content, spending money or making an irreversible change. Approval after the action is not a proteção.

Test safely

Use an isolated environment, fake or anonymized data, minimal access and a reversible scenario. Record expected output, observed output, errors and retorno à versão anterior. Repeat the test from a clean state before calling the evidence reproducible.

Interpret Trust Score

A Trust Score summarizes declared evidence across utility, security, transparency, maintenance and governance. It does not certify execução real safety. Not-tested is not zero, medium or high risk is not an automatic ban, and Community Tested is not an audit.

Move to governance when needed

When agents reach production, sensitive data, several teams, external systems or material decisions, define identity, policy, observability, cost limits, change control and incident response. Risk assessment is the input to governance, not its replacement.

Como aplicar AI Agent Risk Assessment: a practical checklist em uma decisão real

Comece descrevendo o resultado que precisa existir ao final, quem vai revisar a entrega e qual dado pode entrar. Não parta da ferramenta. Um componente só entra quando reduz um gap observável no fluxo. Registre a hipótese, o ambiente, a versão e um critério simples de sucesso. Isso evita instalar capacidade redundante apenas porque ela está em evidência.

Exemplo operacional

Suponha que uma equipe queira aplicar este tema a um processo recorrente. Primeiro, escolha um caso limitado e reversível. Use dados fictícios ou anonimizados, mantenha qualquer ação externa desabilitada e peça revisão humana do resultado. Depois compare tempo, qualidade, erro e necessidade de retrabalho. Se o ganho for real, documente o método antes de ampliar acesso ou autonomia.

Checklist de origem e instalação

• Confirme autor, repositório original, licença, versão e última atualização.
• Leia o manifesto e a documentação antes de copiar o comando.
• Revise rede, shell, arquivos, credenciais, hooks e dependências.
• Entenda se o componente lê, escreve, envia ou decide.
• Confirme onde existe aprovação humana e quem é o responsável.
• Preserve retorno à versão anterior e a versão anterior antes de atualizar.

Teste mínimo seguro

Instale somente em ambiente controlado, com acesso mínimo e sem credenciais de produção. Execute entradas conhecidas, inclua casos de erro e observe se a saída respeita o escopo. Uma triagem estática pode encontrar padrões, mas não garante comportamento de execução real; por isso o teste precisa combinar evidência da origem com observação prática.

Como documentar a decisão

Guarde nome, source URL, commit ou versão, comando usado, permissões concedidas, resultado do teste e pessoa responsável. Se houver uma stack, gere reveno.lock e CLAUDE.md. O arquivo de versões descreve o que foi escolhido; o CLAUDE.md leva instruções e limites ao ambiente. A política inicial registra gates para revisão, mas deve ser adaptada ao contexto.

Quando não avançar

Pare se a origem não puder ser confirmada, se a licença for incompatível, se o acesso pedido for maior do que o tarefa exige ou se não houver alguém responsável pelo resultado. Também não avance quando o componente sugerir ação irreversível sem confirmação, quando credenciais aparecerem em configuração aberta ou quando a manutenção estiver abandonada e não existir alternativa de retorno à versão anterior.

Como interpretar Trust

Not-tested significa evidência insuficiente e é excluído da nota; nunca vira zero. Community Tested depende de sinal comunitário registrado e não é auditoria. Reveno Verified só aparece depois de revisão real documentada. Medium ou high risk pede contexto e controle, não significa automaticamente “não use”. aprovação humana é proteção, não defeito.

Monitoramento depois do teste

O trabalho não termina quando o primeiro resultado funciona. Inicie acompanhamento, registre a versão aprovada e compare qualquer novo registro coletado antes de atualizar. Mudança de licença, mantenedor, dependência, rede, escrita ou aprovação humana pode alterar a decisão original. Defina uma frequência de revisão compatível com o impacto e remova componentes que perderam responsável ou utilidade.

Perguntas para a revisão humana

• A saída responde ao tarefa sem extrapolar o pedido?
• Existe evidência para fatos e recomendações?
• Uma ação externa é reversível e foi autorizada?
• O dado usado era necessário e permitido?
• O responsável consegue explicar, interromper e refazer o processo?

Se alguma resposta for não ou desconhecida, mantenha a execução assistida e reduza o escopo antes de aumentar autonomia.

Da prova individual para a empresa

Um teste local com dados fictícios pode continuar no Commons. A fronteira muda quando entram dados reais, múltiplas áreas, ações externas, autonomia, produção ou decisão operacional. Nesse ponto, defina responsável, política, logs, mudança, custo e resposta a incidente. A governança deve ser proporcional ao impacto e preservar experimentação reversível.

Recursos relacionados

Descobrir componentes · Analisar origem · Comparar alternativas · Gerar stack · Ler Trust Protocol · Avaliar a fronteira enterprise

Próximo passo operacional

Use esta orientação para analisar uma origem específica, comparar alternativas e montar uma stack com versão, permissões e pontos de aprovação humana documentados. Not-tested é evidência insuficiente, não reprovação.

Analisar origem · Comparar componentes · Montar stack · Governança empresarial