Quanto mais eu penso sobre segurança de IA, mais eu volto a uma pergunta
O que acontece quando o sistema que deveria autorizar ações de IA... não consegue?
No começo, eu achei que a resposta era óbvia.
Se a camada de autorização cair, a IA não deveria conseguir fazer nada.
Isso parece a escolha mais segura.
Afinal, se um sistema não consegue confirmar que uma ação é permitida, ele não deve adivinhar. Principalmente nas finanças, a incerteza não deve se transformar em permissão.
Mas quanto mais eu pensava sobre isso, menos confiante eu ficava.
E se um cofre realmente precisar de atenção enquanto o serviço de autorização estiver indisponível?
Você mantém tudo trancado e espera que o problema se resolva sozinho?
Ou você dá a alguém uma forma de intervir?
Foi isso que achei interessante ao ler sobre o Newton's VaultKit.
Em vez de permitir uma substituição instantânea, ele usa um caminho de emergência com atraso. Uma ação excepcional ainda pode acontecer, mas não imediatamente. Ela precisa esperar, e essa decisão é visível na cadeia (on-chain).
Eu realmente gosto dessa ideia.
Uma passagem imediata por cima tornaria a camada de políticas algo opcional. Se sempre existe uma forma rápida de contornar as regras, então as regras não têm tanto peso.
Mas remover totalmente o acesso de emergência também não parece prático.
Sistemas reais quebram.
As redes passam por falhas.
Os serviços ficam indisponíveis.
Às vezes, esperar que tudo volte ao normal simplesmente não é uma opção.
Então, uma rota de emergência com atraso parece um meio-termo razoável.
Mas eu não acho que o período de espera seja a parte mais interessante.
O que realmente me chamou a atenção é que a fonte da confiança muda.
Em condições normais, uma ação privilegiada é avaliada em relação a políticas predefinidas. Os operadores a aprovam, as verificações necessárias acontecem e só então a ação é autorizada a avançar.
Durante uma emergência, isso já não é o que está protegendo o sistema.
Em vez disso, você está confiando na autoridade do proprietário, no período de espera e no fato de que todo mundo consegue ver o que aconteceu na cadeia (on-chain).
Essa é uma outra forma de segurança.
Não necessariamente é mais fraco.
Isso é construído com premissas diferentes.
E eu acho que essa é uma distinção importante.
Transparência é valiosa, mas transparência não é a mesma coisa que autorização.
Ver que um caminho de emergência foi usado não significa automaticamente que a ação recebeu o mesmo nível de verificação que teria durante a operação normal.
Aí vem a questão do timing.
Quanto tempo o atraso de emergência deveria ser de fato?
Se for tempo demais curto, o caminho de emergência começa a parecer um atalho.
Se for tempo demais, pode desacelerar exatamente a recuperação para a qual ele foi projetado.
Eu não acho que exista uma resposta perfeita.
Todo protocolo precisa decidir onde quer se posicionar entre segurança e flexibilidade.
Para mim, a maior conclusão não foi que Newton tem um mecanismo de emergência.
Foi perceber que os mecanismos de emergência revelam onde realmente mora a camada final de confiança.
É fácil falar sobre segurança quando cada componente está funcionando exatamente como deveria.
A pergunta mais difícil é o que acontece quando essas premissas deixam de ser verdade.
Quem toma a decisão final?
Que proteções ainda permanecem?
E no fim, o que os usuários estão sendo solicitados a confiar?
Acho que essas perguntas merecem tanta atenção quanto o desempenho da IA ou a automação em si.
Porque a força real de um sistema de segurança não é medida por como ele se comporta quando tudo está funcionando perfeitamente.
Ela é medida por como ele se comporta quando algo não está funcionando.
