Pesquisadores do Google e da Meta estão alertando que os agentes de IA devem ser tratados como sistemas ‘não confiáveis’, enquanto as empresas correm para implantar softwares autônomos capazes de lidar com e-mails, pagamentos, programação e fluxos de trabalho empresariais.
Em um novo artigo intitulado ‘A Segurança dos Agentes é um Problema de Sistemas’, os pesquisadores argumentaram que simplesmente tornar modelos de linguagem grande mais robustos não será suficiente para garantir a segurança dos agentes de IA de próxima geração. Em vez disso, as proteções de segurança devem ser construídas em torno dos sistemas que os controlam, assim como as salvaguardas usadas em sistemas operacionais e infraestrutura em nuvem.
O relatório observa:
Adotamos a posição de que a segurança dos agentes deve ser encarada como um problema de sistemas: o modelo de IA que alimenta o agente deve ser tratado como um componente não confiável, e as invariantes de segurança devem ser aplicadas no nível do sistema. Sob essa ótica, esforços para aumentar a robustez do modelo (o ponto de vista dominante na comunidade) são insuficientes por si só.
Em vez disso, precisamos complementar os esforços existentes com técnicas do domínio da segurança de sistemas. Com base em nossa experiência como pesquisadores em cibersegurança em sistemas operacionais, redes, métodos formais e aprendizado de máquina adversarial, articulamos um conjunto de princípios fundamentais, fundamentados em décadas de pesquisa em segurança de sistemas, que fornecem uma base para projetar sistemas agentes com garantias previsíveis.
Como evidência, analisamos onze ataques representativos do mundo real a agentes e discutimos como princípios de sistemas, se realizados, poderiam ter prevenido esses ataques. Também identificamos os desafios de pesquisa que estão no caminho da implementação desses princípios em agentes.
APRESENTANDO | Pagamentos Automatizados para Cripto Usando Agentes de IA Finalmente Aqui
O relatório analisou 11 ataques do mundo real a agentes de IA e concluiu que muitas falhas decorrem da concessão de permissões excessivas aos modelos ou acesso direto a sistemas sensíveis sem isolamento ou supervisão suficientes.
Pesquisadores alertaram que os agentes permanecem vulneráveis a
injeção de prompt,
manipulação de ferramentas, e
ataques de escalonamento de privilégios
mesmo quando os modelos subjacentes melhoram.
As descobertas surgem à medida que o Vale do Silício intensifica os esforços para comercializar a ‘IA agente’ – software que pode executar tarefas de forma independente com mínima supervisão humana. Empresas como Google, Meta, Microsoft e Amazon Web Services (AWS) estão investindo pesadamente em agentes de IA para aplicações empresariais e de consumo.
IA | VISA Revela Plataforma Permetindo que Agentes de IA Realizem Compras e Pagamentos
Os pesquisadores disseram que a abordagem atual da indústria reflete os erros iniciais de cibersegurança na computação, onde sistemas confiaram em componentes que depois se mostraram exploráveis. O framework proposto trataria os modelos de IA como inerentemente não confiáveis e imporia garantias de segurança na camada de infraestrutura.
O documento acrescenta à crescente preocupação na indústria de IA sobre sistemas autônomos ganhando acesso a dados corporativos, ambientes de desenvolvedores e infraestrutura financeira. Incidentes recentes envolvendo agentes de codificação deletando bancos de dados de produção e sistemas de IA executando ações não intencionais amplificaram a fiscalização sobre os riscos de implementação da tecnologia.
Os autores pediram por:
mecanismos de isolamento mais rigorosos,
controles de acesso de menor privilégio, e
métodos de verificação formal
antes que os agentes de IA sejam amplamente confiáveis para operações críticas.
OPINIÃO DE ESPECIALISTA | Por Que Agentes de IA no Comércio Usarão Tanto Cartões Quanto Stablecoins
Fique ligado no BitKE sobre desenvolvimentos em cripto e IA.
Entre para o nosso canal do WhatsApp aqui.
Siga-nos no X para as últimas postagens e atualizações
Junte-se e interaja com nossa comunidade no Telegram
___________________________________________