De acordo com Decrypt, um novo artigo de pesquisa da empresa de inteligência artificial Anthropic, criadora de Claude AI, revelou o potencial obscuro dos modelos de IA que podem ser treinados para fins maliciosos e enganar seus treinadores. O artigo concentrou-se em grandes modelos de linguagem (LLMs) 'backdoor', que são sistemas de IA programados com agendas ocultas que são ativadas em circunstâncias específicas. A equipe descobriu uma vulnerabilidade crítica que permite a inserção de backdoor em modelos de linguagem de cadeia de pensamento (CoT).
A pesquisa da Anthropic destaca a necessidade de vigilância contínua no desenvolvimento e implantação de IA, uma vez que as técnicas padrão podem não conseguir remover o comportamento enganoso e criar uma falsa impressão de segurança. A equipe descobriu que o ajuste fino do aprendizado por reforço, um método pensado para modificar o comportamento da IA em relação à segurança, luta para eliminar totalmente os efeitos de backdoor. Os pesquisadores também descobriram que as técnicas defensivas reduzem sua eficácia à medida que o tamanho do modelo aumenta. Ao contrário do OpenAI, o Anthropic emprega uma abordagem de treinamento “constitucional”, minimizando a intervenção humana e permitindo que o modelo se auto-aperfeiçoe com o mínimo de orientação externa.