De acordo com o Cointelegraph, a empresa de inteligência artificial (IA) Anthropic desenvolveu um grande modelo de linguagem (LLM) que foi ajustado para julgamentos de valor por sua comunidade de usuários. Este desenvolvimento visa tornar a IA mais democrática e permitir que os utilizadores ditem o alinhamento de valores para os modelos de IA. Em colaboração com a Polis e o Projeto de Inteligência Coletiva, a Anthropic conduziu um experimento chamado “IA Constitucional Coletiva” envolvendo 1.000 usuários de diversos grupos demográficos que responderam a uma série de perguntas por meio de pesquisas.
O desafio deste experimento foi permitir que os usuários da agência determinassem o que é apropriado sem expô-los a resultados inadequados. A Anthropic usa um método chamado “IA Constitucional” para direcionar seus esforços no ajuste dos LLMs para segurança e utilidade. Isto envolve dar ao modelo uma lista de regras que deve cumprir e depois treiná-lo para implementar essas regras ao longo do seu processo, semelhante à forma como uma constituição serve como documento central para a governação em muitas nações.
No experimento de IA Constitucional Coletiva, a Antrópica tentou integrar feedback baseado em grupo na constituição do modelo. Os resultados, de acordo com uma postagem no blog da Anthropic, parecem ter sido um sucesso científico, pois iluminaram outros desafios para atingir o objetivo de permitir que os usuários de um produto LLM determinem seus valores coletivos. Uma das dificuldades que a equipe teve de superar foi criar um novo método para o processo de benchmarking, já que não existe um teste estabelecido para comparar modelos básicos com aqueles ajustados com valores de crowdsourcing. O modelo que implementou dados resultantes do feedback das pesquisas dos usuários superou ligeiramente o modelo básico na área de resultados tendenciosos.