O regulador australiano de segurança online levantou preocupações sobre a plataforma de IA Grok em meio a um aumento acentuado de reclamações envolvendo imagens sexuais geradas por IA sem consentimento.
O Comissário de eSafety disse que os relatórios de abuso baseado em imagens criados com inteligência artificial dobraram desde o final de 2025, refletindo um aumento geral global no uso indevido de ferramentas de IA gerativa. Algumas das reclamações analisadas pelo regulador envolviam crianças, elevando a questão a uma preocupação séria de natureza criminal e de segurança infantil.
De acordo com o Comissário, sistemas de IA capazes de produzir imagens realistas em escala estão sendo cada vez mais explorados para criar conteúdo sexual deepfake sem consentimento. As vítimas frequentemente enfrentam severo sofrimento emocional, danos à reputação e danos psicológicos a longo prazo, enquanto a remoção de tal material pode ser lenta e difícil uma vez que se espalha online.
Grok foi citado como parte do exame mais amplo do regulador sobre plataformas de IA e suas salvaguardas, em vez de ser a única fonte de abuso. O Comissário enfatizou que todos os desenvolvedores de IA e operadores de plataformas têm a responsabilidade de implementar proteções robustas, incluindo uma moderação de conteúdo mais forte, salvaguardas contra uso indevido e processos de remoção rápida.
A Austrália tem algumas das leis de segurança online mais rigorosas do mundo, conferindo ao Comissário de eSafety poderes para emitir avisos de remoção e multas para plataformas que não agirem sobre conteúdo prejudicial. No entanto, a rápida evolução da IA generativa está testando os limites das estruturas regulatórias existentes.
“A velocidade e o realismo das imagens geradas por IA mudaram fundamentalmente a escala do abuso baseado em imagem”, disse o Comissário, alertando que, sem controles preventivos mais fortes, as reclamações provavelmente continuarão aumentando.
O regulador agora está se envolvendo com empresas de IA, forças de segurança e parceiros internacionais para abordar o problema, enquanto incentiva os usuários a relatar conteúdo prejudicial e buscar serviços de apoio quando necessário.
À medida que as ferramentas de IA generativa se tornam mais acessíveis, o caso destaca a crescente pressão sobre as empresas de tecnologia para equilibrar inovação com responsabilidade — e sobre os governos para adaptar as leis de segurança a uma internet impulsionada por IA.
#AIAbuse #Deepfakes #OnlineSafety #ArtificialIntelligence #TechRegulation
