App Store e Google Play liberaram apps com deepfake sexual e violento escondido

Centenas de aplicativos com recursos ocultos de deepfake sexual e violento passaram batido pela revisão da App Store, da Apple, e também pelo Google Play. Uma investigação da revista Wired publicada nesta segunda-feira (2) revelou uma rede com mais de 400 apps e domínios ligados a uma mesma organização chinesa, muitos deles disponíveis há pelo menos um ano nas duas lojas.

Os apps usavam uma tática conhecida como bait-and-switch (isca e troca): na avaliação das lojas, apareciam como serviços inofensivos. Depois de aprovados, um mecanismo ativado por servidor liberava uma interface web escondida, que permitia gerar imagens e vídeos explícitos a partir de fotos enviadas pelos usuários.

Depois que a Wired compartilhou os detalhes com a Apple, a empresa removeu 19 aplicativos da loja.

Como os apps enganavam a revisão da Apple e do Google

Os apps se passavam por serviços comuns. Um deles, o Viefur, fingia ser um aplicativo para vestir animais de estimação em fotos. Outros se apresentavam como tutores de idioma ou treinadores de IA para exercícios físicos.

Por fora, tudo dentro das regras. O problema começava depois da aprovação. Os desenvolvedores trocavam o servidor de onde o app puxava o conteúdo, e aí a máscara caía. Quem baixava o app depois de clicar num anúncio para a funcionalidade de deepfake em plataformas da Meta (Facebook e Instagram) era um dos gatilhos para ativar a interface oculta.

Dezenas de templates de pornografia podiam ser baixados dentro do app. Para gerar o deepfake com a foto enviada pelo usuário, era preciso comprar créditos.

Cenas de violência sexual explícita

A Wired identificou que os apps ofereciam cenas de IA com títulos como “estupro no quarto” e “ameaça com faca”, em que um homem segura uma faca no pescoço de uma mulher. As imagens e vídeos gerados poderiam ser usados para humilhar ou ameaçar vítimas.

A rede operava “à vista de todos”, segundo a reportagem, graças a milhares de anúncios em vídeo publicados no Facebook e no Instagram da Meta. Apesar de Apple, Google e Meta terem políticas claras que proíbem esse tipo de conteúdo de deepfake nocivo, os apps passaram ilesos pelos sistemas de revisão por meses.

A resposta das plataformas

Procurada pela Wired, a Apple afirmou que revisa todos os apps antes da publicação e que, durante a análise, os aplicativos estavam dentro das regras. A empresa disse que, depois da aprovação, os desenvolvedores mudaram o site de onde o app puxa o conteúdo, substituindo o que foi aprovado por material pornográfico, e promoveram os apps com anúncios pornográficos hospedados em plataformas de terceiros.

A Apple removeu 19 apps e informou que reforçou recentemente as medidas de proteção contra esse tipo de abordagem.

A Meta, dona do Facebook e do Instagram, disse que tomou medidas contra mais de 10 mil contas de anúncio ligadas a domínios associados aos apps. O Google também foi contatado pela Wired, mas a reportagem não detalhou as ações da empresa, a Google Play Store também hospedava os mesmos aplicativos.

📲 Essa história ainda tem capítulo pela frente, principalmente sobre a responsabilidade das lojas de aplicativos. Para não perder nenhum desdobramento, entra no Canal do TS no WhatsApp.

Fonte: 9to5Mac