Deepfake: identidade de mulher indiana é roubada para conteúdo erótico de IA
Em apenas alguns dias, a sensação indiana do Instagram, Babydoll Archi, dobrou seu número de seguidores para 1,4 milhão, graças a alguns momentos virais nas redes sociais.
Um deles era um vídeo que a mostrava de sári vermelho, dançando sedutoramente ao som de Dame Un Grr, uma música romena. E uma foto postada na plataforma a mostrava posando com a estrela americana de filmes adultos Kendra Lust.
De repente, todos queriam saber sobre ela — e o nome Babydoll Archi virou trending topic nas buscas do Google e gerou inúmeros memes e páginas de fãs. Mas um problema estava prestes a surgir: não havia nenhuma mulher de verdade por trás da sensação online.
A conta do Instagram era falsa, embora o rosto usado tivesse uma semelhança incrível com uma mulher real - uma dona de casa da cidade de Dibrugarh, em Assam, a quem chamaremos de Sanchi.
A verdade veio à tona depois que seu irmão registrou uma queixa na polícia. Pratim Bora, ex-namorado de Sanchi, foi preso.
O policial sênior Sizal Agarwal, que lidera a investigação, disse à BBC que Sanchi e Bora tiveram um desentendimento e que a semelhança com a IA que ele criou era para se vingar dela.
Bora, um engenheiro mecânico e entusiasta autodidata de inteligência artificial (IA), usou fotos privadas de Sanchi para criar um perfil falso, disse a Sra. Agarwal.
Bora está preso e ainda não fez nenhuma declaração. A BBC entrou em contato com sua família e atualizará a matéria assim que eles se pronunciarem.
O Babydoll Archi foi criado em 2020 e os primeiros uploads foram feitos em maio de 2021. As fotos iniciais eram fotos reais dela que foram transformadas, disse a Sra. Agarwal.
Com o passar do tempo, Bora usou ferramentas como ChatGPT e Dzine para criar uma versão com IA. Ele então preencheu o perfil com fotos e vídeos deepfake.
A conta começou a ganhar curtidas no ano passado, mas começou a ganhar força a partir de abril deste ano, ela acrescentou.
A curta queixa de dois parágrafos à polícia apresentada pela família de Sanchi na noite de 11 de julho veio com impressões de algumas fotos e vídeos como prova.
A Sra. Agarwal disse que não nomeou ninguém porque não tinha ideia de quem poderia estar por trás disso.
Babydoll Archi não era um nome desconhecido para a polícia. A Sra. Agarwal afirma que eles também viram reportagens e comentários na mídia especulando que ela era gerada por IA, mas não houve nenhuma sugestão de que fosse baseada em uma pessoa real.
Após receber a denúncia, a polícia escreveu ao Instagram solicitando os dados do criador da conta.
Assim que recebemos informações do Instagram, perguntamos a Sanchi se ela conhecia Pratim Bora. Após a confirmação, rastreamos o endereço dele no distrito vizinho de Tinsukia. O prendemos na noite de 12 de julho.
A Sra. Agarwal disse que a polícia "apreendeu seu laptop, celulares, discos rígidos e seus documentos bancários, já que ele havia monetizado a conta".
"A conta tinha 3.000 assinaturas no Linktree e acreditamos que ele ganhou 1 milhão de rúpias com isso. Acreditamos que ele ganhou 300.000 rúpias em apenas cinco dias antes de sua prisão", acrescentou.
A Sra. Agarwal diz que Sanchi está "extremamente perturbada, mas agora ela e sua família estão recebendo aconselhamento e estão melhorando".
Realmente não há como evitar que algo assim aconteça, "mas se tivéssemos agido antes, poderíamos ter evitado que ganhasse tanta força", disse a Sra. Agarwal.
"Mas Sanchi não tinha ideia, porque não tinha presença nas redes sociais. A família dela também foi bloqueada dessa conta. Eles só tomaram conhecimento quando a informação viralizou", acrescentou.
O Meta não respondeu aos questionamentos da BBC sobre o caso, mas geralmente não permite a publicação de nudez ou conteúdo sexual. E no mês passado, a CBS informou que removeu uma série de anúncios que promoviam ferramentas de IA usadas para criar deepfakes sexualmente explícitos usando imagens de pessoas reais.
A conta do Instagram de Babydoll Archi, que continha 282 postagens, não está mais disponível ao público — embora as redes sociais estejam repletas de fotos e vídeos dela, e uma conta do Instagram parece ter todos eles. A BBC perguntou ao Meta o que eles planejam fazer a respeito.
Meghna Bal, especialista em IA e advogada, diz que o que aconteceu com Sanchi "é horrível, mas quase impossível de prevenir".
Ela pode ir ao tribunal e buscar o direito de ser esquecida, e um tribunal pode ordenar que as reportagens da imprensa que a citaram sejam retiradas, mas é difícil apagar todos os vestígios da internet.
O que aconteceu com Sanchi, ela diz, é o que sempre acontece com as mulheres, cujas fotos e vídeos circulam como vingança.
"Agora é muito mais fácil fazer isso por causa da IA, mas esses incidentes ainda não são tão comuns quanto esperamos — ou podem ser subnotificados devido ao estigma, ou as pessoas visadas podem nem saber, como no caso em questão", diz a Sra. Bal. E as pessoas que assistiram não tiveram incentivo para denunciar nas redes sociais ou no portal de crimes cibernéticos, acrescenta ela.
Na denúncia contra o Sr. Bora, a polícia invocou trechos da lei que tratam de assédio sexual, distribuição de material obsceno, difamação, falsificação para prejudicar a reputação, fraude por personificação e crimes cibernéticos. Se considerado culpado, o Sr. Bora pode pegar até 10 anos de prisão.
O caso, que também gerou indignação nas redes sociais nos últimos dias, fez com que alguns buscassem leis mais duras para lidar com esses casos.
A Sra. Bal acredita que há leis suficientes para cuidar desses casos, mas é preciso analisar se há espaço para novas leis para lidar com empresas de IA generativa.
"Mas também temos que lembrar que deepfakes não são necessariamente ruins e as leis precisam ser cuidadosamente elaboradas porque podem ser usadas como armas para restringir a liberdade de expressão."
BBC
