Apple proíbe apps de IA que geram imagens íntimas sem consentimento

Se sua empresa desenvolve ou distribui aplicativos pela App Store, preste atenção: a Apple atualizou suas diretrizes de segurança para proibir de forma mais clara apps que usam inteligência artificial para criar conteúdo pornográfico com imagens não consensuais ou materiais ofensivos. A mudança também fecha brechas para aplicativos que escondem funcionalidades durante o processo de avaliação da loja.

O que muda

A principal novidade é a proibição explícita de aplicativos que utilizam IA para gerar imagens íntimas sem o consentimento das pessoas retratadas. Além disso, a Apple reforçou que aplicativos com recursos ocultos ou não documentados, ou seja, que não foram apresentados integralmente durante a análise da loja, também estão proibidos. Isso vale tanto para apps que já nascem com essas funções escondidas quanto para aqueles que adicionam recursos depois de aprovados.

Outro ponto importante é a exigência sobre moderação de conteúdo gerado por usuários. Aplicativos que hospedam esse tipo de material precisam ter filtros para barrar conteúdos questionáveis, oferecer um canal para denúncias e permitir que contas abusivas sejam bloqueadas. A Apple também deixou claro que espera que os desenvolvedores previnam e removam proativamente conteúdos proibidos, não apenas reajam depois que o problema é identificado.

As regras também reforçam a proibição a aplicativos ligados ao tráfico de pessoas ou à exploração infantil, incluindo qualquer material de abuso sexual infantil. Esse tipo de violação é tratado com rigor máximo pela empresa.

Quem é afetado

A atualização atinge diretamente desenvolvedores de aplicativos que usam inteligência artificial para geração de imagens, vídeos ou outros conteúdos visuais, especialmente os que lidam com fotos de pessoas reais. Também afeta aplicativos que permitem upload de conteúdo por usuários, como redes sociais, fóruns, plataformas de compartilhamento de mídia e serviços de edição de imagem com IA.

Empresas que contratam desenvolvimento de apps ou que mantêm aplicativos próprios na App Store precisam revisar se suas ferramentas de IA ou funcionalidades de upload de conteúdo estão de acordo com essas exigências. O risco não é pequeno: a Apple pode remover o aplicativo da loja e também excluir o desenvolvedor do Programa de Desenvolvedores da Apple, o que impede a publicação de qualquer outro app pela mesma conta.

Como se preparar

Se você tem ou pretende lançar um aplicativo com recursos de inteligência artificial, o primeiro passo é garantir que todas as funcionalidades estejam documentadas e visíveis durante o processo de análise da Apple. Esconder recursos, mesmo que temporariamente, pode resultar em remoção da loja e banimento do programa de desenvolvedores.

Para aplicativos que recebem conteúdo de usuários, é essencial ter mecanismos ativos de filtragem, denúncia e bloqueio de contas, além de agir rapidamente quando notificado sobre alguma violação. A Apple deixou claro que falhas em corrigir problemas após o aviso também configuram infração às regras. Vale lembrar que qualquer mudança feita no aplicativo depois da aprovação, incluindo novos recursos, deve ser compatível com o que foi originalmente avaliado, sob risco de nova penalização.