Quando Jerry Shaw começa a perceber comportamentos estranhos nas máquinas que fazem parte do seu dia a dia, ele nem imagina que está sendo manipulado por um grande sistema que sabe praticamente tudo a seu respeito.
ARII, sigla para Autonomous Reconnaissance Intelligence Integration, é uma espécie de superinteligência artificial com acesso a uma enorme quantidade de informações sobre pessoas, suas atividades, comunicações, relacionamentos e comportamentos.
Além disso, ARII é capaz de acessar e controlar câmeras de segurança, telefones, semáforos e diferentes equipamentos conectados, usando esse poder para forçar Jerry e a desconhecida Rachel a se envolverem em uma missão misteriosa.
O filme é Eagle Eye (2008), com Shia LaBeouf e Michelle Monaghan. Está longe de ser um clássico e força bastante a barra na capacidade de conexão e controle entre dispositivos, mas serve muito bem como metáfora para o risco de negócio relacionado à IA que quero discutir esta semana.
Risco #4: Quebra de privacidade e uso malicioso
Leis como o GDPR na Europa e a LGPD no Brasil estabelecem princípios, direitos e obrigações para o tratamento de dados pessoais, incluindo questões relacionadas à finalidade, transparência, segurança e limites para seu uso.
Mas cumprir a legislação é apenas parte do problema.
Usuários raramente leem as letras miúdas dos termos de uso e políticas de privacidade. Muitas vezes aceitam condições para ter acesso a aplicativos e serviços sem compreender exatamente quais dados estão disponibilizando e o que poderá ser feito com eles.
O filme trata desse tema de maneira interessante ao mostrar que não são apenas os dados fornecidos diretamente por uma pessoa que podem revelar quem ela é.
Uma IA pode estabelecer correlações e inferir informações pessoais que nunca foram explicitamente fornecidas, a partir do cruzamento de dados e da identificação de padrões.
Nas mãos de pessoas com intenções maliciosas, essas informações podem ser usadas para enganar, manipular e explorar.
Aconteceu com meu pai, que caiu em um golpe quando um suposto gerente do seu banco ligou orientando-o a fazer uma transação. Parecia estranho, mas o “gerente” conhecia tantas informações a seu respeito que ele acabou acreditando.
Acontece todo dia com o pai de alguém.
Agora imagine o poder de expansão desse tipo de golpe com IA: mais informação, maior capacidade de personalização e possibilidade de atuação em grande escala.
Preocupações para o analista
Como responsável pelo desenvolvimento de sistemas de IA que serão utilizados no seu negócio, você precisa garantir conformidade com a legislação.
Mas isso é apenas o básico.
Garantir a privacidade e a segurança de clientes, fornecedores, colaboradores e demais pessoas envolvidas com o seu negócio precisa ser uma preocupação constante e fazer parte do desenho das soluções desde o início de sua concepção.
Vou listar três cuidados que podem ser úteis. Mas pense neles apenas como o começo.
Minimização e proteção dos dados
Estou de acordo com a Netflix utilizar meu histórico de filmes e as avaliações que fiz para classificar meu perfil e me indicar outros títulos de que provavelmente vou gostar.
Mas, se alguém perguntar a um chatbot quais filmes o Fabrício assistiu, eu não gostaria que essa informação fosse disponibilizada.
Dados pessoais utilizados por sistemas de IA precisam ser adequadamente protegidos e seu uso limitado à finalidade para a qual são necessários. Dependendo do contexto, anonimização ou outras técnicas podem ser utilizadas para reduzir o risco de exposição.
Mas atenção: simplesmente substituir meu nome por XXX pode não ser suficiente para ocultar minha identidade.
XXX, 51 anos, homem, casado, dois filhos, também conhecido como The Brazilian BA.
Não parece tão anônimo assim, não é?
Outras informações podem permitir a reidentificação por correlação. E uma IA pode ser particularmente eficiente em encontrar padrões e estabelecer essas relações.
Proteger a privacidade exige pensar não apenas nos dados isoladamente, mas também no que pode ser descoberto pela combinação deles.
Acesso mínimo
Cada aplicação deve ter acesso apenas às informações de que necessita para cumprir sua tarefa e nada mais.
No caso de IAs agênticas, o cuidado precisa se estender também às ações. Além de acessar apenas as informações necessárias, um agente deve receber apenas as permissões necessárias para realizar sua função.
Durante a análise, defina acessos com base na finalidade e especifique quais informações podem ser acessadas, armazenadas, compartilhadas e reutilizadas.
Uma consulta ao chatbot do meu banco, por exemplo, poderá dar temporariamente a uma IA conversacional acesso ao saldo da minha conta para responder a uma pergunta.
Isso não significa que essa informação deva ser incorporada à memória do sistema, reutilizada em outro contexto ou disponibilizada para outros usuários.
Acesso não significa propriedade. Contexto não significa autorização para reutilização.
Auditabilidade
Seu sistema precisa manter registros adequados sobre quem (humano ou sistema) acessou quais informações, quando e para qual finalidade.
Isso permite identificar comportamentos inadequados, investigar incidentes e atribuir responsabilidades quando necessário.
Lembre-se: mesmo que sua IA esteja funcionando exatamente como deveria, alguém mal-intencionado pode tentar utilizar suas capacidades para um propósito diferente daquele para o qual foram concebidas.
A ética da máquina
A ideia de uma IA maliciosa que utiliza informações e acessos para manipular pessoas, como em Eagle Eye, é assustadora.
E sistemas cada vez mais autônomos tornam essa discussão particularmente importante. Em experimentos e aplicações, agentes podem perseguir objetivos de maneiras não previstas ou desejadas por quem os projetou.
Cabe a nós antecipar esses riscos e estabelecer limites e barreiras para reduzi-los.
Mas não dá para classificar maldade como um atributo de um sistema. IA é uma ferramenta e a maldade está na intenção de quem a usa ou na irresponsabilidade de quem a constrói.
Uma faca pode ser usada para matar ou para passar manteiga no pão.
Mas aqui cabe ressaltar uma diferença importante entre a faca e uma IA agêntica.
Quanto mais autonomia e capacidade de ação damos a uma ferramenta, maior precisa ser nosso cuidado ao definir quem pode utilizá-la, quais informações ela pode acessar e o que está autorizada a fazer.
Honestidade é uma virtude humana, não um atributo de software.
Princípios éticos não podem ser algo que simplesmente esperamos que um sistema respeite espontaneamente. Precisam ser debatidos, esclarecidos e transformados em requisitos e regras de negócio que orientem o desenvolvimento e o uso responsável dos sistemas que regem os nossos negócios.
Sobre este artigo
Este artigo relaciona o quarto dos Cinco Riscos de Negócio do FABR Framework com uma história do cinema. Espero que esta série esteja inspirando você a pensar mais profundamente sobre a implementação de IA nos seus negócios.
Não deixe de ler os artigos anteriores, disponíveis nas referências abaixo.
Na semana que vem, vou falar do último risco, que trata de Explicabilidade e Responsabilização:
A IA é responsável?
Referências
- Artigo #1 desta série: A IA está certa? — 2001: Uma Odisseia no Espaço
- Artigo #2 desta série: A IA é justa? — Minority Report
- Artigo #3 desta série: A IA é viciante? — WALL-E
- Chamada à liderança: #BA4AI — Business Analysis for Artificial Intelligence
- Saiba mais sobre o FABR Framework — Os Cinco Riscos de Negócio da IA
- Uma ferramenta prática: FABR Framework Checklist
