Ao voltar para a sua nave, o astronauta Dave Bowman passa uma ordem clara para o sistema que controla todos os equipamentos de bordo. 

– Abra a porta, HAL.

Mas HAL 9000 se nega a cumprir a ordem, alegando que a presença de Dave na espaçonave seria uma ameaça para a missão à qual fora designado.

A cena é do filme “2001: Uma Odisseia no Espaço” (de Stanley Kubrick; 1968) e traz à tona inquietudes e inseguranças que estamos vivenciando hoje. 

Não dá para encarar o filme como uma previsão do futuro. Kubrick errou feio na data e superestimou a velocidade com que avançaria a exploração espacial (provavelmente empolgado pela corrida que levou o primeiro homem à Lua no ano seguinte ao lançamento do filme). Mas o filme serve muito bem como metáfora para discutir riscos e preocupações relacionados ao avanço da inteligência artificial nos dias de hoje.

IA agêntica é o termo atual que usamos para sistemas que são capazes de avaliar um contexto, criar um plano de ação e colocá-lo em prática para cumprir uma missão com autonomia. HAL 9000 era uma espécie de IA agêntica que tomou uma decisão coerente com aquilo que interpretou como sua missão: eliminar os membros humanos da tripulação que poderiam colocá-la em risco.

Nem preciso dizer que Dave não concordou com esse raciocínio. 

Risco #1: Uma IA pode decidir de forma errada

Ainda estamos nos acostumando a lidar com as respostas dos novos sistemas de inteligência artificial que podem produzir resultados não apenas com base em regras determinísticas, mas também a partir do aprendizado de padrões obtidos a partir de grandes volumes de dados. 

Até pouco tempo atrás, se um sistema dizia que eu não podia sacar dinheiro no ATM, eu assumia que isso era uma regra do meu banco: um limite de saques por horário ou saldo insuficiente. Regras que haviam sido deliberadamente inseridas no sistema por programadores.

Neste mês:

• a Netflix me indicou um filme que detestei;
• o Gmail classificou como SPAM a mensagem de um cliente importante;
• o ChatGPT fez uma piada sem graça;
• o Google Fotos criou uma foto minha estilizada em que não me reconheço. 

Esses resultados não foram produzidos necessariamente com regras explícitas e lógicas determinísticas programadas (do tipo IF-THEN-ELSE). São oriundos de sistemas que decidem e agem de uma forma diferente, baseados também em aprendizado sobre padrões obtidos de grande volume de dados.

Quando não há uma regra clara e declarada determinando o resultado esperado, avaliar se as decisões são certas ou erradas se torna mais complicado. Depende de um julgamento baseado em contexto e perspectiva.

Erros e defeitos

Uma calculadora que soma 2 + 2 = 5 está certamente com defeito. O resultado é incompatível com o esperado. 

Mas é mais difícil afirmar que HAL 9000 estava com defeito em 2001. A decisão de não abrir as portas ao astronauta estaria alinhada àquilo que era esperado do sistema para cumprir suas diretrizes e garantir o sucesso da missão?

Se sim, alguém poderia argumentar que a IA funcionou perfeitamente: decidiu em conformidade com o modelo para o qual foi treinada, entregou aquilo que se esperava dela, mesmo que isso produzisse um resultado catastrófico. 

Numa perspectiva mais ampla e humanizada, a avaliação de certo e errado precisa considerar não apenas a saída do processo decisório (output), mas os impactos e consequências que são resultantes dessa decisão (outcomes).

Mesmo os seres humanos muitas vezes tomam decisões erradas cumprindo regras determinísticas sem compreender um contexto mais amplo ou considerar diferentes perspectivas.

Preocupações para os analistas de hoje

Sistemas com base em regras ou padrões

Por mais que o aprendizado de máquina possa ser utilizado para avaliar volumes imensos de informações em segundos e tomar decisões otimizadas com base nos dados disponíveis, quem desenvolve sistemas deve levar em conta o possível impacto dessas decisões na vida das pessoas.

É essencial diferenciar decisões que precisam ser tomadas de forma determinística, com base em regras claras, daquelas em que modelos probabilísticos podem ser adequados. 

Exemplos de aplicação: 

• Determinística: determinar se meu saldo é suficiente para realizar uma transação;
• Probabilística: identificar uma possível situação de fraude e disparar um alerta. 

Modelos híbridos tendem a ocupar cada vez mais espaço nos sistemas atuais, combinando decisões de diferentes tipos em uma mesma funcionalidade para buscar segurança e praticidade para seus usuários. 

Autonomia dos agentes

Mesmo que um agente de IA seja capaz de tomar decisões, devemos dar a ele a autoridade para executar ações com base nessas decisões?

Não creio que exista uma resposta única para essa questão. Depende do contexto. 

Quem desenha o agente precisará avaliar cada tipo de autorização concedida e definir quais tipos de revisão, aprovação, supervisão e monitoramento são necessários.

Além da possibilidade de introduzir o humano no processo decisório (human in the loop) como um guardião, é necessário garantir o registro de todas as decisões e ações relevantes para permitir a auditoria e o monitoramento do comportamento do sistema. 

O monitoramento contínuo permite não apenas avaliar a qualidade das decisões frente aos impactos obtidos, mas também promover ajustes. Isso pode significar rever regras, limites, dados, permissões, instruções, controles, mecanismos de supervisão ou mesmo reconsiderar o grau de autonomia concedido à IA. 

Correções

Caso necessário, deve ser possível reverter as decisões automáticas por meio de controles humanos. 

Foi dessa forma que o astronauta Dave conseguiu desligar HAL 9000 e evitar que o pior acontecesse. Poderia ter sido mais fácil, é verdade, mas o filme não seria tão interessante.

Você que está criando um agente de IA hoje, esteja atento a esses riscos e garanta que os mecanismos de salvaguarda estejam lá para nos proteger em 2001. Ou no ano em que Kubrick gostaria de ter adivinhado (2026?).

Sobre este artigo

Este é o primeiro artigo de uma série dedicada ao FABR Framework (Five AI Business Risks), em que ilustro cada risco com um clássico do cinema.

Espero que esses artigos possam inspirar analistas de negócios a assumirem a liderança sobre o desenvolvimento de IA em suas organizações, trazendo discussões importantes à tona, esclarecendo as mudanças em curso para os envolvidos e adotando medidas que possam evitar eventuais prejuízos aos negócios em que atuam, aos seus clientes, aos colaboradores e à sociedade de forma geral.

A pergunta da próxima semana trata do risco de viés e discriminação: 

A IA é justa?

Referências

• Chamada à liderança: #BA4AI – Business Analysis for Artificial Intelligence
• Saiba mais sobre o FABR Framework (Os Cinco Riscos de Negócio da IA)
• Uma ferramenta prática: FABR Framework Checklist