De pé diante de um imenso painel, John move suas mãos freneticamente, arrastando imagens do futuro de um lado para o outro para identificar o responsável por um crime que ainda não aconteceu e que poderá ser evitado graças à tecnologia.
O sistema de prevenção da Precrime lhe parece perfeito: assassinatos são evitados por meio da prisão antecipada dos futuros assassinos.
Sua opinião muda quando vê seu próprio rosto na tela, apontado como culpado de um crime que nunca imaginou ser capaz de cometer.
O filme é Minority Report, com Tom Cruise no papel de John Anderton, uma espécie de policial que utiliza um sistema de prevenção de crimes para prender pessoas com base em predições.
As previsões do futuro são produzidas a partir dos sonhos (ou algo do tipo) de três pessoas com dons sobrenaturais (os precogs). Não vou entrar nesse detalhe inexplicável do roteiro. O que me interessa é usar o filme como metáfora para o uso de tecnologias de inteligência artificial na tomada de decisões.
Como prever o futuro
Suponha que eu precisasse prever o futuro.
Como não conheço nenhum indivíduo com talentos sobrenaturais nem sei ler os sonhos das pessoas, minha estratégia seria recorrer a dados históricos, procurar padrões de recorrência e, com base em um conjunto de critérios, produzir o melhor palpite possível sobre o que irá acontecer.
É assim que buscamos prever a evolução de uma doença, o comportamento dos astros, as temperaturas mínimas e máximas da próxima segunda-feira ou o número de turistas que devem visitar Meca em maio.
Cientistas não têm bola de cristal. Para prever o futuro, aprendem com o passado.
É também assim que são treinados muitos sistemas de IA baseados em aprendizado de máquina. Analisando volumes de dados que humanos seriam incapazes de processar da mesma forma, esses sistemas podem identificar padrões, fazer inferências, prever tendências e apoiar decisões.
Daí, é possível solicitar que uma IA analise um caso específico e responda perguntas como:
- Essa mancha na pele pode ser um câncer?
- Essa transação no cartão de crédito pode ser uma fraude?
- Esse empréstimo será pago?
- Aquela pessoa apresenta maior probabilidade de cometer um crime?
Perguntas como essas já são feitas a sistemas de IA em diferentes contextos e suas respostas precisam ser avaliadas com cautela.
Uma previsão não é o futuro. É uma inferência construída a partir de dados sobre o passado.
Risco #2: Uma IA pode potencializar vieses e propagar discriminação
É importante ter consciência de que os dados utilizados para ensinar um modelo sobre como a realidade funciona são apenas uma representação parcial e nunca a realidade completa.
A escolha de quais dados serão utilizados, quais características serão consideradas e quais critérios serão avaliados envolve decisões humanas. E essas decisões carregam perspectivas, limitações e julgamentos de quem as tomou.
Os próprios dados históricos também não são neutros. Eles registram não apenas fatos, mas decisões humanas anteriores e consequências dessas decisões.
Esses fatores podem introduzir ou reproduzir vieses no modelo, que podem se transformar em discriminação quando contribuem sistematicamente para outcomes desfavoráveis ou injustos para determinados grupos.
Exemplos:
- Negar crédito para a abertura de um negócio com base no endereço onde uma pessoa mora;
- Classificar uma pessoa como mais ameaçadora com base em sua etnia;
- Desclassificar uma candidata a uma vaga de emprego por causa de seu gênero ou idade.
Não sei quanto a você, mas, para mim, essas parecem decisões bastante humanas. Vi injustiças desse tipo a vida toda.
No limite, todos nós enxergamos o mundo a partir de uma perspectiva limitada por aquilo que conhecemos e pelas experiências que tivemos. Tomamos decisões influenciados por essa história.
Mas precisamos fazer o possível para que injustiças do passado não sejam aprendidas, automatizadas e reproduzidas em escala.
Modelos precisos vs. modelos justos
Um pesquisador que pretende avaliar as intenções de voto em uma eleição precisa construir uma amostra que permita representar adequadamente a população que deseja estudar.
Se entrevistar apenas mulheres jovens solteiras de uma determinada cidade, por exemplo, dificilmente poderá generalizar o resultado para todo o país.
A qualidade e a representatividade dos dados são, portanto, essenciais para a qualidade das inferências.
O mesmo cuidado se aplica ao treinamento e à avaliação de modelos de IA. Precisamos garantir que os dados utilizados permitam compreender adequadamente os diferentes grupos e situações sobre os quais o sistema tomará ou apoiará decisões.
Mas representatividade não resolve tudo.
Mesmo um modelo com excelente desempenho estatístico pode produzir resultados injustos, especialmente quando aprende a partir de dados que carregam desigualdades ou decisões discriminatórias do passado.
Além disso, simplesmente retirar do modelo informações como gênero, idade ou etnia não garante neutralidade. Outras características podem funcionar como indicadores indiretos dessas mesmas informações. Sistemas de aprendizado de máquina são capazes de estabelecer correlações e identificar padrões que podem não ser evidentes para nós. E esses padrões podem ser reproduzidos em suas saídas.
Um bom exemplo são as críticas feitas às IAs geradoras de imagens, que podem reproduzir estereótipos e perpetuar preconceitos presentes nos dados e padrões com que foram treinadas.
Por isso, não basta avaliar quais dados entram no modelo. É preciso observar quais outcomes suas decisões produzem para diferentes grupos.
Critérios de equidade não são óbvios e podem variar conforme o contexto. Em alguns casos, maximizar a precisão geral pode não ser suficiente. Pode ser necessário estabelecer deliberadamente critérios, limites ou objetivos adicionais para reduzir impactos injustos.
No final, equidade não é apenas uma propriedade técnica do modelo. É também uma decisão humana sobre o que consideramos justo naquele contexto.
Preocupações para o analista
Várias decisões do seu negócio já são (ou serão) tomadas ou apoiadas automaticamente por sistemas.
É preciso monitorá-las constantemente e garantir que sejam confiáveis e baseadas em modelos adequados, mas também que produzam resultados justos.
Isso exige olhar além dos índices gerais de precisão. Falsos positivos e falsos negativos podem precisar ser analisados entre diferentes grupos, assim como os outcomes produzidos pelas decisões.
Mesmo quando um modelo apresenta excelente desempenho estatístico, determinadas ações derivadas de suas previsões podem exigir análises adicionais, participação humana e julgamento contextual.
- Identificar uma probabilidade de fraude é uma coisa. Bloquear automaticamente a conta de um cliente é outra.
- Estimar risco de inadimplência é uma coisa. Negar automaticamente acesso ao crédito é outra.
- Prever a possibilidade de um crime é uma coisa. Prender alguém por um crime que ainda não cometeu é outra.
Em Minority Report, essa última ideia até parece razoável quando observada à distância, sob uma perspectiva estatística de segurança pública e redução de danos.
A percepção muda completamente quando John Anderton vê seu próprio rosto na tela.
E provavelmente mudaria para qualquer um de nós, se fôssemos injustiçados.
Justiça deve ser para todos.
Sobre este artigo
Este é o segundo artigo em que ilustro um dos Cinco Riscos de Negócio do FABR Framework com um clássico do cinema.
Se você é responsável pela análise de negócios em sua organização, convoco-o a assumir a liderança no desenvolvimento de IA. Promova discussões importantes nas reuniões de projetos com seus stakeholders. Ajude sua empresa a adotar medidas para evitar injustiças e garantir resultados de valor para todos.
A pergunta da próxima semana trata do risco de confiança desmedida na IA:
A IA é viciante?
Referências
- Artigo #1 desta série: A IA está certa? — 2001: Uma Odisseia no Espaço
- Chamada à liderança: #BA4AI — Business Analysis for Artificial Intelligence
- Saiba mais sobre o FABR Framework — Os Cinco Riscos de Negócio da IA
- Uma ferramenta prática: FABR Framework Checklist
