Ação assustadora à distância

Paula não se conteve e chorou a ver que havia sido selecionada para participar do Relativity, o programa aeroespacial mais importante do mundo. Recomposta, lançou-se à procura de Silvia, na lista. Não estava. Um tom soturno abateu-lhe o sorriso. Pensou: voando às franjas da velocidade da luz, para ela, vou e volto rapidinho. Quando eu chegar, não seremos mais gêmeas. Quer dizer, seremos, mas não no sentido mundano em que exercemos nossas similaridades como uma forma de diversão. Eu serei a gêmea-titia!

E quando essa ideia parecia-lhe bizarra o suficiente, uma mais profunda abateu-lhe: de lá, a Terra e suas coisas também passarão rapidinho por mim. Esses anos todos da minha irmã irão num estalo. Quando eu chegar, ela é que será a gêmea-titia!

A visão einsteiniana do Universo é considerada das mais fabulosas da história do pensamento, não apenas por seus aspectos práticos e sua matemática sofisticada, mas por ter dado origem a muitos paradoxos e quebra-cabeças mentais que desafiam o senso comum. Alguns são falsos, como este acima, mas outros são verdadeiros, conforme o pessoal que lida com aceleradores de partículas vêm demonstrando.

Um desses desafios à visão intuitiva do mundo que formamos durante os nossos primeiros anos de vida é que o tempo não é uma medida absoluta, que pode ser reduzida àquilo que o visor do celular mostra. O tempo pode se contrair ou se dilatar, o que se torna particularmente fascinante quando aplicado ao futuro.

O ano é 1931; enquanto Einstein é recebido nos Estados Unidos como uma espécie de estrela do rock científico, inspirando adoração a partir da relatividade, a física quântica igualmente estabelece-se no seio do establishment científico.

Surpreendendo-se com a hipótese de que uma partícula poderia afetar outra, do outro lado do mundo, sem o suporte de nenhum elo comunicante (entrelaçamento quântico), o representante encarnado da inteligência celebremente chamou o fenômeno de ação assustadora à distância (história deliciosa que poderia ter sido outra).

Pena ele não ter vivido para conhecer a física quântica da atualidade.

Ao passo que uma nova indústria soergue-se para a construção de computadores que convertem o entrelaçamento em q-bytes, propostas conceituais cada vez mais ousadas tomam parte no debate.

Entre estas, difícil pensar em alguma que supere a retrocausalidade, ideia que não é nova, mas só agora está sendo levada a sério, de que consequências podem influenciar suas causas, neste universo. (Aqui vai a versão científica do assunto; aqui, um vídeo de divulgação curto e descolado)

Há gente dizendo que a retrocausalidade pode ser uma das peças faltantes no quebra-cabeças quântico, aproximando-o da relatividade, mas isso é tão impenetrável quanto a mente científica do Doutor Emmett Brown, que justamente queria explorar esta suposta propriedade, usando coisas bem maiores do que as quânticas.

A proliferação dos futuros decisórios

Ainda não existem provas experimentais da retrocausalidade. Neste ponto, ela está no mesmo nível de especulação em que um dia esteve a ideia de que o tempo pode passar em velocidades diferentes para as diferentes pessoas – parábola da modernidade estonteante de cem anos atrás, em que, por exemplo, sob a tundra gelada, combatentes russos dormiam aliados e acordavam soldados bolcheviques.

O que dá para notar é que, se um dia o ápice do frisson científico deu-se com a relatividade do tempo em si, hoje o interesse está forte sobre o futuro, sobretudo a possibilidade de mapear tudo aquilo que pode acontecer, em determinadas condições.

Tal como há cem anos e sempre, concepções conexas pela superfície dão as caras em áreas menos puras, sugerindo que esta ideia de mapear aspectos do futuro está exercendo certa hegemonia sobre as ideias concorrentes, na luta pela atenção das mentes contemporâneas.

Isso fica claro especialmente evidente quando o assunto é tomadas de decisão, área que está em transformação profunda, depois de quase vinte anos sob os efeitos da noção hegemônica anterior, a qual diz que as pessoas decidem de maneira rápida e frugal, conforme respondem a experiências afetivas imediatas, o que as torna pouco racionais.

De fato, pouco há para se questionar nessa ideia, que na prática funciona como um convite à realização de inventários comportamentais fabulosos. Por outro lado, o foco na maneira como as pessoas tratam opções aqui e agora ofuscou demais uma ideia fundamental: decisões não são apenas uma espécie de sintoma de nossa existência mundana limitada; elas servem para reduzir futuros alternativos.

Elas são dispositivos informacionais largamente distribuídos entre os organismos. Nos seres humanos, especificamente, as decisões têm como função mais difícil e prolongada, a criação de opções e, como função mais prática e assertiva, a redução inteligente das mesmas. Apenas a primeira parte nos diferencia entre as espécies.

Na minha visão, quando propriamente estimulada, a grande maioria das pessoas é capaz de pensar em alternativas, de construir seus futuros hipotéticos.

Mais do que qualquer outra atividade cognitiva, este tipo de construção dá a medida da criatividade de cada um, o que por sua vez poderia ser acompanhado por dentro da mente, usando uma rota que se inicia na recapitulação de fragmentos de experiência autobiográfica e termina na construção de cenários que surgem à consciência como se fossem inteiramente novos, ainda que forjados destes fragmentos.

Uma informação valiosa sobre como alguém irá decidir no futuro, muitas vezes, pode ser trazida ao tempo presente pelo mapeamento da maneira como se sente quando mentaliza cenários alternativos, o que justamente se explica conforme estes trazem na fórmula a biografia pessoal, cujos conservantes são os afetos.

Já apliquei este princípio diversas vezes, mas reconheço que ele só é adequado para decisões isoladas, enquanto no dia a dia, cada escolha funciona como um pequeno elo numa cadeia em que o número de futuros possíveis expande-se de maneira extremamente rápida, impondo uma agenda de problemas de outra natureza.

"Mesmo que tenhamos apenas duas hipóteses para escolher por minuto, em menos de meia-hora teremos catorze milhões de futuros possíveis; em menos de um dia, o número de futuros ultrapassará o de átomos no universo", exemplifica o professor Mile Gu, do Centro de Tecnologia Quântica da Universidade de Singapura.

No campo da física, onde as palavras seguem as que conhecemos, sem que se possa dizer o mesmo sobre os fatos em discussão, a importância de lidar com futuros que se proliferam de maneira exuberante vem impulsionando um novo tipo de tecnologia disruptiva: a inteligência artificial quântica. Fica a dica sobre o que vai estar em alta em uma década.

Ao passo que a inteligência artificial quântica permanece insipiente, o problema mais relevante que procura resolver mostra-se tão relevante quanto universal: conhecer todos os estados possíveis de algumas coisas para, literalmente, mapear seus futuros alternativos. Para isso, uma equipe da Universidade de Singapura, em parceria com o Centro de Tecnologias Quânticas da Griffith University, na Austrália, criou um tipo específico de processador quântico, cuja descrição recente encontra-se aqui.

Redução de incerteza: preferência transnacional

Enquanto o universo da ciência pura trata futuros num spin quântico, mais ou menos como Daiane dos Santos, o do conhecimento aplicado coloca em primeiro plano o fato de que existem limitações ao uso destas ideias na vida prática, tal como a conhecemos hoje em dia.

A principal delas está longe de representar verdadeira objeção, mas acaba cumprindo este papel, de maneira involuntariamente. Esta é a ideia de que o esforço de reconhecer os futuros alternativos que podem se dispor a nossa frente não reduz incertezas sobre o que de fato vai acontecer, mesmo que só nos restem duas opções.

A grande verdade é que, no extremo oposto dos físicos, a redução de incertezas converteu-se na obsessão mundana do momento.

A seu favor, é justo considerar que se naquele cenário de uma escolha por minuto, fosse dito que a opção à esquerda tem sempre 99% de ocorrer, teríamos menos de uma chance em um milhão de terminarmos o dia felizes por termos acertado todas.

Entendo, mas não me satisfaço.

Seja em nível individual ou em nível coletivo, acredito que soframos mais por falharmos em alinhavar futuros possíveis, do que por não conseguirmos determinar a probabilidade de ocorrência daqueles que conseguimos imaginar.

Aprender a lidar com o mundo a partir desta prerrogativa é o que venho chamando de a nova filosofia da mente decisória, espero um dia deixar de estar sozinho nessa.

Surpreende-me o quão fortemente hegemônica tornou-se a ênfase na atribuição probabilística a desfechos específicos, em contraste com a ênfase na enunciação de futuros hipotéticos.

Tal tendência apoia-se no uso de sistemas de suporte decisório (decision support systems – DSS). Estes são sistemas analíticos baseados em algoritmos/inteligência artificial, que entregam uma função probabilística ou "escore", dentro de um outro sistema, ajudando-o a tomar uma decisão. Pouca coisa invisível é tão relevante.

Quando a API do Serasa retorna um escore de crédito para dentro do sistema de uma financeira que por sua vez apresenta um "reprovado" na tela do analista, dizemos que o sistema de suporte decisório do birô gerou inteligência financeira.

Cadastro positivo tem a mesma mecânica e função, com a diferença que se propõe a servir de estímulo para que determinado padrão comportamental seja reiterado, por meio do que chamamos de reforço negativo (você deixa de fazer o que não quero, eu deixo de pegar no seu pé).

Nos Estados Unidos, existe uma preocupação constante na classe média eternamente endividada de elevar escores de crédito, em birôs como Equifax, Experian e TransUnion, que aplicam sua inteligência para dizer sim ou não, sob os mesmos princípios.

Estas diretrizes binárias vêm se tornando determinantes para a modelagem e planejamento de praticamente todos os aspectos da vida social humana, inclusive os que se encontram sob a tutela do Estado.

Inspirado pelos cientistas que se preocupam em fazer futuros proliferarem, acredito que possamos conceber alternativas superiores, no tocando à atuação do mesmo.

O subgrupo mais inflamado entre aqueles que concordam comigo neste ponto é absolutamente taxativo: é antiético desenhar incentivos para estimular as pessoas a decidir isso ou aquilo (nudges) e, tanto quanto, colocar a inteligência artificial a serviço de processos decisórios que representem a ação do Estado.

Quando ouço esse argumento lembro que da massificação do uso do cinto de segurança à promessa de não ter que dirigir progredimos por meio das tentativas de entender o que as pessoas decidirão fazer, quando chegar a hora. A questão de interesse, acredito, é como melhorar esse processo, que dificilmente será revertido.

O Estado através do código

Minha tese é de existem dois erros mais sérios na maneira como governos redor do mundo vêm utilizando sistemas de suporte decisório baseados em algoritmos/inteligência artificial e que a solução dos mesmos pode melhorar nossa relação com essa tecnologia que tão pouca gente vê funcionar.

De acordo com essa tese, estes erros não apenas emergem por questões políticas, mas por causa de limitações metodológicas, que de um lado têm a ver com atrasos conceituais facilmente demonstráveis e, de outro, com o fato de que os algoritmos disponíveis foram todos concebidos para responder a desafios específicos da iniciativa privada, os quais são diferentes em ao menos um aspecto mais profundo, dos desafios que cabem ao Estado.

Finalmente, aos erros metodológicos soma-se uma questão de visão e propósito, intimamente relacionada ao contraste de obsessões acima enunciado.

O objetivo central deste ensaio é enunciar estes erros e compartilhar uma nova visão sobre os algoritmos de suporte decisório aplicados pelo Estado.

Se, antes de um jogo de futebol, alguém me perguntar qual entre dois times mais provavelmente  ganhará, eu certamente pedirei para olhar a série história de embates recentes.

Escolheria quem, nos últimos embates, ganhou mais vezes, sem pensar duas vezes.

Por outro lado, se também me fosse permitido assistir a uma parte da partida antes de dar o meu chute, eu tenderia a dar importância decrescente à série histórica e crescente àquilo que vejo se desenrolar, até o momento em que exibição não me fosse mais permitida.

Desfechos tanto concentram quanto reduzem informações. Basta lembrar que "o momento de eternidade do futebol", como Nelson Rodrigues (1970) chamou o quase gol de Pelé, em Brasil vs. Checoslováquia, não entra nessa conta.

Em contraste, ao desenvolvermos nossos juízos no tempo, aproximamos a hipótese sobre quem tem mais chance de ganhar à avaliação de quem merece mais isso.

Da mesma maneira, ao criarmos algoritmos de risco ou crédito para bancos ou operadoras de cartões devemos considerar que a tarefa principal resume-se à determinação daqueles que devem receber um sim, em contraste com os que receberão um não, em seus pedidos de crédito, com base em informações históricas, usando um algoritmo.

Em geral, não é possível saber se aquela pendura de R$ 10.000,00 ocorreu porque o cliente tomou um calote do primo malandro ou porque é jogador patológico.

Tudo o que dá para fazer é pegar essas variáveis correlacionadas à inadimplência e tratá-las tal como se enunciassem causalidade.

Agora, se for possível acompanhar os clientes ao longo de suas jornadas, poderemos nos dar ao luxo de conceder o crédito àqueles que numa primeira análise revelaram alto risco de inadimplência, desde que também desenhemos incentivos (nudges) que evitem uma escalada irrefletida de débitos, mitigando a chance e o tamanho do tombo.

Ainda não será possível discriminar correlação de causalidade – essa limitação fundamental não é corrigível, neste contexto – mas será possível tratar as variáveis em perspectiva, evitando que sirvam de pivô para decisões contraproducentes tanto para quem quer conceder, quanto quem quer receber o crédito.

Um caso está mais para foto (escore), o outro, mais para filme (monitoramento).

No primeiro, devemos nos pautar pela maximização do retorno esperado, através da aplicação de uma função probabilística que gerará um desfecho binário; no segundo, até podemos replicar esta estratégia mas, principalmente, podemos tratar o fenômeno enquanto ele se desenvolve de futuro em futuro, assumindo que o retorno esperado não precisa ser escrito na pedra, em determinado instante.

O primeiro e mais crasso erro metodológico das aplicações preditivas do Estado é tratar como foto aquilo que faz N vezes mais sentido como filme. A consequência prática mais fundamental é o aumento da frequência de eventos contrários ao interesse mais amplo da sociedade, sob a assunção implícita de que aqueles dois ou três desfechos setados no algoritmo são mesmo incontornáveis.

Tal como vitória, derrota e empate.

O segundo erro revela-se em contraste ao fato de que, nos setores de risco e crédito, aquilo que mais profundamente dá a marca da mão invisível é a possibilidade do capital blindar-se de eventuais externalidades socioeconômicas, surgidas da própria aplicação do algoritmo.

Existe uma revolta meio irrefletida em relação ao fato de que o dono do banco quer maximizar o retorno esperado, tal como se o dono do Café Vegano da Praça da Maromba não quisesse o mesmo. O sintoma existe, mas o diagnóstico parece errado.

O ponto verdadeiramente sensível é que a decisão de dar ou não crédito, em consonância com uma série de outras relacionadas às condições em que isso ocorre, não raras vezes gera uma segunda camada de eventos sociais e econômicos, com impactos significativos na vida do devedor, que não se espelham na vida do credor.

Isso é óbvio para qualquer economista, assim como tende a ser o fato de que o Estado não deve esperar que o dono do banco module suas decisões a partir desta constatação. Como qualquer outro cidadão, é esperado que ele o faça mais vigorosamente por meio de incentivos (nudges).

A questão é que o Estado não é uma instituição privada – e essa não é uma afirmação política, mas mera constatação. Se a aplicação do algoritmo gerar uma segunda camada de consequências, a avaliação de sua utilidade dependerá da incorporação dos efeitos em tal camada também. Há, enfim, um problema de translação: a lógica não pode ser a mesma, já que o plano dos efeitos também não é.

No mundo das políticas públicas, não há pias para se lavar as mãos.

Imagina que você receba um envelope contendo um convite para ir à "festa dançante da Isadora". Apesar de achar o título meio estranho e não ser exatamente um pé de valsa, você assume que deve ser alguma brincadeira da sua amiga Isadora. E vai. Chegando lá, você descobre que a festa é de uma outra Isadora, que está completando oitenta anos de idade. Meio sem jeito de ir embora, você acaba aceitando o convite da anfitriã para dançar. E dança uma, duas, três. Neste momento, os convidados estão empolgados com a sua desenvoltura e habilidades. E aí é que o inesperado acontece: você mesmo se surpreende, dançando bem de verdade.

Funciona para o bem, funciona para o mal. No contexto, o erro é desconsiderar a possiblidade da análise preditiva plantar criminosos entre os que não são, com base num fenômeno descrito há mais de quarenta anos: discriminação estatística.

De maneira mais específica, o perigo é que nas camadas em que ressoam os desfechos algorítmicos, a política de incentivos reversos (estigmatização pela máquina) estimule aquilo que a incorporação da tecnologia imaginou combater.

Quando isso ocorre, somos forçados a dizer que a iniciativa falhou. Sem desculpas.

No final de 2016, os carros de polícia da cidade de Pittsburgh (Pensilvânia, EUA) passaram contar com um recurso a mais em seus computadores: mapas construídos por algoritmos contendo as microrregiões da cidade com maior probabilidade de ocorrência de crimes, dando origem ao chamado policiamento preditivo.

Neste mesmo ano, a notícia de que algoritmos  secretos estavam avaliando risco criminal e mandando as pessoas para a cadeia tornou-se trending topic entre juristas americanos (se você saber mais, leia este paper).

É esperado que, em breve, a vasta maioria das decisões judiciais ao redor do mundo seja apoiada em recomendações feitas por algoritmos, tal como a própria seleção daquilo que deve ser julgado primeiro.

O fator mais positivo compartilhado pelo policiamento preditivo e sentenças baseadas em algoritmos é a blindagem contra caprichos dos representantes do estado.

Por outro lado, sofrem dos dois problemas que enunciei, no que se assemelham a muitos outros que conheci até aqui.

De um lado, entregam recomendações na forma escore; foto e não filme.

Apenas para se ter uma noção do sentido disso, vale considerar que grande parte dos crimes de Pittsburgh decorre de dinâmicas conflitivas que escalam de acordo com as interações entre gangues que dominam diferentes sub-regiões, o que evidentemente passa ao largo do novo sistema, que geolocaliza pontinhos, numa representação estática, bem mais pobre do que aquela que pode nos dar o cérebro humano.

De outro lado, não computam o efeito de si mesmos sobre o fenômeno em foco, tal como se o fato dos policiais se relacionarem com a população do bairro – e as gangues e bandidos – sob o ponto de vista de que aquela área é barra pesada, não reforçasse tal tendência.

A mesma ideia aplica-se à determinação penal, que ainda mais fortemente tende a retroalimentar o viés que um dia se propôs banir. Por exemplo, considerando que homens negros de 18 a 23 anos efetivamente têm probabilidade maior de aparecerem nas fichas policiais, após a devida normalização demográfica, o sistema tenderá a assumir que João Pedro, que é negro e possui 21 anos deve ser julgado primeiro e eventualmente receber uma pena maior do que João Paulo, que é branco e possui 24 anos – um absurdo inadmissível, sob qualquer ponto de vista, o qual ajuda a explicar porque mais de cem organizações americanas de direitos civis juntaram-se num pronunciamento comum, enfatizando os riscos das decisões jurídicas baseadas em algoritmos (o pronunciamento pode ser encontrado aqui).

A multiplicando futuros por princípios anti-intuitivos

Definidos os problemas mais técnicos, podemos considerar a questão de visão que isso tudo traz à forja. Esse é exatamente o ponto onde aqueles catorze milhões de futuros alternativos que geramos em meia-hora tornam-se cruciais.

O fato de estarmos cada vez mais imersos numa prática de desenhos institucionais que são igualmente tecnológicos tende a ser automaticamente associado à ideia de desfecho, empobrecimento de sentidos e vieses criados pelos interesses de alguns.

Uma das bases para este juízo é o fato de que quando pensamos em tecnologia pensamos em programação, em intenções embebidas em sintaxe.

Não importa que esteja escrito "inteligência artificial"; que saibamos que isso significa menos código e mais abertura à transformação de si mesma, conforme exposta ao mundo. Não importa o fato de seu cérebro sintético ser como o de um extraterreste com quem podemos interagir.

Isso tudo parece ficar no plano da teoria e o que se consolida mesmo é a ideia de que sempre existirá alguma forma manipulação humana em jogo, de regra maliciosa sobre o certo e o errado e assim por diante.

Realmente, se assim o fosse, não haveria muito o que fazer exceto clamar pelo banimento total dessas geringonças, antes que impeçam o sol de surgir. Mas, vale lembrar, isso não precisa ser o caso, especialmente, se conseguirmos trazer os componentes de expansão intelectual dessas tecnologias, ao primeiro plano.

"Go" é um jogo chinês de cerca de 2500 anos, jogado em todo o oriente. Sua complexidade, superior a do xadrez, deu origem a milhares de cartilhas e livros, estudados por multidões, nestes últimos milênios.

Lee Sedol é um expoente moderno do Go, campeão mundial 18 vezes. Em 2016, ele enfrentou o sistema de inteligência artificial Alpha Go, numa sequência famosa de partidas. Perdeu, o que se tornou notícia ao redor do mundo.

Tão menos conhecidas são suas declarações acerca da experiência de jogar contra essa nova forma de inteligência artificial.

Segundo ele, o que caracteriza o algoritmo é o fato de não utilizar nenhuma das estratégias consagradas, mas antes proceder por padrões anti-intuitivos, completamente diferentes de tudo aquilo que se viu nestes últimos 2500 anos. Menos de três anos depois, a ideia de usar esse tipo de algoritmo para pratica a concepção de estratégias que se desviam radicalmente do tradicional disseminou-se entre os jogadores de Go, mimetizando o que já ocorria em outras áreas, como a física quântica.

A gente acha que sabe como as coisas poderiam ser se não fossem como são.

A gente é capaz de jurar que não precisa de suporte nenhum para desenhar os futuros mais interessantes que as condições presentes permitem. Do ponto de vista interior, isso é claro e universal, afinal, a criatividade é o verdadeiro inconsciente aflorado, lá na base dos nossos afetos.

Mas, se a gente seguisse mais a lição dos físicos quânticos e outros pensadores radicais, quando assumem que, justamente, um dos grandes desafios que precisam enfrentar para criar alguma coisa digna de nota é o de se despir de suas certezas intuitivas, talvez a gente fizesse melhor uso dessas tecnologias, colocando-as à serviço do nosso desejo de um futuro mais amplo e melhor.