O problema não é como a IA faze as coisas (especialmente as ruins), mas o que você quer que ela faça, ou seja, as crenças que você deposita ali. Para que a máquina funcione no Judiciário, é preciso incluir uma visão de mundo no algoritmo

A visão hegemônica das máquinas inteligentes

Ideias, tal como pessoas, podem cooperar ou competir. Visões de mundo são ideias que procuram acomodar diversas outras em seu interior. Elas frequentemente competem. Conforme a mais aderente começa a ganhar primazia, aquelas que são sobrepujadas passam a encampar ataques de diferentes naturezas e assim o mundo caminha para polarizações ideológicas, tanto em situações legítimas, quanto naquelas em que as visões concorrentes mais parecem se espelhar.

A perspectiva de que o cérebro humano é limitado em sua capacidade de aprender sobre o mundo e por isso precisa ser complementado por aprendizado de máquina, ramo mais exuberante da inteligência artificial, tornou-se hegemônica na atualidade. A ela se opõem variações do tema de que nossas intuições e capacidades analíticas são nossas melhores apostas para o futuro. Dali saem contragolpes justos e injustos.

Uma das consequências da hegemonia estabelecida é que passamos apostar fortemente em sistemas de suporte e automação decisória. Difícil achar governo, grande empresa ou centro de excelência científica no mundo que sirva de exceção.

Olhando em retrospectiva, muito do que foi feito nesses últimos anos nesta área não passa pelo teste do bom senso. Três, quatro anos atrás, só se ouvia falar em Big Data, na tese de que a produção de insights sobre o mundo depende fundamentalmente de muitos dados. Hoje está clara a existência de desafios um pouco mais sutis. Por exemplo, a qualidade e não só a quantidade dos dados à mão é essencial, pois se "lixo entra, lixo sai", bem como o tipo de aprendizado de máquina adotado.

O cérebro humano precisa de bem menos exemplos para aprender do que qualquer sistema criado pelo homem. Até pouco tempo atrás, este fato era sumariamente ignorado, sob a premissa de que bastariam mais dados para chegarmos ao mesmo ponto. Hoje sabemos que não é bem assim e depositamos enorme energia no desenvolvimento de formas mais orgânicas e verdadeiramente semânticas de aprendizado de máquina. Nunca as neurociências estiveram tão em alta.

Modelos inspirados na biologia cerebral não dão passos relevantes em sentido à humanização da inteligência artificial, ainda que o façam em sentido ao aumento de sua efetividade. Com isso, a polarização entre a visão de mundo que aposta em máquinas inteligentes e a que diz que isso prejudica a humanidade não cedeu pela disseminação desta inspiração e, como sempre, quem mais deixou de ganhar foi quem mais precisa que isso tudo funcione melhor: nós todos. O tempo é imune a DRs.

Tendo a acreditar que uma transformação na visão de mundo dominante acontecerá em breve. A disputa enunciada perderá relevância, em prol de outra, cujos contornos fogem à compreensão atual. Minha principal inspiração para este diagnóstico é a percepção de uma mobilização crescente em torno da detecção e solução dos problemas trazidos pela inteligência artificial, dentro e fora dos círculos de especialistas.

Em meu último ensaio, procurei fazer uma pequena contribuição a este debate, num domínio que acredito que mereça mais atenção do que vem recebendo: o da adoção de algoritmos pelo Estado.

Deste ponto de vista, expus os principais desafios que enxergo, incluindo o problema destes sistemas gerarem resultados na forma foto (escore), ao invés de filme (monitoramento), em direta contradição com a natureza dos fenômenos sociais sobre os quais incidem; e o problema da obsessão com a diminuição de incertezas, que por meio de algoritmos impacta nossa capacidade de delinear futuros alternativos, lentificando a evolução cultural, enquanto se propõe a acelerá-la. Estes dois problemas foram originalmente descritos aqui para vocês, não tendo sido adaptados de nada que tenha saído na literatura científica ou de divulgação que eu conheça.

O escrito de hoje busca dar um passo além, privilegiando os desafios enfrentados pelo judiciário. Inicialmente, quero compartilhar com vocês um princípio crítico na adoção de algoritmos, especialmente pelo judiciário; em seguida, uma visão sobre como vieses discriminatórios entram pelas frestas dos algoritmos. Finalmente, serão apresentadas algumas sugestões para resolver o primeiro ponto. A ideia é evitar ao máximo a discussão técnica, sem contudo passar por cima do que fato que, na prática, é no plano em que ela acontece que a exequibilidade daquilo que pode ser posto em palavras é determinada.

A intencionalidade através do código

A maior falácia de todo o campo da inteligência artificial é que seus principais problemas refletem nossa imaturidade tecnológica. Na realidade, eles fundamentalmente pela importação de vieses institucionais que perpassam toda a sociedade.

Não é tanto a maneira como a máquina faz as coisas, mas aquilo que você quer que ela faça.

As pessoas dão vazão as suas intenções apoiando-se em crenças, que tanto podem ser momentâneas, quanto estarem incrustadas no arcabouço profundo do cérebro. Estas dizem respeito à maneira como o mundo é e àquilo que esperamos que aconteça em função de determinada ação. Acredito que a garrafa metalizada lá de casa contenha água em seu interior e, por isso, realizo o ato de virá-la sobre o copo para satisfazer minha intenção de tomar uns goles.

Quando um ato intencional produz um desfecho esquisito, do tipo a garrafa soltar café e todo mundo rir, a crença de base encolhe-se frente às alternativas.

Se a coisa se repete demais, ela some.

Tal como as grandes visões de mundo, a vida das crenças individuais depende de nossa atenção e respeito, o que as torna profundamente competitivas.

As intenções também precisam se virar para aparecer. A vantagem em relação às crenças é que temos conceitos bem definidos para falar delas: quando escolhemos executar uma intenção ao invés de outras dizemos a escolhida tem uma utilidade esperada maior do que as concorrentes.

Isto simplifica a ideia de que o retorno subjetivo esperado de dar vazão a mesma supera o das concorrentes, nas poucas horas do dia em que agimos como chimpanzés e todos os outros animais; afinal, sob este critério, são todos racionais.

No mundo da inteligência artificial as coisas não são em nada diferentes, conforme a intenção de priorizar algo em detrimento de alguma outra coisa é inerente ao uso deste tipo de tecnologia e pode ser associada a uma ou mais crenças sobre como o mundo é e aos efeitos de se proceder desta forma.

Considere o exemplo do sistema que vem ajudando juízes a definirem tempo de encarceramento por meio de escores; seus aspectos matemáticos têm menos a revelar sobre sua essência do que a resposta à pergunta: qual a intenção que seus outputs perseguem?

A intenção primária pode ser reduzir a taxa de reincidência criminal, aumentar o sentimento de desforra, também pode ser o fim da violência nas prisões, ou o combate às disparidades socioeconômicas. Muitas outras coisas também podem ser.

Por trás de todas elas, é preciso que esteja a crença de que tempo no xadrez realmente contribui fortemente para a satisfação do propósito, ou qualquer legitimidade para injetar as recomendações do sistema no mundo real serão abolidas de antemão.

O aprendizado de máquina é aplicado para assegurar que uma intenção imponha-se sobre outras, a partir da premissa de que tem utilidade maior.

Poderia ser a intenção de aumentar o sentimento de desforra, mas ela é de diminuir a violência; logo, o sistema tenderá a puxar o período de encarceramento para baixo. E vice e versa. Filosoficamente, o sistema é um processador de funções utilidade.

Grande parte das mais fleumáticas disputas ideológicas da nossa sociedade têm a ver com a função utilidade que predomina na mente daqueles com poder de implantar as versões low-tech desses sistemas.

Por exemplo, certos extratos da direita assumem que a intenção mais elevada é a punição do comportamento criminoso, enquanto certos extratos da esquerda assumem que é a redução da criminalidade, sob a bandeira dos direitos humanos.

A rede neural artificial ou natural aplicada pelo primeiro grupo, por definição, priorizará a minimização da impunidade; logo, ela será particularmente suscetível a condenações excessivas. Já no segundo grupo, a rede deverá ser bem mais conservadora, o que na prática significa que poderá deixar criminosos escaparem impunes. A tolerância a cada um desses erro intrínsecos àquilo que cada lado quer otimizar é o que a gente vê as pessoas debaterem raivosamente, sem sistema ou clareza.

Tá aí a razão porque prefiro evitar esse tipo de debate: não estou aqui para discutir suas funções utilidade – para isso existe terapia – mas para tentar expor alguns pontos que valem a despeito delas.

Um grande problema dessa história toda é que, na verdade, a maioria dos juízes tem pouco domínio sobre o que está se passando. A mente em que jaz tal função utilidade não frequenta tribunais. Ela costuma repousar sobre a base do crânio de empresários da área de risco e crédito.

Estes, por sua vez, nem sempre têm formação para pensar a justiça com a profundidade de um desembargador, sem contar o fato de que alguns outputs são bem mais viáveis e baratos de se produzir do que outros.

Consideremos um exemplo. Eric Loomis foi sentenciado a seis anos de prisão por meio de uma sentença apoiada por um algoritmo chamado Compas, vendido para o governo americano pela empresa Equivant. Respondendo àquela pergunta crítica posta acima, a intenção que seu uso desenovela é a diminuição da taxa de reincidência criminal e isto é feito a partir da atribuição de um escore para cada condenado.

Não é possível saber o que exatamente é utilizado pela Equivant, já que o sistema é patenteado, mas, uma curiosidade: participei do maior estudo até hoje envolvendo internos que reingressaram no sistema da Fundação Casa e sintomas psiquiátricos. A única correlação encontrada foi com abuso de drogas (crack-cocaína).

O ponto a se ter em mente é que inexiste a possibilidade do juiz emparelhar intenções, escolher aquela que pareça lhe fazer mais sentido e, então, adotar um escore.

A Equivant vende esse daí; outras vendem alternativas que não diferem muito. Neste momento, é aderir à função utilidade do fabricante ou não contar com inteligência artificial alguma; é aceitar que vamos melhorar o mundo perseguindo a redução da reincidência ou nada. Está aí o ponto mais relevante acerca das intenções que se manifestam quando o Compas cospe um número.

O problema da reiteração de padrões discriminatórios

Uma questão completamente diferente e que, ao contrário desta que apresentei acima, vem sendo discutida em diversos círculos, é a da presença de vieses intrínsecos nos algoritmos em uso.

Por exemplo, uma equipe do Think Tank ProPublica analisou os desfechos de dois anos de uso do Compas (amostra de 10.000 presos) e chegou à conclusão de "acusados negros têm o dobro de chance de serem classificados com alto grau de reincidência, quando comparados com brancos, que por sua vez têm 63% mais chance de serem erroneamente classificados como portadores de baixo grau de reincidência, quando comparados com negros".

Este tipo de problema tem raízes profundas. Uma delas é o fato de estar inscrito no DNA do aprendizado de máquina, que o futuro repete o passado e os semelhantes fazem coisas semelhantes. Assim, se os dados que expressam esse passado e esses semelhantes introduzirem vieses, o sistema irá se tornar inteiramente comprometido.

Imagine uma tabela listando todas pessoas presas na pequena Broward County (Florida, EUA), durante alguns anos, com colunas como data de nascimento, país e cidade de nascimento, CEP de residência, estado civil, registro na carteira de trabalho, nível de escolaridade, além de respostas a perguntas como "algum dos seus pais já foi mandado à prisão?", "quantos amigos ou conhecidos seus usam drogas?", quão frequentemente você brigava na escola?" (essas perguntas de fato estão lá) e, claro, reincidente: "S/N".

O escore que o juiz vê na tela é uma medida do acoplamento de cada sujeito fichado às características mais comuns naqueles em que se lê "S".

O detalhe é que não se trata de uma receita em que as diferentes dimensões são somadas linearmente; as combinações podem ser bem complexas; por exemplo: se o sujeito tem entre 18 e 23 anos, nasceu fora do país e disse que brigava na escola, a chance de reincidir será alta, mas ela diminuirá sensivelmente se este declarar que não conhece ninguém que usa drogas, exceto se já reincidiu.

Uma coluna que não está presente é "raça", nem tampouco há perguntas sobre isso.

Vieses discriminatórios não costumam entrar pelas vias mais diretas; eles surgem conforme a série histórica utilizada é oriunda de um contexto em que a discriminação impera ou imperava.

Às vezes é muito simples, não sendo necessário mais do que uma variável para aquilo que foi deixado de fora pular de novo para dentro; por exemplo, dada a segregação geográfica informal existente, CEP e raça podem querer dizer a mesma coisa. Às vezes, as relações são um pouco mais complexas; por exemplo, naquele CEP existe 50% de negros; as escolas, todavia, contam uma história particular: todos os jovens que não são negros ou latinos se formam. Como quase não há latinos no perímetro coberto, dizer que o sujeito do pedaço não se formou é quase o mesmo que dizer que ele é negro.

Um fato digno de nota sobre estas combinações é que, na maioria dos casos, nem quem criou consegue inferir aquilo que está sendo usado pelo algoritmo. É aí que devemos deixar o enfoque nos dados que o sistema usa para aprender e se preocupar com o fato de também existir algo imperfeito (diz-se sub-ótimo) na tecnologia adotada.

Tal como se dá em relação à ausência de perguntas sobre raça no Compas e outros algoritmos, aqui o problema tão pouco reflete uma atitude varzeana pura e simples.

A questão é que o processamento dos dados é distribuído; um neurônio de um algoritmo pode estar processando uma fração de uma variável, com outra fração de uma segunda e assim por diante – neste ponto, é bem parecido com o que acontece no nosso cérebro. Há uma incompatibilidade entre a nossa capacidade interpretativa, situada em um nível elevado, gestaltico de entendimento e aquilo que cada neurônio de uma rede processa.

Been Kim (MIT/Google) apresentou uma possível solução para este problema na última MLconf (Machine Learning Conference), que aconteceu em São Francisco no ano passado. O modelo que ela criou chama-se Concept Activation Vectors (TCAV) e pode ser conhecido aqui.

A ideia, basicamente, é de um algoritmo que constrói essas representações para que a gente possa ver o que está se passando lá no plano dos neurônios. É mais ou menos o que faz a nossa consciência sobre determinadas parcelas do cérebro. Existem outros. Ainda é cedo para dizer se algum vai se popularizar, mas a proliferação deste tipo de software reforça a tese de que as pessoas estão se movendo para superar essa situação bizarra, sem ter que voltar à idade da pedra, tesoura e excel.

Em outro nível, a solução pode passar pela admissão de que não é viável purificar completamente os dados e algoritmos para que o sistema como um todo funcione com total isenção, em prol da adoção de um segundo algoritmo, exclusivamente para identificar vieses no primeiro. Só o tempo dirá.

Dando aos magistrados o poder de expressar suas visões através do código

Intenções abrigam-se sob a casca de sistemas que visam apoiar decisões jurídicas, queiramos ou não. Enquanto os magistrados permanecerem incapazes de injetar no código suas respectivas funções utilidade, o judiciário como um todo permanecerá restrito ao papel de cliente, quando da adoção da inteligência artificial.

Essa situação de cliente está em contradição com o fato de que os magistrados têm algum espaço para expressarem suas visões de mundo através do tamanho da pena (dosimetria), desde que respeitem limites mínimos e máximos (teoria das margens), aspectos objetivos do caso e assim por diante. Aliás, não há nada de novo na prática do magistrado considerar, por exemplo, a chance de reincidência criminal (a la Compas) para a fixação da pena, a despeito do fato de também existir um movimento forte em sentido à homogeneização deste tipo de conduta e de todas as outras.

Uma situação que ilustra bem isso é a que se deu quando o Habeas Corpus de um assaltante convicto chegou à 5a. turma do STJ. O advogado argumentava que a pena tinha sido aumentada com base em critérios inidôneos. O relator do caso respondeu que o tamanho da pena é uma decisão do juiz, que legitimamente utilizou critérios como a tendência do sujeito à reincidência criminal.

Frente a este cenário, a solução que me parece melhor é o próprio Estado desenvolver um sistema de apoio decisório baseado em inteligência artificial, com as seguintes características:

1. Ter sua construção condicionada à realização de uma pesquisa junto aos magistrados (priorizando criminalistas) para determinar aquilo que mais recorrentemente surge como dimensão a ser maximizada através da dosimetria.

2. Apoiar-se em simulações capazes de mostrar a incorporação destes princípios.

Aqui está certamente a parte mais complicada de todas, não por seus aspectos matemáticos, mas porque só tem alguma chance de funcionar se os encarregados verterem-se sobre os milhares de estudos jurídicos existentes sobre o tema para extrair entendimentos neste momento de ausência de dados. Mais do que um ou outro doutorado, é possível criar uma área inteira em torno desta questão.

Na minha visão, o ideal é que, conforme este esforço evolua, o foco mova-se em sentido à conversão da própria teoria do direito em diretrizes implementadas no código dos algoritmos.

Vale notar que, de maneira modesta, já estamos fazendo isso em relação à economia, no desenho dos chamados contratos inteligentes em sistemas de blockchain. Eu mesmo estou com um time dedicado a isso.

3. Permitir ao magistrado customizar a função utilidade, a partir de sua visão de mundo, caso a caso. O resultado será dado por diferentes escores, cada um deles consonante com um conjunto pré-estabelecido de aspirações filosóficas e sociais.

4. Contar com dois painéis adicionais: um em que o profissional possa ver simultaneamente todas os escores que o sistema é capaz de produzir e outro com uma estimativa da pena média atribuída por todos os outros magistrados utilizando o sistema. Esta última parte deve permitir encontrar como cada um decidiu na prática nos casos usados para esta estimativa, simplesmente clicando sobre o gráfico.

Esse seria uma estaca zero minimamente adequada. Porém, tal sistema continuaria sofrendo do grave problema de usar a foto (escore), ao invés do filme (monitoramento). Isso não é desejável por razões que expliquei em meu ensaio da semana passada, ao mesmo tempo em que impõe um desafio muito delicado já que um Estado que atropela a privacidade para controlar a criminalidade através de estratégias de monitoramento (o malhado Estado-Pan-Óptico) é pior do que outro, totalmente analógico.

Antevejo duas estratégias relativamente simples para capturar o filme sem sequestrar a privacidade.

A primeira envolve o monitoramento de dados extrínsecos à ação do réu, utilizando-os para responder à seguinte pergunta: "quanto a atitude desta pessoa é estatisticamente desviante?".

Na minha visão, um monitoramento continuado da criminalidade nas diferentes regiões do país, associado a indicadores econômicos poderia ajudar o magistrado a inferir o quanto o contexto tem de efetiva importância na ação individual.

Não é nada que faça sentido aplicar indistintamente. Mas, na medida em que o magistrado acredite que, por exemplo, em uma época de especial penúria na qual os furtos estão crescendo, a ação individual de um furtador ao menos em parte reflete mais essa tendência do que seus brios criminosos – e vice e versa – ele poderá usar a opção "ponderar pelo contexto", antes que alguma recomendação apareça em tela.

Por exemplo, o acusado furtou algo de baixo valor (dois queijos); o juiz entende que deve aplicar o "princípio da insignificância" o qual diz que…bom, é óbvio.

Um ano depois, o mesmo sujeito furta outra coisa menor (uma caixa de leite); se o juiz tivesse apoiando-se no algoritmo da Compas, ele provavelmente veria na tela um escore alto para o réu (dado que, tendo reincidido uma vez, suas chances de fazê-lo novamente vão para o espaço) e, mais gravemente, o sistema incorporaria o perfil do típico ladrão de galinhas entre aqueles que reincidem, fazendo recomendações mais duras para pessoas dotadas de características semelhantes (leia-se: pobres, moradores de regiões pouco urbanizadas, muitas vezes passando fome).

Em contraste, um monitoramento como este que descrevo acima faria o oposto, em linha com a visão do STF que a reincidência não agrava a insignificância.

A segunda sugestão é mais centrada na pessoa. No meu entendimento, após o encarceramento, os dados de comportamento deveriam continuar sendo inseridos no sistema (e armazenadas em um blockchain), o que por sua vez deveria produzir recomendações relacionadas a progressões de regime. Assim, o juiz teria a sua disposição este acompanhamento da jornada daquele julgou e, se quisesse, poderia ativar notificações para acompanhar mais de perto os casos de interesse.

Isso provavelmente ajudaria a desafogar um pouco o sistema penitenciário. Em paralelo, os presos teriam um incentivo claro para se comportarem adequadamente, uma vez que saberiam que, para além da subjetividade do juiz e do charme de seus advogados, existiria um sistema baseado em dados dando apoio decisório a decisões críticas para suas vidas.

O uso de sistemas de apoio decisório baseados em inteligência artificial está crescendo rapidamente. Em breve, deverão fazer parte da rotina dos magistrados brasileiros.

Este movimento é mais uma manifestação da hegemonia da visão de mundo que diz que devemos usar manifestações extra-cerebrais de inteligência, mesmo em situações envolvendo decisões complexas. Uma parte substancial da sociedade discorda, mas ela é insuficiente para barrar a tendência.

Acredito que a maior parte do mal-estar não esteja relacionado ao aprendizado de maquina em si, mas ao fato de que esses sistemas oferecem espaços reflexivos extremamente exíguos, conforme demonstrei em relação ao Compas, paradigma para diversos outros.

Assim, segue que está no interesse de toda a sociedade a construção de sistemas que ofereçam espaço para que os magistrados possam selecionar a visão de mundo de sua preferência e vê-la surgir através do código, como um tipo específico de escore ou recomendação.

Conforme procurei demonstrar, é menos complicado do que parece.