A LGPD garante a qualquer pessoa o direito de pedir a revisão de decisões tomadas unicamente com tratamento automatizado que afetem seus interesses. André de Barros Faria, CEO da Vert Analytics e especialista em IA e inteligência analítica, comenta que a mesma lei prevê que a organização responsável forneça informações claras sobre os critérios e procedimentos utilizados.
Esse dispositivo transforma a explicabilidade em requisito de projeto, e não em detalhe técnico. Um sistema que decide, mas não consegue dizer por quê, deixa a organização sem resposta justamente quando ela é cobrada. Portanto, entender o que torna uma IA explicável ajuda a evitar esse impasse antes que ele aconteça.
O que significa uma IA ser explicável?
Explicar uma decisão não é abrir o código do modelo. Para quem foi afetado, o código não diz nada. O que importa é saber quais fatores pesaram, em que direção e com que intensidade, numa linguagem que uma pessoa sem formação técnica consiga acompanhar.
Especialistas costumam distinguir dois níveis. A explicação global descreve como o modelo funciona de modo geral, ou seja, quais variáveis ele considera mais relevantes no conjunto das decisões. A explicação local trata de um caso específico e responde à pergunta que o cidadão ou o cliente realmente faz: por que esta decisão saiu assim para mim?
Por que modelos mais precisos costumam ser mais difíceis de explicar?
Uma recusa justificada apenas como pontuação insuficiente é tecnicamente verdadeira e praticamente inútil. Como frisa André de Baros Faria, ela não diz o que pesou nem o que poderia mudar o resultado. Esse tipo de resposta é comum porque os modelos de machine learning mais precisos combinam centenas de variáveis de formas que nenhuma regra simples consegue resumir.
Quanto mais complexo o modelo, maior tende a ser a distância entre o que ele calcula e o que alguém consegue descrever. Para reduzir essa distância, a ciência de dados desenvolveu técnicas que estimam a contribuição de cada variável numa decisão individual. Essas técnicas ajudam, mas não substituem uma escolha anterior: em decisões de alto impacto, às vezes vale aceitar um modelo um pouco menos preciso em troca de um raciocínio que possa ser acompanhado.
Como a explicabilidade entra no desenho de agentes e da hiperautomação?
Quando agentes autônomos de IA executam várias etapas encadeadas, a explicação não pode ser reconstruída no fim. Cada passo precisa registrar o que foi consultado, qual regra ou modelo foi aplicado e qual resultado orientou o passo seguinte.
Esse registro tem uso duplo. Internamente, permite auditar o processo e localizar com precisão onde uma decisão se desviou. Externamente, oferece a base para responder a clientes e cidadãos com fatos, e não com generalidades. Em serviços públicos, nos quais uma decisão automatizada pode afetar o acesso a direitos, essa capacidade de resposta se torna parte da própria legitimidade do serviço.
André Faria assinala que, para o executivo, que lidera uma empresa dedicada ao desenvolvimento de tecnologia própria nesse campo, a explicabilidade deve ser tratada como requisito desde a primeira versão do sistema, no mesmo nível de importância da precisão e da velocidade.
Explicar também é uma forma de corrigir
A explicação costuma ser vista como uma obrigação voltada para fora, uma resposta devida a quem foi afetado. André de Barros Faria salienta que ela tem, porém, um efeito interno tão importante quanto esse.
Ao tornar visíveis os fatores que pesaram numa decisão, a explicação expõe também erros, distorções e vieses que permaneceriam ocultos num sistema opaco. Uma variável que pesa mais do que deveria, um dado desatualizado, um critério que prejudica um grupo específico. Nada disso pode ser corrigido enquanto ninguém consegue ver. A IA explicável, nesse sentido, é menos uma concessão à transparência e mais uma condição para que a tecnologia melhore com o tempo.
