Autora: Mariana de Lemos Campos
O Regulamento (UE) 2024/1689, que cria regras harmonizadas em matéria de Inteligência Artificial (Regulamento da IA), representa um marco na regulamentação global da Inteligência Artificial (IA). Sua estrutura geral é baseada em uma análise de risco e categoriza os sistemas de IA em quatro níveis, que vão do “risco mínimo” (que não é objeto do Regulamento) ao “inaceitável” (que é proibido).
À primeira vista, o Regulamento parece ser eficaz, em termos de Compliance: exige avaliações de risco, documentação, testes e supervisão humana.
Em relação à supervisão humana, entretanto (definida em diversos momentos do Regulamento, mas especialmente no Artigo.º 14.º) tem-se um sério desafio: é um requisito que pressupõe que os seres humanos possam monitorar e intervir de forma eficaz em operações autónomas a todo o momento.
No mencionado artigo, aduz-se que “os sistemas de IA de risco elevado devem ser concebidos e desenvolvidos de modo a poderem, nomeadamente por meio de ferramentas de interface homem-máquina apropriadas, ser eficazmente supervisionados por pessoas singulares durante o período em que estão em utilização” (Artigo.º 14.º, 1).
A expressão “eficazmente supervisionados” na verdade quer dizer “constantemente supervisionados”. E esperar que haja supervisão humana integral é ignorar décadas de pesquisa sobre a complacência da automação (ou, como aduz o próprio texto do Regulamento, “enviesamento da automação”).
Embora o Regulamento mencione expressamente a necessidade de “estar conscientes da possível tendência para confiar automaticamente ou confiar excessivamente nos resultados produzidos pelo sistema de IA de risco elevado (enviesamento da automatização), em especial no que toca a sistemas de IA de risco elevado […]” (Artigo 14.º, 4, b), parece ser esta uma mera constatação teórica e superficial da existência do problema.
E isso é ainda mais crítico quando pensamos nos VAs.
Em situações em que as máquinas lidam com a maioria das tarefas (e de forma correta e eficiente), os operadores humanos gradualmente se desligam. Eles confiam na automação e podem não conseguir reagir rapidamente quando o sistema falha. E esse não é um fenómeno novo. Pesquisadores como Raja Parasuraman e Dietrich Manzey, da Psicologia Aplicada, há mais de uma década já discutiam a fadiga mental e a carga cognitiva no impacto direto do desempenho humano em tarefas que exigem atenção ao longo do tempo. Não conseguir manter o nível exigido de atenção não tem a ver com preguiça. Trata-se de uma consequência cognitiva da dependência de longo prazo de sistemas que raramente precisam de intervenção.
O fenómeno em que operadores humanos perdem habilidades ao interagir com sistemas altamente automatizados (“out-of-the-loop performance problem”) já é analisado desde os anos 1980 (utilizado especialmente no contexto da controle de tráfego aéreo) e destaca que, quando os humanos não estão continuamente envolvidos numa atividade, eles perdem a consciência situacional e a capacidade de reagir quando algo dá errado.
Portanto, embora o Regulamento da IA exija supervisão humana, não lida com as limitações psicológicas e operacionais dessa supervisão. Apenas pressupõe que a simples atribuição de responsabilidade a um ser humano e a menção de que pode haver complacência da automação são suficientes. Na prática, um operador de VA não está a supervisionar: ele está fadado a falhar.
Embora o Regulamento da IA tenha sido submetido a uma extensa negociação institucional e inclua contribuições das partes interessadas do setor e da sociedade civil, sua estrutura continua sendo principalmente focada em tecnocracia. Especialmente quanto aos VAs, parece ser visto principalmente como um desafio técnico de segurança e compliance, e não como uma questão social e política que envolve noções de segurança.
Sem ser demasiado pessimista, é necessário reconhecer que a promessa do Regulamento da IA é real: introduz obrigações de transparência, documentação e supervisão que podem ajudar a controlar os usos mais nocivos da IA.
Mas a realidade é que em contextos como o dos VAs, em que o controle humano é mais simbólico do que real, esses mecanismos podem ser insuficientes.
Se dependermos de uma supervisão humana (que não ocorre – nem poderá ocorrer – de forma confiável), corremos o risco de transformar a implantação dos VAs em um arriscado experimento público de consequências danosas.
© fotografia: https://blog.sintef.com/digital-en/automated-vehicles-how-to-keep-humans-in-control/
