Autora: Mariana de Lemos Campos<\/p>\n\n\n\n
O Regulamento (UE) 2024\/1689, que cria regras harmonizadas em mat\u00e9ria de Intelig\u00eancia Artificial (Regulamento da IA), representa um marco na regulamenta\u00e7\u00e3o global da Intelig\u00eancia Artificial (IA). Sua estrutura geral \u00e9 baseada em uma an\u00e1lise de risco e categoriza os sistemas de IA em quatro n\u00edveis, que v\u00e3o do \u201crisco m\u00ednimo\u201d (que n\u00e3o \u00e9 objeto do Regulamento) ao \u201cinaceit\u00e1vel\u201d (que \u00e9 proibido).<\/p>\n\n\n\n
\u00c0 primeira vista, o Regulamento parece ser eficaz, em termos de Compliance<\/em>: exige avalia\u00e7\u00f5es de risco, documenta\u00e7\u00e3o, testes e supervis\u00e3o humana.<\/p>\n\n\n\n Em rela\u00e7\u00e3o \u00e0 supervis\u00e3o humana, entretanto (definida em diversos momentos do Regulamento, mas especialmente no Artigo.\u00ba 14.\u00ba) tem-se um s\u00e9rio desafio: \u00e9 um requisito que pressup\u00f5e que os seres humanos possam monitorar e intervir de forma eficaz em opera\u00e7\u00f5es aut\u00f3nomas a todo o momento.<\/p>\n\n\n\n No mencionado artigo, aduz-se que \u201cos sistemas de IA de risco elevado devem ser concebidos e desenvolvidos de modo a poderem, nomeadamente por meio de ferramentas de interface homem-m\u00e1quina apropriadas, ser eficazmente supervisionados por pessoas singulares durante o per\u00edodo em que est\u00e3o em utiliza\u00e7\u00e3o\u201d (Artigo.\u00ba 14.\u00ba, 1).<\/p>\n\n\n\n A express\u00e3o \u201ceficazmente supervisionados\u201d na verdade quer dizer \u201cconstantemente supervisionados\u201d. E esperar que haja supervis\u00e3o humana integral \u00e9 ignorar d\u00e9cadas de pesquisa sobre a complac\u00eancia da automa\u00e7\u00e3o (ou, como aduz o pr\u00f3prio texto do Regulamento, \u201cenviesamento da automa\u00e7\u00e3o\u201d).<\/p>\n\n\n\n Embora o Regulamento mencione expressamente a necessidade de \u201cestar conscientes da poss\u00edvel tend\u00eancia para confiar automaticamente ou confiar excessivamente nos resultados produzidos pelo sistema de IA de risco elevado (enviesamento da automatiza\u00e7\u00e3o), em especial no que toca a sistemas de IA de risco elevado [\u2026]\u201d (Artigo 14.\u00ba, 4, b), parece ser esta uma mera constata\u00e7\u00e3o te\u00f3rica e superficial da exist\u00eancia do problema.<\/p>\n\n\n\n E isso \u00e9 ainda mais cr\u00edtico quando pensamos nos VAs.<\/p>\n\n\n\n Em situa\u00e7\u00f5es em que as m\u00e1quinas lidam com a maioria das tarefas (e de forma correta e eficiente), os operadores humanos gradualmente se desligam. Eles confiam na automa\u00e7\u00e3o e podem n\u00e3o conseguir reagir rapidamente quando o sistema falha. E esse n\u00e3o \u00e9 um fen\u00f3meno novo. Pesquisadores como Raja Parasuraman e Dietrich Manzey, da Psicologia Aplicada, h\u00e1 mais de uma d\u00e9cada j\u00e1 discutiam a fadiga mental e a carga cognitiva no impacto direto do desempenho humano em tarefas que exigem aten\u00e7\u00e3o ao longo do tempo. N\u00e3o conseguir manter o n\u00edvel exigido de aten\u00e7\u00e3o n\u00e3o tem a ver com pregui\u00e7a. Trata-se de uma consequ\u00eancia cognitiva da depend\u00eancia de longo prazo de sistemas que raramente precisam de interven\u00e7\u00e3o.<\/p>\n\n\n\n O fen\u00f3meno em que operadores humanos perdem habilidades ao interagir com sistemas altamente automatizados (\u201cout-of-the-loop performance problem\u201d) j\u00e1 \u00e9 analisado desde os anos 1980 (utilizado especialmente no contexto da controle de tr\u00e1fego a\u00e9reo) e destaca que, quando os humanos n\u00e3o est\u00e3o continuamente envolvidos numa atividade, eles perdem a consci\u00eancia situacional e a capacidade de reagir quando algo d\u00e1 errado.<\/p>\n\n\n\n Portanto, embora o Regulamento da IA exija supervis\u00e3o humana, n\u00e3o lida com as limita\u00e7\u00f5es psicol\u00f3gicas e operacionais dessa supervis\u00e3o. Apenas pressup\u00f5e que a simples atribui\u00e7\u00e3o de responsabilidade a um ser humano e a men\u00e7\u00e3o de que pode haver complac\u00eancia da automa\u00e7\u00e3o s\u00e3o suficientes. Na pr\u00e1tica, um operador de VA n\u00e3o est\u00e1 a supervisionar: ele est\u00e1 fadado a falhar.<\/p>\n\n\n\n Embora o Regulamento da IA tenha sido submetido a uma extensa negocia\u00e7\u00e3o institucional e inclua contribui\u00e7\u00f5es das partes interessadas do setor e da sociedade civil, sua estrutura continua sendo principalmente focada em tecnocracia. Especialmente quanto aos VAs, parece ser visto principalmente como um desafio t\u00e9cnico de seguran\u00e7a e compliance<\/em>, e n\u00e3o como uma quest\u00e3o social e pol\u00edtica que envolve no\u00e7\u00f5es de seguran\u00e7a.<\/p>\n\n\n\n Sem ser demasiado pessimista, \u00e9 necess\u00e1rio reconhecer que a promessa do Regulamento da IA \u00e9 real: introduz obriga\u00e7\u00f5es de transpar\u00eancia, documenta\u00e7\u00e3o e supervis\u00e3o que podem ajudar a controlar os usos mais nocivos da IA. <\/p>\n\n\n\n Mas a realidade \u00e9 que em contextos como o dos VAs, em que o controle humano \u00e9 mais simb\u00f3lico do que real, esses mecanismos podem ser insuficientes. <\/p>\n\n\n\n Se dependermos de uma supervis\u00e3o humana (que n\u00e3o ocorre – nem poder\u00e1 ocorrer – de forma confi\u00e1vel), corremos o risco de transformar a implanta\u00e7\u00e3o dos VAs em um arriscado experimento p\u00fablico de consequ\u00eancias danosas.<\/p>\n\n\n\n <\/p>\n\n\n\n