O Conselho Nacional de Justiça (CNJ) aprovou, em reunião realizada na quarta-feira (27), um conjunto de medidas voltadas para aumentar a segurança no uso de Sistemas de Inteligência Artificial (IA) no âmbito do Poder Judiciário Brasileiro. A iniciativa surge da necessidade de prevenir que documentos apresentados em processos judiciais contenham comandos ocultos que possam manipular os sistemas utilizados pelos tribunais.
Em Mato Grosso do Sul, um escritório de advocacia reconheceu a existência de irregularidades relacionadas a esse tipo de manipulação em 28 ações judiciais neste ano. A decisão do CNJ foi pautada por uma manifestação técnica do Comitê Nacional de Inteligência Artificial, que destacou o risco da chamada “injeção de comandos” em arquivos processuais. Essa prática ocorre quando uma pessoa insere ordens de forma disfarçada dentro de documentos, podendo estar em textos invisíveis ou informações inseridas inadequadamente.
Esses comandos ocultos, ao serem analisados por ferramentas de IA, podem levar os sistemas a ignorar normas estabelecidas, distorcer respostas ou até mesmo expor informações que deveriam permanecer confidenciais. Rodrigo Badaró, conselheiro e presidente do Comitê Nacional, enfatizou que o objetivo é proteger a integridade dos processos, evitando que a tecnologia se distancie do conteúdo real dos autos.
O estudo que embasou as novas diretrizes foi desenvolvido pelo Comitê de IA, contando com a colaboração do Departamento de Tecnologia da Informação do CNJ e do Programa Conecta. As orientações estabelecem como os documentos devem ser preparados antes de sua análise por ferramentas de IA e ressaltam a importância da verificação das respostas por parte de juízes e servidores.
O CNJ busca deixar claro que a IA deve ser uma ferramenta de apoio, e não um substituto da análise humana. Isso implica que magistrados e servidores continuam a ter a responsabilidade de confirmar a precisão das respostas geradas pelos sistemas, garantindo que estejam em conformidade com as informações dos processos.
Além disso, foi aprovado o PROSEG-IA (Programa de Segurança Adversarial), que visa proteger os sistemas de IA contra tentativas de manipulação por meio de documentos adulterados ou comandos ocultos. A proposta estipula que os sistemas responsáveis pela análise de documentos devem registrar nos autos qualquer material considerado suspeito, como comandos escondidos em textos invisíveis, permitindo que magistrados sejam informados e que a situação seja devidamente apurada.
