Empresa afirmou que não conseguiu determinar se as atividades tinham finalidade legítima ou maliciosa, mas suspendeu as contas diante dos riscos envolvidos; informações foram publicadas pelo The New York Times
A empresa de inteligência artificial Anthropic afirmou ter interrompido diferentes atividades de pesquisadores que utilizavam seus modelos para trabalhos científicos com potencial de contribuir para o desenvolvimento de armas biológicas.
As informações foram publicadas pelo The New York Times, com base em um novo relatório de inteligência de ameaças divulgado pela companhia nesta quinta-feira (10).
A Anthropic ressaltou que não conseguiu determinar se as pesquisas tinham finalidade legítima ou maliciosa. Estudos biológicos avançados podem ajudar na criação de vacinas e tratamentos, mas as mesmas técnicas também podem ser utilizadas para tornar vírus e outros agentes infecciosos mais perigosos.
Diante dessa incerteza, a empresa decidiu bloquear as contas associadas às atividades. Segundo a companhia, as consequências de permitir a continuidade de uma pesquisa mal-intencionada poderiam ser graves demais para ignorar os sinais identificados.
Empresa não confirmou tentativa de produzir armas biológicas
Apesar da preocupação gerada pelo relatório, a Anthropic não afirmou ter comprovado a existência de planos concretos para fabricar ou utilizar armas biológicas.
A dificuldade está no chamado uso duplo da pesquisa científica. Técnicas empregadas para compreender a transmissão de doenças, desenvolver medicamentos ou preparar vacinas também podem aumentar a capacidade de manipular agentes infecciosos.
Jacob Klein, chefe de inteligência de ameaças da Anthropic, explicou ao The New York Times que os casos não envolviam usuários declarando abertamente a intenção de produzir uma arma.
Segundo o executivo, as situações eram complexas e precisavam ser analisadas a partir do contexto, do comportamento das contas e da natureza das solicitações apresentadas ao Claude.
A decisão de interromper os trabalhos foi preventiva e não representa a comprovação de que os pesquisadores estavam desenvolvendo armamentos.
Pesquisadores teriam tentado contornar mecanismos de segurança
A Anthropic afirmou que alguns pesquisadores contornaram controles criados para impedir o acesso aos modelos a partir de regiões bloqueadas.
As contas também teriam adotado estratégias para ocultar a finalidade das pesquisas e evitar os sistemas de segurança do Claude.
Esse comportamento aumentou a preocupação da empresa. Mesmo sem conseguir comprovar uma intenção criminosa, a tentativa de esconder o objetivo dos trabalhos foi tratada como um sinal de risco.
A companhia não divulgou os nomes dos pesquisadores, das instituições envolvidas ou dos países aos quais estavam ligados. Também preservou detalhes sobre os agentes biológicos analisados para evitar a exposição de informações sensíveis.
As contas associadas às atividades foram banidas da plataforma.
Pesquisa envolvia mutações no vírus da chikungunya
Um dos casos identificados aconteceu em maio. Um cientista procurou a ajuda do Claude para elaborar um pedido de financiamento destinado a uma pesquisa sobre o vírus da chikungunya.
Transmitida principalmente pelo mosquito Aedes aegypti, a chikungunya pode causar febre, dores intensas nas articulações e sintomas persistentes durante meses.
O projeto envolvia uma técnica conhecida como ganho de função, utilizada para alterar geneticamente um organismo e produzir ou ampliar determinada característica biológica.
Segundo a Anthropic, o objetivo apresentado incluía a produção de mutações que poderiam afetar a transmissibilidade do vírus, sua capacidade de escapar da resposta imunológica e os efeitos provocados durante infecções sucessivas em animais.
A preocupação aumentou porque a empresa identificou que o trabalho seria realizado em uma instituição militar de pesquisa.
Pesquisa de ganho de função pode ter uso legítimo
Estudos de ganho de função não são necessariamente destinados à produção de armas biológicas.
Esse tipo de pesquisa pode ser utilizado para compreender como vírus sofrem mutações, identificar características que aumentam a transmissão e antecipar possíveis ameaças à saúde pública.
As informações obtidas também podem contribuir para o desenvolvimento de vacinas, medicamentos e sistemas de vigilância epidemiológica.
O risco está na possibilidade de criar versões mais transmissíveis, resistentes ou nocivas de agentes infecciosos. Um acidente em laboratório ou o uso deliberadamente malicioso dos resultados poderia provocar consequências graves.
No caso relatado, a Anthropic declarou não saber se o projeto pretendia transformar o vírus em uma arma.
A combinação entre pesquisa de ganho de função, tentativa de ocultar objetivos e ligação com uma instituição militar levou a empresa a interromper o acesso por precaução.
Modelos mais avançados ampliam capacidade de pesquisa
A Anthropic afirmou que avaliações realizadas com versões anteriores de seus modelos indicavam que eles ainda não eram capazes de oferecer ajuda significativa para pesquisas biológicas perigosas.
Os modelos atuais, entretanto, conseguem executar tarefas científicas mais complexas, organizar informações, revisar hipóteses e auxiliar na elaboração de projetos.
Esse avanço pode acelerar pesquisas médicas legítimas, mas também aumenta o risco de utilização por pessoas ou instituições interessadas em desenvolver agentes biológicos nocivos.
Como resposta, a empresa declarou ter reforçado seus sistemas de segurança para restringir consultas envolvendo determinadas áreas de pesquisa biológica de uso duplo.
O relatório representa uma das primeiras vezes em que uma companhia de inteligência artificial descreve casos reais de pesquisadores tentando utilizar modelos avançados em atividades biológicas consideradas preocupantes, fora de testes controlados de segurança.
Especialistas alertam para risco de agentes mal-intencionados
Susan Monarez, especialista em microbiologia e saúde pública, avaliou o relatório antes da publicação.
Segundo ela, os casos indicam que agentes mal-intencionados podem tentar utilizar sistemas avançados de inteligência artificial enquanto apresentam suas atividades como pesquisas científicas legítimas.
A especialista também destacou que a tecnologia possui enorme potencial para acelerar descobertas médicas, prolongar vidas e criar novos tratamentos.
O mesmo conhecimento, entretanto, poderia permitir que determinados usuários desenvolvessem patógenos difíceis de identificar e controlar.
Andrew Weber, pesquisador do Council on Strategic Risks e ex-integrante do Departamento de Defesa dos Estados Unidos, também analisou o documento.
Para Weber, modelos capazes de auxiliar pesquisas biológicas desse nível deveriam ser disponibilizados apenas a pesquisadores e instituições consideradas confiáveis.
Relatório também aponta uso do Claude para armas convencionais
Os riscos biológicos representam apenas uma das categorias apresentadas no relatório da Anthropic.
A empresa também identificou tentativas de utilizar o Claude para desenvolver programas relacionados à criação de armas de fogo, mísseis, drones armados e explosivos.
Foram descritos três casos associados à China, dois à Rússia e um ao Iêmen. A Anthropic não identificou nominalmente os responsáveis pelo episódio registrado em território iemenita.
Segundo a reportagem do The New York Times, o contexto indicaria uma possível relação com o grupo Houthi, apoiado pelo Irã. A utilização de inteligência artificial por organizações terroristas vem sendo acompanhada por autoridades de segurança dos Estados Unidos.
O relatório não apresenta detalhes técnicos sobre os projetos, medida destinada a impedir que a divulgação facilite a reprodução das atividades.
Claude teria sido usado em vigilância e propaganda
A Anthropic também relatou casos de possível uso de seus modelos por agentes ligados aos governos da China e do Irã.
As atividades teriam como objetivo monitorar integrantes de comunidades dissidentes e cidadãos que vivem fora de seus países de origem.
Outro caso envolveu a utilização do Claude por meios de comunicação ligados ao governo russo. Segundo a empresa, o modelo foi empregado para produzir propaganda apresentada como se fosse conteúdo jornalístico independente.
Entre os materiais identificados estavam afirmações fabricadas sobre uma eleição na Moldávia.
Esses episódios reforçam a preocupação sobre a utilização de modelos generativos para produzir textos em grande escala, imitar veículos de comunicação e ampliar campanhas de desinformação.
Intenção dos pesquisadores continua desconhecida
A Anthropic não afirmou ter encontrado uma tentativa confirmada de produção de armas biológicas.
O relatório apresenta casos nos quais a natureza das pesquisas, as instituições envolvidas e as tentativas de contornar as regras produziram um nível de risco considerado alto demais para permitir a continuidade do acesso.
A ausência de uma conclusão sobre as intenções dos cientistas é central para compreender o episódio. Uma investigação sobre vírus pode contribuir tanto para a prevenção de doenças quanto para a criação de ameaças.
Por isso, a empresa declarou ter escolhido uma resposta preventiva, encerrando as contas mesmo sem provas definitivas de que os projetos seriam transformados em armas.
As revelações foram publicadas originalmente pelo The New York Times, que teve acesso ao relatório e entrevistou representantes da Anthropic e especialistas em biossegurança.
Crédito das informações: The New York Times, com dados do relatório de inteligência de ameaças da Anthropic.
