El informe fue publicado en sus redes oficiales. Anthropic explicó que era el informe de inteligencia sobre amenazas más detallado hasta la fecha.
Entre otras cosas, declararon haber frustrado este año varios complots potenciales de científicos que utilizaron sus avanzados modelos de inteligencia artificial para llevar a cabo investigaciones que podrían haber contribuido al desarrollo de armas biológicas.
En general, el informe aborda “cómo se intentó utilizar indebidamente Claude —para ciberataques, operaciones de influencia, vigilancia, biología y fabricación de armas— y cómo detectamos y detuvimos dichas acciones”, explicaron.
Le puede interesar: ¿En realidad la IA podría matarnos antes de 2030? La advertencia del extrabajador de Anthropic que generó debate
El informe describió el uso indebido de sus modelos de IA, pero como no pudo determinar si era una investigación biológica válida, es decir, si tenía un propósito legítimo, o si, por el contrario, su objetivo era malicioso, por ello optaron por ser cautelosos “dado que las consecuencias de no detectar actividades maliciosas podrían ser graves”, manifestaron.
Pero esto deja claro que la IA sabe lo que hace cada usuario y cómo la usa, o por lo menos las empresas que la manejan, tanto así que el mismo Jacob Klein, jefe de inteligencia de amenazas de Anthropic, dijo en una entrevista (que NYT no precisa si fue propia) que esto: “No se trata de un caso de cómic en el que alguien diga: ‘Quiero crear un arma biológica para matar a todo el mundo’, es en realidad una situación increíblemente compleja”.
Este tema de las armas biológicas es muy complejo dado el potencial de los modelos de IA de vanguardia para facilitar el desarrollo de patógenos biológicos conocidos o completamente nuevos. Esa, dice el medio norteamericano, es una de las mayores preocupaciones de los expertos sobre una tecnología que se desarrolla tan rápidamente que incluso sus principales arquitectos dudan de que los humanos puedan controlarla por completo.
Andrew Weber, investigador sénior del Consejo de Riesgos Estratégicos, quien revisó el informe de Anthropic antes de su publicación, afirmó al NYT que los hallazgos eran “ejemplos escalofriantes de desarrolladores de armas biológicas patrocinados por estados que aprovechan las capacidades en rápido avance” de los principales modelos de IA.
Puede leer: “Hay un 10% de probabilidad de que la IA acabe con la humanidad en una década”, dice Geoffrey Hinton, el ‘padrino’ de esa tecnología
Pero no fue lo único. Anthropic dijo que tras todos estos intentos, “interrumpimos todas las operaciones descritas en el informe y utilizamos las lecciones aprendidas para reforzar nuestras medidas de seguridad. Asimismo, cuando resultó pertinente, compartimos nuestros hallazgos con las autoridades y con otras empresas de inteligencia artificial”.
De igual manera precisaron que estos casos no eran habituales; “destacamos algunos de los ejemplos más sofisticados de uso indebido que hemos observado. Sin embargo, es fundamental analizarlos, ya que nos muestran hacia dónde se dirige el uso indebido de la IA, así como qué medidas de seguridad funcionan y cuáles requieren mejoras”.
La idea de hacer público el informe es que otras organizaciones puedan identificar actividades similares en sus propias plataformas “y para ofrecer al público una visión más clara de cómo evolucionan las amenazas emergentes”.
Más hallazgos
Fue en los últimos ocho meses en los que su equipo de inteligencia sobre amenazas identificó y neutralizó operaciones en las que diversos actores intentaron utilizar Claude para actividades maliciosas.
“Entre los actores de amenazas analizados en este informe se incluyen presuntos grupos patrocinados por estados, delincuentes motivados por el lucro económico, proveedores comerciales de software espía, instituciones estatales de propaganda e individuos con motivaciones políticas. Los casos abarcan desde una red de aplicaciones de citas falsas diseñadas para estafar a los usuarios hasta sistemas de vigilancia creados para identificar y monitorear a disidentes”.
Hay casos de medios estatales rusos –como lo detalló el NYT– que utilizaron Claude para generar propaganda en línea disfrazada de periodismo independiente, incluyendo afirmaciones falsas sobre una elección en Moldavia.
Puede leer: La IA podría dejar sin empleo a uno de cada cinco trabajadores de oficina para 2030: Anthropic
Otro más que intentó usar Claude para desarrollar software para el diseño y desarrollo de armas convencionales, incluyendo armas de fuego, misiles, drones armados y bombas. Estos casos fueron identificados en China, dos en Rusia y uno más en Yemen.
En el informe no hay nombres propios, ni se revelan empresas o instituciones bloqueadas, pero sí se supo que “los científicos eludieron sus controles, diseñados para impedir que usuarios de regiones bloqueadas accedieran a sus modelos de IA, y que trabajaron para ocultar el propósito de su investigación y evadir nuestras medidas de seguridad”.
Pero definitivamente uno de los temas que más preocupan es el de la creación de armas biológicas. Susan Monarez, microbióloga y experta en salud pública que supervisó una evaluación de la preparación nacional en materia de bioseguridad durante la administración de Barack Obama, también revisó el informe de Anthropic antes de su publicación.
Entérese: Aquí podrá reportar los errores y daños causados por ChatGPT, Claude, Gemini y otras inteligencias artificiales
Le contó a NYT que los hallazgos aportaban pruebas del mundo real que respaldaban la preocupación de que actores malintencionados intentaran utilizar de forma encubierta IA avanzada “para aumentar sus probabilidades de crear patógenos biológicos capaces de causar daños considerables”.
Insistieron desde Anthropic que este informe, ahora público, pueda ayudar a otros desarrolladores a identificar patrones similares en sus propias plataformas, “ofrezcan a los gobiernos y a la sociedad civil una visión más clara de cómo se manifiestan las amenazas emergentes y refuercen las defensas colectivas”.
Anthropic ha sido noticia esta semana tras las declaraciones de Jacob Coxon, uno de sus empleados que anunció su renuncia y los peligros que veía a la IA para los próximos años, “nos podría matar”. Pero tras las declaraciones de Coxon aún guardan silencio sobre ese tema.
Para consultar contenido prémium o profundizar sobre sus temas de interés de Medellín, Antioquia, Colombia y el mundo, regístrese aquí.
Bloque de preguntas y respuestas:
- ¿Qué descubrió Anthropic sobre el uso de su inteligencia artificial Claude?
- Anthropic informó que detectó y bloqueó varios intentos de utilizar su modelo de inteligencia artificial Claude para actividades potencialmente peligrosas, incluyendo investigaciones relacionadas con armas biológicas, ciberataques, vigilancia, operaciones de influencia y desarrollo de armamento.
- ¿Por qué Anthropic bloqueó a científicos que usaban Claude?
- La compañía explicó que identificó investigaciones que podrían contribuir al desarrollo de armas biológicas. Aunque no siempre fue posible determinar si tenían fines legítimos o maliciosos, decidió intervenir por precaución debido al riesgo que representan este tipo de actividades.
- ¿Cómo detectó Anthropic los intentos de crear armas biológicas con IA?
- Según el informe, los investigadores intentaron ocultar el propósito de sus consultas y evadir los sistemas de seguridad de la plataforma. Anthropic aseguró que sus equipos de inteligencia de amenazas detectaron patrones sospechosos y bloquearon las actividades antes de que avanzaran.
Regístrate al newsletter