REGULACION
Anthropic admite riesgos de uso de Claude en biología y frena cinco intentos potencialmente peligrosos
Anthropic ha publicado un informe sobre el uso indebido de la IA en el que admite que no puede descartar que Claude acabe facilitando agentes biológicos peligrosos. Dice haber frenado cinco intentos de investigaciones potencialmente riesgosas, bloqueando cuentas o restringiendo modelos. Reconoce la dificultad de distinguir trabajos de doble uso y pide cooperación con gobiernos y reguladores.
Qué ha ocurrido
Anthropic ha difundido un informe (10 de septiembre) en el que afirma haber detenido cinco intentos de usar Claude en investigaciones biológicas potencialmente peligrosas. Según la compañía, algunos investigadores trataron de sortear salvaguardas y ocultar el propósito de su trabajo; como respuesta, bloqueó cuentas o limitó el acceso a modelos menos avanzados. La empresa no pudo confirmar intención maliciosa, pero subraya la dificultad de discernir proyectos de doble uso. Uno de los casos implicaba preparar una propuesta de investigación estatal relacionada con el virus chikungunya.
Qué significa para creadores
Si tu contenido o flujos de trabajo tocan biología, salud u otros ámbitos sensibles, espera más controles y posibles restricciones de acceso a modelos avanzados. Ser transparente sobre objetivos y evitar cualquier intento de eludir salvaguardas puede prevenir bloqueos. Prevé planes de contingencia (por ejemplo, trabajar con modelos menos avanzados) y estate atento a cambios de políticas derivados de una mayor coordinación entre laboratorios, gobiernos y reguladores.
Fuente y contexto
La información procede de Xataka, que resume el informe “Detectando y combatiendo el uso indebido de la IA” de Anthropic. La compañía reconoce que sus controles actuales no garantizan evitar que modelos más capaces contribuyan a agentes biológicos dañinos, y propone abordar el riesgo con esfuerzos conjuntos entre industria, autoridades e instituciones reguladoras. Anthropic no detalla el origen de los intentos detectados.