IA

Anthropic activa sus normas contra la IA que se mejora a sí misma

Adrian Kessler
Añádenos en Google

Anthropic ha concluido formalmente que la inteligencia artificial ya está acelerando su propia investigación lo suficiente como para cruzar un límite que la empresa se había fijado. En la versión modificada de su folleto de salida a bolsa, la compañía creadora de Claude afirma que ha alcanzado el umbral de capacidad de investigación y desarrollo de IA establecido en su Responsible Scaling Policy, el reglamento interno que determina cuánta seguridad y supervisión necesitan sus modelos. La política describe ese umbral como el inicio de la automejora recursiva: el punto en el que los sistemas de IA empiezan a acelerar el trabajo necesario para crear una IA mejor.

Lo que hace inusual esta conclusión es aquello en lo que no se basa. Anthropic escribe que ha llegado a ella «a partir de lo que esperamos de los futuros modelos y de nuestro ritmo general de progreso, no de lo que hemos observado en los modelos actuales». No se ha demostrado que ningún modelo de Claude disponible a la venta haya cruzado ese límite. La empresa actúa basándose en sus propias previsiones y se lo comunica a los inversores antes de que sus acciones empiecen a cotizar.

Las pruebas que señala son internas. El folleto afirma que Claude redactó más del 90 % de las aportaciones a la base de código de Anthropic durante un mes reciente, y que el volumen de código que aporta cada ingeniero al día se ha multiplicado por más de 45. Anthropic añade que sus modelos «escriben una parte grande y cada vez mayor de nuestro código y realizan cada vez más tareas de investigación, incluida la investigación sobre seguridad».

La política establece dos formas de alcanzar este umbral. La primera es que un modelo pueda sustituir por completo a todo el equipo de científicos e ingenieros de investigación de Anthropic a un coste competitivo. La segunda es una «aceleración drástica» del progreso de la IA, que la política define como concentrar aproximadamente dos años de avances en uno, algo que podría deberse a la investigación automatizada. Como esta segunda prueba se cumple si la empresa puede «observar o prever» un salto de ese tipo, basta con una previsión para activarla.

Cruzar el límite obliga a Anthropic a adoptar un conjunto más amplio de salvaguardas. La política exige proyectos de seguridad «de máxima ambición» frente a los atacantes mejor financiados del mundo, así como un estado de «vigilancia total» en el que todas las actividades críticas de desarrollo de IA queden registradas y sean analizadas por una IA para detectar amenazas, también las procedentes de personas internas, sean humanas o máquinas. Además, su equipo interno de pruebas de seguridad debe encontrar más maneras de sortear las protecciones que todos los investigadores externos de sus programas de recompensas por errores juntos. El folleto afirma que la empresa ya retrasó más de un mes el preentrenamiento de un nuevo modelo de frontera para reforzar las protecciones contra el robo de los pesos del modelo, y que estudia establecer normas que exijan la aprobación de una persona para algunas decisiones de investigación, a medida que Claude asume más tareas de ese tipo.

Para quienes utilizan Claude en el trabajo o Claude Code, el efecto práctico podría ser un ritmo de lanzamientos más lento. La carta de los fundadores publicada junto con la documentación de la salida a bolsa señala que puede haber ocasiones en las que Anthropic decida «avanzar más despacio de lo que podríamos para que nuestros sistemas sean más seguros, aunque eso nos coloque en una posición competitiva desfavorable». Hoy no cambia nada en las aplicaciones.

La conclusión es una autoevaluación conforme a una política voluntaria redactada por Anthropic, que la empresa puede modificar, y ningún auditor externo la ha confirmado. La propia política reconoce que «ha resultado difícil convertir el umbral en criterios operativos», y el documento admite que buena parte de las pruebas procede de indicadores retrospectivos, por lo que quizá solo se detecte una aceleración real después de que se haya producido. Además, las advertencias sobre riesgos incluidas en un folleto de salida a bolsa también se redactan para proteger a la empresa frente a futuras demandas; una versión anterior del mismo documento, según informó Gizmodo, se limitaba a decir que Anthropic «podría cumplir los criterios en breve».

Anthropic afirma que sigue evaluando los datos subyacentes y que publicará nuevos informes sobre lo que implica alcanzar el umbral. Está previsto que el precio de sus acciones se fije el 18 de noviembre y que empiecen a cotizar en el Nasdaq con el símbolo ANT el 19 de noviembre, dentro de una horquilla propuesta de entre 70 y 78 dólares por acción. Por ahora, la única prueba de que se ha cruzado el límite es la propia previsión de Anthropic.

Etiquetas: , , , , ,

Añádenos en Google

Debate

Hay 0 comentarios.