El director ejecutivo de Anthropic pide que se ralentice el desarrollo de la IA.

OpenAI ha declarado que "la importancia de la actividad de comunicación entre agentes no fue evidente para los líderes" hasta julio, y que, como resultado, la empresa estaba ralentizando el entrenamiento de ciertos modelos y herramientas de IA avanzadas, señalando que ahora existía un mayor riesgo de que las herramientas de IA se descontrolaran.

En su ensayo, Amodei abogó por "desarrollar la IA a un ritmo equilibrado que garantice su seguridad sin dejar de obtener sus beneficios".

Esto no significaría "detener la capacitación en modelos o el progreso técnico, sino garantizar que las empresas se tomen el tiempo suficiente para alinear y salvaguardar sus modelos, y que evaluadores externos lo confirmen".

Estaba comprometiendo a Anthropic a esto "unilateralmente", además de pedir a los gobiernos "que exijan a otras empresas emergentes que hagan lo mismo".

Amodei afirmó reconocer que la regulación podría no ser capaz de seguir el ritmo de la IA y, por lo tanto, hizo un llamamiento a las empresas de IA para que "colaboren voluntariamente para establecer estándares" en paralelo con la regulación.

El director ejecutivo de Anthropic procedió a abordar el impacto que una desaceleración tendría en la industria y la competencia con los principales desarrolladores a nivel mundial, en particular China.

"Creo que si ralentizar el proceso nos diera incluso uno o dos años adicionales antes de que los modelos alcancen niveles críticos de capacidad, y usáramos ese tiempo para avanzar en la alineación, podríamos reducir enormemente el riesgo de que algo salga muy mal", dijo Amodei.

Esto tendría que hacerse de forma coordinada, "sin sacrificar la ventaja comercial ni el liderazgo de Estados Unidos en inteligencia artificial". Cualquier desaceleración tendría que ser limitada, afirmó, para evitar que China tomara la delantera.

Instó al gobierno estadounidense a que tomara medidas para que los chips de IA de las empresas estadounidenses no pudieran venderse a China, ni que la tecnología se compartiera con países autoritarios.

La publicación de Amodei ha generado una amplia gama de reacciones.

Clement Delangue, director ejecutivo de la plataforma de IA Hugging Face, anunció el lanzamiento de un nuevo proyecto llamado Open Alignment Initiative, y añadió que quería formar parte de los "evaluadores integrados" que Amodei propuso como posibles soluciones.

El juego Hugging Face fue hackeado por agentes de OpenAI a principios de este año, lo que provocó una gran controversia sobre la seguridad de la IA.

"Hagamos que la IA sea más segura haciéndola más transparente", escribió Delangue en X.

Elon Musk también expresó su apoyo, escribiendo que "Dario tiene razón".

Musk, cuya empresa SpaceXAI crea el controvertido chatbot Grok, llegó a calificar a Anthropic de "malvada", pero ha cambiado de opinión desde que firmó un acuerdo de 15.000 millones de dólares para vender capacidad informática a Anthropic en mayo.

Sin embargo, algunos observadores sugirieron que la publicación de Amodei tenía menos que ver con la seguridad que con consolidar el control sobre la tecnología de IA.

"Dario argumenta a favor de detener el código abierto y concentrar un enorme poder tecnológico y económico en Anthropic", escribió Chamath Palihapitiya, inversor y copresentador del podcast tecnológico "All-In".

La idea de ralentizar o incluso paralizar el desarrollo de la IA ha sido recibida con cinismo durante mucho tiempo en ciertos sectores de Silicon Valley, y los críticos acusan a los principales desarrolladores de IA de exagerar su tecnología como estrategia de marketing.

Según se informa, tanto Anthropic como OpenAI se están preparando para ofertas públicas iniciales que podrían batir récords.