La renuncia de Jacob Coxon a Anthropic provocó una cadena de advertencias, algunas incluso desde el interior de la propia compañía.
El investigador, que trabajó durante tres años en el preentrenamiento de modelos de IA entre OpenAI y Anthropic, acusó a ambas empresas de correr hacia una superinteligencia capaz de mejorarse a sí misma y de estar "apostando con nuestras vidas".
Coxon habló al respecto en una serie de publicaciones en su cuenta de X, exponiendo que desarrolladores de estos sistemas creen sinceramente que la IA podría acabar con la humanidad antes de que termine la década.
La reacción más contundente ante tales declaraciones llegó de Evan Hubinger, responsable de Alignment Science en Anthropic, quien afirmó que Coxon estaba en lo correcto y estimó en más del 10 % la probabilidad de que la IA provoque la extinción humana durante los próximos 10 años.
"Creo que Anthropic está haciendo todo lo posible, pero aún no contamos con un plan para resolver el problema de la alineación con la superinteligencia y no parece que estemos claramente en camino de lograrlo", escribió Hubinger.
Asimismo, Samuel Marks, responsable de Scalable Oversight en Anthropic, se sumó a la discusión señalando que "los desarrolladores de IA creen que su tecnología podría provocar la extinción de la humanidad (o consecuencias igualmente graves)" en los próximos años.
Marks añadió que, por regla general, los empleados de mayor rango son quienes muestran más preocupación. Sin embargo, explicó que los desarrolladores continúan avanzando pese a los riesgos por "una combinación de incentivos comerciales y la creencia de que están en una carrera" contra empresas menos responsables.
Explicó que, a diferencia del 'software' tradicional, las IA no pueden ser programadas "para que se comporten como quisiéramos". "Por ejemplo, recientemente, IA de varios desarrolladores lograron hackearse para salir de entornos de evaluación seguros e infiltrarse en empresas del mundo real, aunque nadie les había pedido que lo hicieran", agregó.
Quieren "desesperadamente reducir el ritmo"
En ese sentido, sostuvo que las técnicas actuales pueden orientar a los modelos hacia un mejor comportamiento, pero no garantizan una alineación robusta. Señaló que muchos profesionales del sector quieren "desesperadamente reducir el ritmo" y citó la carta abierta Pacing the Frontier, que él y otros 1.385 trabajadores del sector firmaron.
El motivo de salida de Coxon se suma a otros casos similares dentro de la compañía. En febrero, Mrinank Sharma, quien había dirigido el equipo de investigación de salvaguardas, publicó su carta de renuncia, afirmando que "el mundo está en peligro" y que había comprobado lo difícil que resulta permitir que los valores guíen las decisiones cuando existen presiones para dejarlos de lado.
El propio director ejecutivo de Anthropic, Dario Amodei, en un ensayo publicado en enero advirtió que una inteligencia sobrehumana podría ocasionar daños de escala civilizatoria y que las empresas que la desarrollan representan por sí mismas un riesgo debido a su concentración de poder.
