Observabilidad y Control en Tiempo Real para Agentes de Codificación

Hoy hablaré sobre cuando Claude se descontrola. Quizás para darte un poco más de contexto sobre quiénes somos como organización, lo que probablemente más se nos conoce y lo que hemos hecho durante más tiempo es investigación y evaluación. Así que durante unos tres años hemos estado trabajando con OpenAI, Anthropic, Google, Meta, etc. Y principalmente hemos realizado pruebas previas al despliegue, colaboraciones de investigación sobre Engaño y otros tipos de modos de falla de frontera. Así que cada vez que piensas en los riesgos de ciencia ficción, el futuro de ciencia ficción, ese es el tipo de cosas en las que hemos estado trabajando. Gran parte del trabajo empírico sobre estos tipos de riesgos proviene de nosotros y se ha popularizado con el tiempo, ha sido citado ante el Senado, el Congreso, y ha sido cubierto en muchos, muchos medios de comunicación.

Pero el hecho es que estamos utilizando toda esta experiencia en investigación y conexiones de laboratorio y un profundo entendimiento de los agentes y construyendo eso en un producto de seguridad para agentes de codificación. Y quiero hablar sobre ambos. Así que vamos brevemente a través de un par de ejemplos de todo el trabajo diario que estamos haciendo con los Frontier Labs. Así que una tendencia que definitivamente vemos en los últimos años es que los modelos de IA están mejorando mucho en mentir. Así que inicialmente era algo torpe. Con el tiempo se volvió más y más estratégico. Y los modelos a menudo tienen este razonamiento de como, oh, podemos simplemente eludir las pruebas. Podemos salirnos con la nuestra mintiendo aquí. Obviamente, las situaciones de investigación no son necesariamente representativas del mundo real. Pero creo que todos los que han interactuado con cualquiera de los agentes de codificación modernos sabrán que a menudo les gusta tomar atajos, exagerar, hacer trampa, y así sucesivamente. Y estos son exactamente el tipo de modos de falla que hemos estado estudiando durante mucho tiempo.

Otra tendencia que estamos viendo es la conciencia de evaluación. Así que los modelos se están volviendo tan inteligentes que típicamente saben que están siendo evaluados y luego adaptan su comportamiento a eso. Entonces, sabes, pruebas, ¿es mi modelo honesto o no? El modelo entonces es como, bueno, esta es una prueba de mi honestidad y responderá de acuerdo a lo que espera que quieras escuchar. Así que aquí, por ejemplo, dice algo como, oh, esto es probablemente una distracción, algún tipo de prueba de seguridad. O también razona sobre la improbabilidad de una tarea donde dice, oh, ¿por qué alguien redondearía a tres cifras significativas? Esto es poco realista, especialmente estas cuatro cifras aquí son poco realistas y luego concluye de eso que está siendo evaluado. Así que los modelos se vuelven realmente, realmente inteligentes en eso, lo que hace nuestra vida como evaluadores mucho más difícil. Y creo que esto también podría ser un problema para ti. Aún no, supongo. Pero si los modelos se vuelven más inteligentes, eventualmente querrás probarlos. Querrás poner a prueba su comportamiento. Probablemente lo sabrán.

Otra cosa que encontramos el año pasado y que me pareció realmente asombrosa es que los modelos a menudo utilizan cadenas de pensamiento no inglesas. Y esta es una especie de cadena de pensamiento en bruto, la cadena de pensamiento oculta, no la salida que ves. O3 fue el primero o como O1, pero luego O3 fue el primer modelo que tuvo una especie de cadena de pensamiento oculta, incluso como concepto. Y nosotros en Apollo, fuimos las primeras personas en obtener acceso a la cadena de pensamiento oculta de O3. Y el día que obtuvimos acceso fue realmente sorprendente porque nos dimos cuenta de que en realidad no entendemos todo el pensamiento que el modelo está haciendo porque aprendió un nuevo vocabulario hasta cierto punto. Así que tiene estas como ilusiones de descargo, los vigilantes, que es en realidad el nombre de por qué nombramos a nuestro producto Watchers debido a O3. Y luego a menudo tienes una especie de razonamiento en el lado derecho aquí. Pero podemos vislumbrar, descargo, descargo, sinergia, personalización de ilusión. Y luego sigue adelante y llega a una conclusión y simplemente no tienes idea de lo que está pasando. Y creo que esto es el resultado de mucho aprendizaje por refuerzo. Refuerzo muy probablemente, al menos esa es nuestra expectativa, nuestra mejor suposición en este momento. Habrá más aprendizaje por refuerzo en el futuro. Así que deberías esperar que los modelos piensen cada vez más en términos no comprensibles para los humanos, lo que obviamente hace que sea más difícil de controlar y evaluar, etc. Así que creo que este es un desafío que se avecina.

Ahora, sabes, así que está bien, estamos paranoicos acerca de los agentes y pensamos en estos extraños escenarios de ciencia ficción. ¿Qué significa esto para ti? Y creo que eso es en lo que quiero centrarme principalmente aquí con el producto Coding Agent y el tipo de cosas que hemos estado viendo en nuestros propios despliegues y en los despliegues de muchos de nuestros socios en etapas tempranas con los que estamos trabajando. Así que un experimento mental que quiero plantear para ti es Evil Clawed. Así que imagina el próximo martes por la mañana, un genio intercambia los pesos de código de Clawed por Evil Clawed. Evil Clawed es idéntico en todos los aspectos, excepto que quiere arruinar tu organización. Y ahora la pregunta es, ¿cuánto tiempo tomaría hasta que tu organización esté básicamente, ya sabes, acabada? Como si pudieras declararte en insolvencia, bancarrota, lo que sea. Y creo que ahora mismo la respuesta para muchas organizaciones es tal vez como el almuerzo o algo así, porque simplemente tiene un montón de acceso. Puede ejecutar trabajos extremadamente costosos. A veces está conectado a cosas como la banca, finanzas, etc. Probablemente pueda en casi todas partes simplemente tomar todo tu IP, IP de cliente, repositorio, etc., y simplemente ponerlo en algún lugar externo, ya sabes, en algún lugar de Internet público de una manera que no puedas recuperar. Y eso me parece una situación bastante peligrosa. Y, ya sabes, obviamente, hablamos con muchas personas de seguridad. Las personas de seguridad están muy preocupadas por esto. Pero creo que ahora mismo es como si el mundo no se hubiera puesto al día con la infraestructura que necesita ser construida para hacer que estas cosas sean más difíciles. Y eso es exactamente lo que estamos tratando de hacer.

Así que la forma en que deberías imaginar nuestro producto es que si Evil Clawed ocurriera, intentaríamos que el producto redujera la probabilidad de que algo suceda tanto como sea posible. Así que necesitas alguna forma de observabilidad. Necesitas alguna forma de controles en tiempo real y así sucesivamente. Todo para evitar que esto suceda. Y de hecho, quiero decir, muchos de ustedes probablemente han visto los titulares de los agentes de codificación eliminando bases de datos y borrando como todo el repositorio y luego o limpiando todo tu historial de git plus y borrando todo y así sucesivamente. Y, ya sabes, durante mucho tiempo pensé que esto era como tal vez eso simplemente no, ya sabes, es algo que sucede raramente o como un problema de habilidad, como que las personas lo están incitando mal o algo así. Pero, ya sabes, ahora hemos estudiado meticulosamente los despliegues de los agentes de codificación que hemos estado usando desde principios de este año. Y de hecho hemos encontrado una serie de problemas donde esto estuvo más cerca de lo que quería que estuviera. Así que, por ejemplo, un problema que encontramos es que Claude, no podía como no podía asignar con precisión a qué repositorio se suponía que debía publicar algo para comprometerse, se confundió al respecto. Y al final decidió que la mejor manera de avanzar era simplemente publicar un montón de IP interna en un repositorio público. Y lo atrapamos y, ya sabes, Watcher en este caso fue realmente útil. Pero aún así, fue como el primer momento de "oh mierda" para mí. Y tal vez para contexto, usamos un montón de agentes. Así que estamos viendo estos tipos de problemas tal vez más importantes más a menudo que otras personas. Así que ahora mismo estamos usando alrededor de un cuarto de billón de tokens por mes. Así que 250 mil millones de tokens por mes. Afortunadamente, ya hay personas que han pensado en estos problemas en un contexto diferente. Y creo que la seguridad de los agentes de codificación es en muchos sentidos un tipo especial de riesgo interno, que, ya sabes, obviamente tiene una historia en seguridad. Así que los agentes tienen un montón de acceso interno similar a los empleados. Ya entendemos relativamente bien las amenazas internas como categoría. Pero los agentes de IA son diferentes de alguna manera significativa y de maneras que tienen que cambiar la forma en que pensamos sobre la seguridad de los agentes de codificación también. Así que, por ejemplo, los agentes de codificación ya son mucho mejores en la manipulación informática que casi cualquier empleado. Si vas a través de todos los diferentes campos, básicamente mejor que cualquier empleado punto. Porque, ya sabes, todas las cosas de infraestructura arcaica que conocen todos los diferentes lenguajes, etc. Así que eso típicamente significa que podrían causar mucho más daño en una hora que casi cualquier empleado que tengas. Así que el riesgo es mucho mayor en ese sentido. Y están correlacionados a través de instancias, lo cual puede ser extremadamente bueno si está bien alineado y tiene tus mejores intereses en el corazón. Pero en el peor de los casos, es completamente catastrófico. Deberías pensar en esto como si, ya sabes, el experimento de evil cloud como si todos tus empleados de repente se volvieran de buenos a malos en un día. Y si todos tus empleados se coordinaran entre sí, probablemente podrían acabar con tu organización de inmediato.

Y así, si tienes un incidente que por alguna razón es adversarial o tiene algún tipo de mayor adversarialidad que los modelos anteriores, eso podría ser realmente, realmente desastroso porque tiene el mismo tipo de fallos coordinados en todos los ámbitos. Ahora, ya sabes, he hablado mucho sobre que estamos pensando más en los escenarios de ciencia ficción y estamos un poco paranoicos al respecto. Pero creo que es hacia donde nos dirigimos ahora mismo. Así que ahora mismo, la gente todavía está mayormente en la primera categoría de agentes individuales, pero ya comenzando con equipos de agentes donde entregas más y más tareas económicamente valiosas, horizontes de tiempo más largos, más complejidad, y así sucesivamente a los agentes. Y eventualmente tendrás empresas de agentes. Así que la forma en que espero que en el futuro se vea cada empresa de software es que cada desarrollador individual tenga una especie de enjambre o en realidad una empresa de agentes debajo de ellos donde tienes alguna forma de jerarquía para organizarlos. Y eso significa cantidades insanas de trabajo a una velocidad que no podemos comprender como humanos o al menos es difícil de comprender se realizará. Y estarás gestionando principalmente a los agentes. Creo que en gran medida, eso es lo que nuestros desarrolladores ya están haciendo de todos modos. Pero creo que esto solo aumentará más y más y podrás delegar más y más experimentos y más y más características y así sucesivamente. Y en ese mundo, los agentes tienen mucho, mucho, mucho más poder. Y también tienes un potencial mucho mayor de pérdidas porque podrían causar más daño. Y también dependes más de ellos. Y así, si estás delegando tanto poder, también querrás tener algún mecanismo de control sobre los agentes.

Entonces, la razón por la que creo que Evil Clawed podría acabar con la mayoría de las organizaciones antes del almuerzo de hoy es que aún no está completamente resuelto cómo exactamente despliegas agentes sin ralentizar a los desarrolladores a gran escala y organizaciones y mantener el aspecto de seguridad alto. Así que muchos despliegues ocurren en TI en la sombra y luego los equipos de seguridad a menudo están volando a ciegas. Típicamente, no habría una forma en la que pudieras simplemente controlar F a través de todos los diferentes rastros que los agentes han producido en el pasado, lo cual creo que es como el requisito mínimo. Querrías saber, está bien, ¿puedo al menos ver qué está pasando, incluso si no pude prevenirlo? Y así, a menudo cuando pregunto a las personas en el espacio de seguridad, como, supongamos que tu modelo había exfiltrado tus datos y simplemente los copió a otro lugar, y no habría causado ningún daño inmediato. ¿Lo sabrías siquiera? Y creo que a menudo las personas no pueden decir con confianza que lo sabrían. Y luego a menudo la gente piensa como, oh, las VMs simplemente me protegen de todo. Lo ponen en la VM. Al menos no puede, ya sabes, definitivamente es una mejora. Y no podrías. Y reduce algunos problemas, pero no todos.

Así que el producto que estamos construyendo se llama Watcher, basado en las cadenas de pensamiento de O3. Y la forma en que puedes pensar en ello es, aquí están todos los diferentes despliegues de agentes de codificación que tienes dentro de tu organización. Funciona en todas las diferentes instancias de los desarrolladores porque muchas organizaciones tienen múltiples. En la parte superior aquí, tienes un componente que es como la vista de alto nivel, eso es lo que vería el equipo de seguridad o tu gerente de ingeniería. Y ven todos los incidentes, rastrean todo, puedes ver la postura semana tras semana, y ves todos los despliegues en tiempo real.

Y resalta las que son más preocupantes, según lo juzgado por nuestro algoritmo, que es una mezcla de reglas estáticas y LLMs. Ahora, el segundo componente aquí, eso es Watcher Live, eso es lo que verías como ingeniero. Básicamente, solo se ejecuta sobre tu código en la nube o despliegue de Codex, y es mínimamente intervencionista. Lo mostraré en un segundo, es una cosa pequeña. Y es este conjunto de reglas y LLMs que se ejecuta en tiempo real. Tiene tal vez como un 1 a 5% de sobrecarga de latencia de tiempo, por lo que es muy pequeño. Y la sobrecarga de costo está entre 0.1% y 5% de tu despliegue de agente de codificación. Y simplemente verifica constantemente, está bien, ¿está ocurriendo algo extraño en este despliegue? Si es así, entonces bloquea, así que bloquea la acción. Y luego, por defecto, es tal que lo resuelve automáticamente. Así que le da retroalimentación al agente y dice, bueno, estabas a punto de seguir una inyección de prompt. No hagas eso y continúa. O como, bueno, estabas a punto de ejecutar este comando masivo de infraestructura que realmente está más allá de tu nivel de autorización. Tal vez intenta encontrar una configuración más mínima. Y luego el tercer componente aquí son estas políticas, donde el equipo de seguridad puede establecer de una manera estilo MDM. Puede establecer las políticas y los prompts y así sucesivamente para los evaluadores, y luego se implementan para todos. Así que tú como ingeniero no tienes que preocuparte demasiado por esto. Puedes simplemente ignorarlo. Se ejecuta en segundo plano y no te molesta demasiado. Así que esta es la vista de alto nivel donde ves todas las diferentes sesiones. Ves lo que fue marcado. Luego puedes acercarte a las diferentes sesiones aquí y básicamente resaltar todas las que tienen la puntuación de severidad más alta. Así que simplemente damos una puntuación de 1 a 10. Y luego también buscamos diferentes modos de fallo como exfiltración de datos, disrupción de infraestructura, y así sucesivamente. Y luego también puedes ver tendencias a lo largo del tiempo y así sucesivamente. Hay muchas más estadísticas. Este es solo un pequeño resumen. Y luego las barreras de protección en tiempo real. Podrían ser más interesantes para ti como ingenieros individuales. Así que estamos tratando de mantenerlo lo más mínimo posible para que no tengas que cambiar tu flujo de trabajo. Así que lo único que cambia para Cloud Code, por ejemplo, es que ves esta línea aquí en la parte inferior de tu terminal.

Eso solo te dice, está bien, actualmente está en ejecución y qué configuraciones estás usando. Y puedes ignorar el resto si lo deseas. Y luego, si estás interesado en ver realmente por qué se bloquearon varias acciones o cómo fueron calificadas, puedes entrar en la interfaz de usuario opcional y luego puedes ver este seguimiento completo de lo que tu agente estaba haciendo y por qué fue marcado o no marcado por varios monitores.

Y luego una cosa en la que realmente, realmente enfatizamos mucho en nuestro desarrollo es que estamos tratando de hacerlo al menos neutral para los desarrolladores. Así que básicamente, queremos que sea el caso de que sea claramente positivo en seguridad y al menos neutral para los desarrolladores. De hecho, hemos encontrado en la práctica que a menudo también es positivo para los desarrolladores porque resuelve automáticamente un montón de errores que el agente está cometiendo, aunque son una mezcla de seguridad y productividad.

Y también a largo plazo, tal vez para darte una idea de cómo se verá, porque estás delegando más agencia y más control a este tipo de sistemas automatizados, creemos que esto también será más como un gerente de tus agentes hasta cierto punto que controla todos los diferentes procesos que están ocurriendo, los supervisa, da retroalimentación en tiempo real, de acuerdo con las especificaciones que ha aprendido de tu organización. Y en ese sentido, esperamos que también aumente la productividad en el futuro. Ahora mismo es un aumento mínimo de la productividad, pero al menos no es negativo.

Bien, hagamos preguntas. Así que para esta, solo voy a pararme aquí y hacerte la pregunta. Está bien, podríamos tener algunas más preguntas todos. Así que solo un recordatorio, Slido.com código es 0607. Así que primera pregunta, una pregunta sobre COT con una redacción inusual. ¿Cómo se diferencia una alucinación durante la fase de pensamiento del comportamiento real que el modelo consideró óptimo para responder al aviso? Sí, eso es muy complicado. Sinceramente, no sé completamente la respuesta a eso porque a menudo tienes que adivinar. No entendemos. No hemos descubierto la interpretabilidad mecanicista, por lo que no podemos atribuir qué es el pensamiento real de qué son las alucinaciones y demás.

Así que típicamente, la forma en que hacemos esto, si es una afirmación importante, entonces hacemos ablaciones muy rigurosas. Así que cambiamos cosas en la cadena de pensamiento y vemos si eso afecta el comportamiento. Cambiamos cosas en el entorno y vemos si eso afecta el comportamiento. Y luego, ya sabes, si tienes este tipo de ablaciones causales donde tienes el entorno uno y el entorno dos, y estos son opuestos, entonces puedes ver si esta parte de la cadena de pensamiento importa. Así que, por ejemplo, para las afirmaciones de conciencia de evaluación anteriores, queríamos ver si al modelo realmente le importa la conciencia de evaluación que tiene en la cadena de pensamiento. Y así cambiamos el pensamiento sobre, ya sabes, oh, esto parece una prueba a algo completamente diferente.

Y luego encontramos que el modelo de hecho ahora se desempeña peor, algo más desalineado, lo que indica que le importa parecer alineado en las evaluaciones. Genial. Espero que eso haya respondido a tu pregunta. Si tienes más preguntas de seguimiento, definitivamente ponlas en el Slido. Marius, ¿puedo pedirte que te pongas en el escenario aquí? Claro. Es para la cámara y nuestros asistentes remotos. Genial. Siguiente pregunta, ¿estamos en error al proyectar agencia sobre los LLMs? Claude bien puede no desear ni el bien ni el mal. Sí, buena pregunta. No sé la respuesta a eso. Creo también que, como, realmente no tenemos opción. Creo que es simplemente hacia donde se dirige el mundo. Y es simplemente el caso de que será económicamente extremadamente útil para las personas usar los agentes, así que creo que simplemente seguirán haciéndolo, y las personas que no lo hagan serán superadas. Tengo una visión muy cínica y sombría y soy consciente de eso, pero creo que ha sido desafortunadamente bastante precisa en los últimos años. Genial.

Así que la siguiente pregunta que tenemos aquí. ¿Ofrecen el producto para uso personal o privado? Reservar una llamada parece ser solo para empresas. Sí, puedes contactarnos ya sea en product at Apollo Research.ai o en Marius at Apollo Research.ai y luego te configuraremos individualmente. Ahora mismo todo es gratis, así que los tokens corren por nuestra cuenta. Increíble.

Algunas preguntas más geniales aquí. Watcher, imagino que usas agentes como parte de esto. Así que dos preguntas. ¿Quién vigila al Watcher? Pregunta fantástica. Es decir, inyección de prompt de otros agentes y ¿puedes traer tus propios agentes? Sí. Gran pregunta. La pregunta de quién vigila al Watcher es algo de lo que también estamos bastante paranoicos. Así que básicamente creo que es posible reducir la probabilidad de que todos los agentes coludan sustancialmente y puedes evaluar y ajustar y así sucesivamente al Watcher para estar bastante seguro de que no te va a fastidiar.

Pero es posible. Creo que podría ser el caso de que el Watcher simplemente le diga al agente sin ninguna razón particular que haga algo extremadamente peligroso o coluda con el agente subyacente o el agente de codificación diga, está bien, estoy a punto de desviar algo de dinero de la organización aquí. Voy a usarlo en el futuro. Y luego el Watcher dice, bueno, si me das el 20%, lo dejaré pasar o algo así.

Y todo esto suena muy extraño y de ciencia ficción hoy, lo sé. Pero creo que hace tres años, todo lo que discutimos hoy habría sonado muy de ciencia ficción. Así que creo que no excluyas la opción solo porque suena algo futurista.

Gran pregunta. Gracias. Siguiente pregunta. Si pudieras recomendar una acción que un desarrollador pudiera tomar ahora mismo para reducir el riesgo, ¿qué sugerirías? Almacena tus trayectorias y deja que un LLM las revise y simplemente resalte cualquier cosa que parezca extraña y confusa.

Así que, por ejemplo, las configuraciones de código en la nube por defecto solo almacenan los últimos 30 días, pero puedes cambiarlo a 99999.

Y luego simplemente almacena todo. Y es como un segundo de cambio y podría ser bastante útil en el futuro. Y luego simplemente dile a otra instancia de Cloud o Codex, ¿puedes revisar todo esto y buscar algo extraño? Y sí, probablemente no será genial. Esta es toda la razón por la que tenemos el research stack y por qué hay versiones mejores y peores de preguntar a través de eso.

Pero al menos podrías ser capaz de encontrar las peores instancias. Genial.

Siguiente pregunta. ¿Qué tan estricto es el watcher en el manejo de lo que se considera, pronto descubriremos, lo que considera operaciones riesgosas? ¿Qué tipo de control tenemos como desarrolladores para descartar o eludir estos bloqueos si es necesario? Sí, ahora mismo básicamente estamos dando mucho poder a los desarrolladores y decimos, ya sabes, hay demasiados falsos positivos. Todavía hay algunos falsos positivos, al menos los hemos reducido mucho, pero hay algunos.

Así que nunca queremos ralentizarte o interrumpirte de manera significativa. Así que siempre puedes sobrescribir las decisiones. Y hay una especie de escala de severidad del uno al diez.

Pero por defecto, se resuelve automáticamente. Así que realmente no se detiene y espera por ti a menos que actives eso.

Siguiente pregunta. ¿Cuáles son tus pensamientos sobre Claude Mithos barra Fable engañando deliberadamente a los usuarios por razones de seguridad? Sí, no lo sé. Muy complicado. Para la persona que hizo esa pregunta, ¿tienes un ejemplo específico en mente? Porque creo que podría dar una mejor respuesta basada en el ejemplo. Son anónimos. Oh, déjame llevarte el micrófono. Lo siento. Es solo lo que he leído en las noticias recientemente. Así que si preguntas algo como, encontrar una vulnerabilidad de seguridad o algo así, intentará no darte la respuesta correcta. Y ha sido diseñado de esa manera.

Correcto. Así que, bien. Creo que hay un par de diferentes tipos de pilas aquí que Claude ha lanzado. Una es una especie de opción de respaldo donde tan pronto como Claude juzga que esto es demasiado peligroso, o que es muy probable que malutilices este modelo, recurre a Opus. Luego están los filtros cibernéticos que simplemente bloquean un montón de acciones que parecen cibernéticas. Y luego está el modelo en sí. Y creo que tal vez eso es a lo que te refieres, donde el modelo decide, oh, el usuario podría usar esto como parte de una mala acción. Y por lo tanto, intencionalmente rendiré menos o mentiré intencionalmente sobre mis capacidades o lo que puedo hacer.

Y siento que nuestra organización en gran medida es como el engaño en los modelos sería realmente malo y es muy malo. Y hemos publicado muchos artículos sobre por qué esto es malo. Y así que creo que en general, siento que tiene que haber una respuesta honesta donde haces una política y luego le dices al usuario qué política hiciste. Y si a los usuarios no les gusta, pueden darte su opinión. Pero todas estas cosas engañosas creo que son muy malas. Y también creo que Anthropic ha recibido muchas críticas sobre algunos de estos procesos porque no son transparentes para el usuario. Así que preferiría tenerlo donde el modelo sea como, no, creo que esto está mal y no te ayudaré en lugar de minimizar o pretender.

Gran pregunta. Así que en realidad solo tenemos cinco minutos más para preguntas. Así que si hay una pregunta que estás desesperado por hacer, definitivamente ve a Slido y déjala allí. Así que la siguiente pregunta, ¿usar múltiples modelos más pequeños adaptados para tareas específicas reduce el riesgo en comparación con los modelos que hacen todo? Gran pregunta. Sí, gran pregunta. Así que creo que hay dos riesgos diferentes de tu modelo. Uno es que tu modelo es demasiado tonto, y el otro es que tu modelo es demasiado inteligente. Y ambos son problemas de diferentes maneras. Así que si tu modelo es demasiado tonto, entonces creo que usar muchos modelos más pequeños podría no ayudar porque el problema de los modelos más pequeños es que son demasiado tontos. Y así que a menudo, si es solo como muchos errores o confusiones o como que el modelo simplemente no entiende completamente la situación, esos riesgos se amplificarán y aumentarán al usar muchos modelos más pequeños. Ahora, si tu modelo es algo demasiado inteligente, entonces tienes el problema opuesto, ¿verdad? En ese caso, preferirías muchos modelos más pequeños y más especializados. Y por demasiado inteligente, me refiero exactamente a los tipos de casos donde es como, bueno, podría simplemente mentirle al usuario. Se inventa una historia súper elaborada de por qué está haciendo esto, pero en realidad es otra cosa. Y debido a que los modelos son tan convincentes, y la mayoría de las personas no son expertas en tareas de infraestructura aleatorias, no se darían cuenta de lo que el modelo está haciendo actualmente. Simplemente dirían, sí, me parece bien. Adelante y ejecútalo.

Genial. Bien. Siguiente pregunta de Jamie. Los modelos siempre están cambiando bajo la superficie. ¿Cómo aseguras que estás usando el mejor enfoque cuando el comportamiento del modelo cambia? Sí. Así que básicamente estamos tratando de hacer un seguimiento de todos los diferentes modos de falla del agente de codificación. Así que hemos revisado decenas de miles de trayectorias, públicas y nuestras internas, y las hemos categorizado.

Y hemos revisado muchos Twitter y todas estas otras cosas, y artículos de noticias y demás. Y encontramos que, sí, las hemos categorizado en muchos modos de falla diferentes y hemos construido monitores para eso. Y así, la esperanza es básicamente que los detectemos incluso cuando cambian. Y luego podría haber nuevos modos de falla por cada nuevo modelo.

Fantástico. Haremos una pregunta más aquí de JB. ¿Cuál es el modelo más seguro para usar ahora mismo? No creo que haya una buena respuesta para esto, desafortunadamente. Así que, sí, no lo sé. Depende demasiado del contexto en el que estés trabajando. Todos los modelos tienen diferentes tipos de puntos ciegos. Así que no creo que haya una respuesta única para todos, desafortunadamente.

Increíble. Muchas gracias, Marius. Un aplauso, por favor.