Building for Agent Experience

Hola a todos. Soy Shifra, y soy una ingeniera fundadora de relaciones con desarrolladores en Render. Eso significa que trabajo en la intersección de ingeniería, marketing y producto. Y en caso de que no estés familiarizado, Render es la nube para constructores. Esencialmente, es el camino más rápido a producción para aplicaciones full-stack, sitios web, agentes y startups.

Y construyo nuestra organización de relaciones con desarrolladores ladrillo a ladrillo el mismo año en que los desarrolladores convenientemente dejaron de ser humanos, o al menos un gran porcentaje de ellos lo hizo. Y como saben, es prácticamente imposible vender a los desarrolladores. Así que, en cambio, construyo relaciones genuinas con ellos y les muestro el valor real del producto. Pero, ¿cómo te relacionas con un usuario que ni siquiera es una persona? De eso estamos aquí para hablar.

Ahora, Render está creciendo bastante rápido. De hecho, la empresa más que duplicará su tamaño para finales de este año. Pero hay contratiempos. Nuestro equipo una vez tuvo una reunión de emergencia un día para investigar una caída precipitada en los registros después de un gran pico. Pero incluso después de revisar todas las últimas actualizaciones, no pudimos encontrar ningún tipo de interrupción o cambio significativo que pudiera haberlo causado.

El problema era que estábamos buscando en el lugar equivocado por completo. Cuando primero vimos ese dulce aumento de registros, los atribuimos a recomendaciones de AI, específicamente chat GPT sugiriendo nuestra plataforma, ya que estamos bastante bien establecidos en comunidades de desarrolladores hasta ahora. Y en este caso, la llamada definitivamente no venía de dentro de la casa. Entonces, ¿qué causó realmente la caída en los registros? Bueno, OpenAI actualizó uno de sus modelos, y esa nueva versión simplemente no nos mostró tanto favor como la versión anterior. En el entorno operativo actual, la optimización del motor de respuesta de AI, también conocida como AEO, es el nuevo SEO. Decide qué se ve por quién. Y nadie, ni siquiera las empresas que lo construyen, puede realmente estabilizarlo o garantizar una respuesta específica.

Y mira, el antiguo SEO tenía muchos problemas, pero al menos era legible. Al menos las señales de clasificación eran relativamente públicas. Los cambios se implementaban gradualmente y se podía medir la causa y el efecto. Así que realmente podías dirigir en un sistema algo determinista.

Mientras tanto, la recomendación de AI es peor porque el algoritmo, entre comillas, es una caja negra opaca que puede cambiar de la noche a la mañana sin previo aviso. La atribución es casi imposible de medir. Y una sola actualización a un modelo upstream puede reducir tu tráfico a la mitad sin razones diagnosticables. Así que podrías preguntarte, ¿cómo afecta eso la forma en que diriges tu equipo? ¿Cómo afecta eso la forma en que construyes tu producto?

Bueno, vemos que todo ha cambiado para la ingeniería del día a día, ¿verdad? Pero el lado estratégico no ha seguido el ritmo. Y desde donde estamos en Render, aquí es donde los líderes realmente se están quedando atrás. Así que las organizaciones de ingeniería ya tienen agentes funcionando en ambos lados, lo que significa que los usas para construir. Y a su vez, leen tu producto y deciden qué recomendar a los humanos.

Estas son dos subcategorías emergentes de la experiencia del desarrollador o lo que llamamos DX, una que está centrada en humanos y otra que está centrada en agentes. El problema es que usualmente nadie posee esa segunda como un área legítima de productos. Y lo que terminas teniendo es una falta de intencionalidad en ambos. Así que la pregunta se convierte en, ¿cómo construyes para esta nueva relación simbiótica de una manera que sea óptima para AEO? Y no hay un camino claro a seguir aquí. Correcto.

Entonces, en lugar de intentar construir una única solución, lo que se logra es lo que llamamos un portafolio de apuestas a través de superficies de producto que podrían apoderarse de tu hoja de ruta anual si no tienes cuidado. Ahora, podemos comenzar con el cambio más obvio para los ingenieros, los agentes de codificación. Si los desarrolladores están preguntando a Codex, Cloud Code o Cursor o lo que venga después para desplegar una aplicación, el producto tiene que ser legible dentro de ese flujo de trabajo. Ser buscable en la web es sinceramente tan 2024. Correcto. Así que, de manera realista, lo que empresas como Render necesitan hacer es ser directamente utilizables por el agente mientras el desarrollador está trabajando. Eso significa tener servidores MCP, habilidades y comandos CLI que los agentes puedan llamar de manera independiente y segura. Significa tener ejemplos de API que sean lo suficientemente claros para que un modelo los use y documentación escrita para un lector que podría no ser humano, pero que actúa en nombre de uno. Esto es lo que llamamos diseño de interfaz para agentes.

Ahora, además de desarrollar todas estas herramientas, también hicimos mucho trabajo poco glamuroso en la documentación y el sitio web de Render, haciendo todo disponible como markdown limpio, agregando LLMs.text y soportando markdown sobre negociación de contenido HTTP. Ahora, todo este trabajo cae bajo una categoría increíblemente importante y subestimada, que es asegurarse de que la misma fuente de verdad sea utilizable por humanos en un navegador y por agentes que quieren texto plano. Ese trabajo no se demuestra tan bien como un chat bot. Pero si los agentes están mirando tu producto, necesitas decidir la forma de lo que ellos leen y asegurarte de que simplemente funcione. Luego están los agentes que realmente ejecutamos nosotros mismos, una IA de documentación respondiendo preguntas de usuarios, un agente que agiliza mensajes generales en Discord, una extensión de Chrome de diagnóstico que nuestro equipo de laboratorios está probando que realmente lee tu panel de Render y sugiere proactivamente soluciones. Todos ellos usan las propias superficies de Render para ayudar a un humano, lo que significa que incluso dentro incluso dentro de Render mismo, nuestro propio producto está siendo consumido por agentes o como me gusta decir, ellos nos usan para que podamos usarlos. Ahora, el contenido también es una gran parte de este portafolio.

Nuestro agente escritor técnico nos ayuda a redactar y revisar artículos sobre despliegue, marco y preguntas de comparación que tanto agentes como humanos preguntan. El flujo de trabajo tiene muchos pasos agénticos, pero la parte más importante es que se detiene con una solicitud de extracción antes de que se publique algo. Porque si somos honestos, todo este trabajo necesita tener una puerta humana. El flujo de trabajo se detiene en un PR, el diagnóstico sugiere en lugar de mutar directamente y los agentes de soporte derivan a humanos muchas veces. Ahora, en su mayoría no podemos medir qué apuestas están realmente funcionando todavía. ¿Cambió el servidor MCP lo que recomiendan los agentes? ¿El flujo de trabajo de contenido movió alguna recomendación? Así que nos guiamos por señales indirectas y construimos las herramientas de medición a medida que avanzamos. Eso es incómodo. Pero navegar la ambigüedad es una parte inherente de nuestro trabajo que no podemos delegar. Y siempre lo será. Cualquiera que te venda certeza o automatización completa te está vendiendo basura. El trabajo real es más lento. Cuesta tiempo humano. Y la mayoría de los experimentos no sobrevivirán a la fase piloto. Así que en este punto, podrías preguntarte, ¿cuál es exactamente ese trabajo, esa inversión real en este espacio? Es un replanteamiento fundamental de cómo construimos y para quién.

Pero no podemos huir de eso porque todavía somos responsables de estos resultados. Correcto. Lo que necesitamos hacer es enfrentarlos de frente descomponiéndolos en la suma de sus partes, delegando el tiempo y dinero necesarios y abrazando el inevitable fracaso en este viaje. Así que quiero dejarles con la pregunta correcta para hacer el lunes. No es. ¿Estamos haciendo AI? Porque todos simplemente dirán que sí sin detalles específicos. La pregunta es, ¿tenemos una función nombrada en cada lado que trate sobre agentes usándonos y nosotros usando agentes? Tal vez se llame algo así como experiencia agéntica. Así es como lo pensamos aquí en Render.

Luego, a partir de ahí, ¿tenemos un presupuesto? ¿Tenemos permiso para equivocarnos? ¿Y tenemos un plan de medición que aún no existe del todo, pero lo estamos construyendo de todos modos? ¿Tenemos una forma de realmente medir? Si no puedes responder sí a los cuatro, ese es el trabajo que tienes por delante tú y tu equipo. No se trata de predecir correctamente todas las posibles tendencias futuras de AI. Se trata de tener un sistema que pueda autocorregirse en lugar de no tener literalmente nada. Y una vez que hayas planificado ese trabajo, necesitarás desplegar esos agentes y experimentos a producción para que tus casos de uso puedan realmente, para que tus usuarios más bien puedan realmente beneficiarse de ellos.

Si estás buscando el mejor lugar para hacer eso, dirígete a Render.com slash deploy dash agents para completar el formulario y contactar a nuestro equipo. Estamos aquí para ayudarte a encontrar la arquitectura correcta, la escala correcta y asegurarnos de que tus agentes sean tan confiables en producción como todo lo demás que estás ejecutando. Una vez más, eso es Render.com slash deploy dash agents. Humanos y agentes ya se están usando mutuamente, sin mencionar todas tus superficies de producto.