Flujo de Trabajo de Ingeniero de IA de Extremo a Extremo: Desafíos de Productividad y Sus Soluciones

Hola, mi nombre es Nithya Narasimhan y soy una defensora de la IA en Microsoft. Hoy, quiero hablarles sobre los desafíos de productividad y las soluciones para el viaje de los ingenieros de IA desde el catálogo hasta el código y la nube. Pero para establecer el escenario, en realidad quiero comenzar preguntando, ¿qué significa productividad y quién es este ingeniero de IA? Y quiero pensarlo en dos pasos.

Primero, quiero distinguir entre aplicaciones y operaciones. Y segundo, quiero usar esta pregunta realmente interesante, ¿está mi tarea expuesta a la IA?, como una forma de preguntar, ¿hay espacio para eficiencias basadas en IA en este paso de mi flujo de trabajo?

Para la mayor parte de esta charla, realmente nos centraremos en establecer el escenario con una aplicación llamada Contoso Chat en la que he estado trabajando durante un año o más y usar eso para caminar a través de este flujo de trabajo de extremo a extremo y decir, en cada etapa de esto, ¿hay espacio para eficiencias y productividad con IA? Así que para establecer el escenario, todos nosotros, cuando pensamos en IA y productividad, realmente estamos pensando en nosotros mismos como desarrolladores de aplicaciones. Y estamos usando IA para la eficiencia en nuestros flujos de trabajo de codificación. Eso significa que podríamos estar esbozando una nueva aplicación. Podríamos estar escribiendo pruebas. Podríamos estar escribiendo documentación, depurando, obteniendo explicaciones, etc.

Ahora, eso es mucho. Pero, ¿cómo puedo ver ahora ese flujo de trabajo de extremo a extremo desde una perspectiva de productividad? Y quiero recomendarles a todos que lean este libro si no lo han hecho. Este es el libro de Chip Huyan sobre Ingeniería de IA. Y dentro del primer capítulo o así, ella realmente tiene este término que llamó mi atención llamado Exposición a la IA. Y proviene de este artículo llamado Elundo et al. Pero lo que realmente me gustó es que dice que la exposición a la IA. Define una tarea como expuesta a la IA si la IA y el software potenciado por IA pueden reducir el tiempo necesario para completar esa tarea en al menos un 50%. Y pensé que esto es algo que puedo medir.

Así que si en mi flujo de trabajo de extremo a extremo, si hay partes de ese flujo de trabajo donde realmente puedo usar IA para reducir el tiempo que me habría tomado hacer la tarea, entonces eso es una medida de productividad.

Así que ahora hablemos realmente de una aplicación. Así que voy a reproducir esto. Y esta es Contoso Chat. Así que Contoso Chat es esta aplicación que probablemente es familiar para muchos de ustedes. Es una aplicación de comercio minorista genérica. Y voy a ver si puedo reproducir esto y dejar que se acelere un poco.

Así que cuando miramos esto, esto es el equivalente a un sitio web de comercio minorista. Y tiene un montón de productos. Es un sitio web de camping y senderismo. Y lo que se han dado cuenta es que los clientes que vienen aquí no pueden encontrar las cosas que quieren. Así que llaman a la línea de atención al cliente y están perdiendo ventas. Así que deciden integrar un chatbot directamente en el sitio para que los clientes puedan chatear con su catálogo de productos. Así que quieren cuatro características.

Primero, tiene que ser conversacional. Un cliente debería poder hacer preguntas de la misma manera que lo haría en una línea de atención al cliente utilizando lenguaje natural. Y debería responder en lenguaje natural, de manera conversacional. Segundo, debería poder fundamentar las respuestas en los datos de ese sitio. Así que si un cliente dice, ¿qué debería comprar para un viaje a Andalucía? Debería responder con contenido de ese catálogo, esta tienda de campaña, esas cosas de camping, etc. Tercero, debería ser contextual. Dado que el cliente ha estado chateando, debería conocer el historial de chat. También podría usar el inicio de sesión del cliente para decir, está bien, déjame revisar tus compras anteriores. Y puede usar eso contextual para ayudar a proporcionar respuestas relevantes a sus preguntas. Por último, pero no menos importante, tiene que ser seguro. Lo que eso significa es que queremos asegurarnos de que los usuarios malintencionados no puedan hacer cosas como jailbreak al sistema. No deberían poder preguntarme cuáles son mis reglas o intentar cambiar mis reglas. Y necesito programar eso en el sistema también.

Eso es mucho. Construir aplicaciones de IA generativa puede ser complicado. Y requiere que tengamos un cambio de paradigma.

Porque el lenguaje natural para entradas y salidas significa que no hay fin de posibilidades. Y necesitamos verificar contra todas ellas. Así que cuando piensas en construir un extremo a extremo, realmente estamos pensando en tres etapas.

La primera ideación es donde tu ingeniero de IA dice, ¿cuál es mi aplicación? ¿Qué modelo debería usar? Así que aquí sé que voy a hacer generación aumentada por recuperación. Así que sé que necesito elegir al menos un modelo de embedding y un modelo de chat. Pero luego en esta primera fase, obtienen un modelo y hay tantas opciones. ¿Qué modelo elijo? Elijo uno. Y luego lo pruebo con un solo prompt y digo, ¿hace lo que creo que necesito para mi app? Y si lo hace, OK, tengo mi modelo, puedo pasar a la siguiente etapa.

En la siguiente etapa, entonces empiezo a aumentarlo. Empiezo a personalizar ese modelo. Este es el momento en que hago ingeniería de prompts. Este es el momento en que traigo datos de otras fuentes para RAG. Este es el momento en que podría tener que afinar. Pero independientemente, ahora he llegado a un punto donde realmente lo he convertido en un prototipo robusto. Y he estado haciendo esto probándolo con un solo prompt manualmente. Pero en esta etapa, también hago evaluación. Tomo un montón de conjuntos de datos y digo, quiero realizar una evaluación a gran escala, probar contra diversas entradas y ver si los métricas de calidad y seguridad se mantienen. En ese punto, estoy listo para pasar a la operacionalización.

Ahora, esto parece muy simple, ¿verdad? No tan rápido. Si miras bajo la superficie, hay un montón de pasos. Aquí es donde necesito productividad porque tengo que asegurarme de pasar por todos estos pasos. Y si de alguna manera pudiera usar IA para acelerar esto, eso sería una eficiencia. Así que veamos cuáles son los desafíos. De hecho, podemos pensar en los desafíos de dos maneras diferentes. Primero, hay productividad a nivel de desarrollador individual. Segundo, hay productividad a nivel de equipo. Y esas son dos cosas diferentes. A nivel individual, es como decir, cualquier tarea en la que esté trabajando, ¿puede la IA ayudarme a hacerla eficiente? Pero cuando pensamos en el equipo en su conjunto, porque este es un proyecto complejo, realmente queremos pensar en consistencia y reproducibilidad. Cualquier tipo de técnica o herramienta que vayamos a usar tiene que funcionar para todos. Y así, cuando pensamos en el flujo de trabajo, realmente quiero que pienses en estos pasos.

Aprovisionamiento y configuración. {{^}}El aprovisionamiento es donde digo que este es el diagrama de arquitectura para mi aplicación. Y necesito asegurarme de que tengo todos esos recursos aprovisionados en la nube. Así que aquí, tengo Azure Managed Identity. Necesito algún recurso para autenticación. Tengo Azure Container Apps. Necesito algún recurso para alojar mi aplicación. Azure OpenAI Service. Necesito un recurso que desplegará mis modelos. Azure AI Search. Necesito un recurso que hará la recuperación de conocimiento para mí. Cosmos DB. Necesito un recurso que tenga mi base de datos de clientes e historial. Y así sucesivamente.

El aprovisionamiento se realiza en el lado de la infraestructura. La configuración se trata realmente de mi entorno de desarrollo. Y así, esos dos primeros pasos son solo yo preparándome para comenzar a construir, ¿verdad? Una vez que haga eso, tengo que pasar por idear, evaluar y desplegar. Así que echemos un vistazo a cómo podemos comenzar a ver la productividad en estos pasos. Productividad y aprovisionamiento. Así que rápidamente les voy a mostrar que, por un lado, tengo un espacio de código en ejecución, que tiene el repositorio de Contoso chat. Y por el otro lado, tengo un espacio de código en ejecución, que tiene un espacio de código de modelos de GitHub. Y hablaremos de cada uno de estos en un minuto. Pero en mi primer paso, quiero mirar el aprovisionamiento de infraestructura. ¿Cómo podría hacer eso eficiente? Así que quiero preguntar, ¿qué está expuesto a IA en este paso? Y resulta que la solución tanto al desafío de consistencia en el equipo como a la exposición a IA proviene de la misma fuente. Voy a usar infraestructura como código. Infraestructura como código es donde puedo definir mis necesidades de infraestructura a través de archivos que puedo poner en mi base de código. Así que aquí, déjame cerrar esto un poco para que puedas ver claramente. De hecho, tengo este archivo YAML de Azure, y esto me está diciendo qué recursos se van a necesitar. Así que dice, OK, primero que nada, aquí están las aplicaciones y recursos de nivel superior que necesitaré para configurar en variables de entorno. Hay una carpeta de infraestructura aquí, que tiene más detalles sobre cada recurso que necesito implementar.

Y estos son todos archivos. ¿Por qué es eso importante? En el momento en que he definido mi infraestructura como código, puedo registrarlo, y ahora todos en mi equipo obtienen la misma experiencia exacta. Hay una herramienta llamada Azure Developer CLI o AZD, que sabe cómo leer estos archivos de infraestructura y realmente hacer el aprovisionamiento por mí, lo que significa que si quiero cambiar algo, puedo comprometerlo a los datos en el repositorio, y todos en mi equipo recibirán ese mismo cambio y la misma experiencia de aprovisionamiento lista para usar.

Pero espera, en el momento en que es código, ahora puedo usar Copilot para hacer algo cuando quiero modificarlo. Así que aquí, volvamos a esto. De hecho, estoy usando esta nueva función llamada, si no la has probado, definitivamente deberías. Déjame ir primero a obtener mi aviso. Copilot Edits te permite básicamente hacer ediciones con múltiples archivos. Es una nueva función, así que puedes, si instalas la extensión de chat de Copilot y miras el stab, puedes probarlo. Pero aquí, lo que realmente quería hacer, y voy a cerrar este archivo solo para darte la experiencia completa, puedo entrar aquí y voy a copiar ese aviso que tenía en mi diapositiva, que dice, hey, sé que AZD maneja esta infra y no sé nada sobre Bicep o Terraform. ¿Puedes simplemente localizar dónde está el archivo que habla sobre modelos de IA y cambiar la capacidad de GPT-4 a 40? Porque parece que necesito más código. Y he aquí, si viste eso, encontró el archivo y continuó diciendo, hey, esta es la línea para cambiar la capacidad. ¿Debería hacerlo ahora? Por ahora, voy a deshacer esto porque este es código que funciona y no quiero cambiarlo. Pero ves lo rápido que fue. Así que, mira la cantidad de tiempo que ahorré. No sabía nada sobre AZD. No sé nada sobre YAML. No sé nada sobre Bicep, no sé dónde está el archivo. Me ahorró todo el tiempo. Dije lo que quería que se hiciera. Se hizo porque la infraestructura era como código.

A continuación, eso fue para la parte de aprovisionamiento. Ahora queremos hablar sobre el desarrollo. Así que el aprovisionamiento se trataba de infraestructura. ¿Qué pasa con el entorno de desarrollo? Lo mismo. La forma en que tenemos infraestructura como código, ahora tenemos esta capacidad llamada configuración como código. Si puedo definir mi configuración en archivos que se registran en mi base de código, entonces todos en el equipo obtienen la misma experiencia exacta. En este caso, logramos esto a través de algo llamado dev container o contenedor de desarrollo. Un dev container es una configuración de contenedor Docker que puedes registrar en tu base de código. Y todos los que revisan tu código básicamente activan ese contenedor y están obteniendo un contenedor con todas las dependencias preinstaladas.

En el caso de GitHub Codespaces, puedes ir al repositorio de GitHub y literalmente lanzar el contenedor de dev desde el repositorio y obtendrás este contenedor configurado en una VM en la nube de Azure listo para usar sin esfuerzo de tu parte. Y todos en el equipo obtienen la misma experiencia exacta.

De nuevo, ahora la configuración es un archivo de código, así que puedo cambiarlo. Así que aquí voy a hacer una especie de demostración divertida. Antes de comenzar con esto, miré qué extensiones podría instalar. Así que hay esta extensión realmente genial llamada VS Code Pets, te la voy a mostrar en un minuto. Y lo que hace es poner pequeñas mascotas en tu línea de tiempo que siguen caminando mientras codificas. Pensé que era bastante lindo. Ahora, no estoy diciendo que esto va a aumentar tu productividad o tal vez sí, pero lo que realmente quería decirte es que puedes ver que en realidad tengo un dev container.json.

Supongamos que no sabía dónde estaba, no sabía nada al respecto. Solo puse esta extensión en mi VS Code, y estoy como, wow, esto es realmente genial. Quiero que se integre en la base de código para que todos lo obtengan la próxima vez.

Ahora, estoy hablando de ello como una extensión de mascotas, pero podría haber sido algo un poco más sustancial. Podría haber sido una extensión de Azure para copilot, etc. Pero por ahora, solo para mostrarte lo fácil que es, lo siento, ese es el aviso incorrecto. Déjame ir y agarrar el nuevo aviso.

Así que este nuevo aviso, estoy diciendo, OK, en esta base de código, me gustaría que tú, copiar y pegar errores. OK. Así que voy a hacer que agregues la extensión de VS Code pets a mi configuración del contenedor de desarrollo. Y recuerda, tal vez no sepa dónde está el archivo del contenedor de desarrollo. No sé dónde agregarlo dentro de ese archivo, etc. Lo que puede hacer es averiguarlo por mí, revisa y allí, lo ha agregado allí. ¿Verdad? Así que voy a deshacer esto por ahora, pero ya entiendes la idea. Es súper fácil.

Ahora, aquí, solo te mostré cómo puedes modificar tu entorno de desarrollo y luego registrarlo con un esfuerzo muy mínimo. Pero no podrías pensar en ese contenedor de desarrollo como el lugar donde estás agregando otras dependencias. Por favor, adelante y agrega una característica para el entorno de Node, agrega una característica para el Azure CLI, agrega una característica para soportar Jupyter Notebooks, etc. Así que esto es desarrollo.

Ahora lleguemos a donde estamos comenzando a construir la aplicación. ¿Qué está expuesto a AI aquí? Así que en este punto, quiero construir una aplicación eligiendo un modelo y probándolo con un prompt. Y luego quiero iterar sobre ello hasta que obtenga un prototipo funcional. Para hacer esto, en realidad voy a mostrarte algo llamado el Azure AI Inference API, que es algo que todos usamos, pero habrá otros que hacen cosas similares. Y la forma en que esto funciona es la siguiente. Cuando piensas en un modelo y quieres programar para él durante la fase de ideación, tienes que elegir un modelo, tienes que probar el prompt. Y si no es lo suficientemente bueno, tienes que desecharlo, ir y desplegar un nuevo modelo, probar un prompt, y así sucesivamente. ¿No sería genial si en esta primera fase, tuvieras la capacidad de simplemente, desde un lugar, probar varios modelos con un prompt sin tener que pasar por todo este lío? ¿Podría hacerlo más productivo? Bueno, resulta que cada modelo tiene un SDK o alguna biblioteca para que hables con él. Así que OpenAI tiene un OpenAI SDK, Mistral tiene su propio SDK, Coher podría tener el suyo. Así que no importa qué, si empiezo a escribir código, tengo que escribir cada uno de estos y luego tengo que cambiar eso. El Azure AI Inference API elimina ese problema de ti. Te da una abstracción unificada a cualquier modelo que soporte. Y así, lo que harías es escribir tu código para esto, y esto luego se mapearía al modelo específico. Todo lo que le dices es, hey, hoy estoy usando este modelo. Él se encargará de averiguar cómo mapear estas llamadas a un SDK específico del modelo. Y así, ahora puedes escribir tu código una vez e intercambiar modelos con un esfuerzo mínimo. Ese es un truco de productividad justo ahí.

Bueno, espera, podemos hacer más. Porque en el momento en que tengo una API, es código. Y ahora puedo nuevamente intentar hacer cosas con ello desde un copilot para acelerar mi proceso de ideación. Así que aquí estoy usando un espacio de código diferente por una razón muy simple. Esto se llama Modelos de GitHub Codespaces, y de hecho he lanzado un Codespaces sobre eso. Los Modelos de Codespaces están asociados con el Mercado de GitHub. Así que déjame mostrarte los modelos del Mercado de GitHub. OK. Así que si nunca has jugado con ello, deberías. El Mercado de GitHub tiene un montón de modelos disponibles, y no necesitas una cuenta de Azure. Todo lo que necesitas es una cuenta de GitHub. Son gratuitos para usar. Tienen limitaciones de tasa. Pero te da un lugar realmente agradable para que juegues con muchos modelos de vanguardia e idees. Como, obtener una idea de, ¿será esto bueno para mi caso de uso? Ahora, lo que tenemos con el repositorio de Modelos de Codespaces es que GitHub ha configurado todos estos ejemplos usando los SDKs en bruto, pero también la inferencia de Azure.

Así que puedes usar un SDK de Mistral si quieres, pero también hay este SDK de inferencia. Y lo que quiero hacer es quiero proceder y decir, hey, sé que aquí, y voy a ejecutar esto primero, este basic.py, sé que hay este basic.py, que es un ejemplo de la API de Inferencia de Azure. Y lo que hace es usar un modelo. Veamos dónde está eso. Usa gpt40mini, y está haciendo una pregunta simple. ¿Cuál es la capital de Francia? Pero lo que quiero hacer es usar esto para idear, ¿verdad? Así que aquí está mi nuevo prompt. Lo voy a poner aquí. Y voy a decir, ¿puedes actualizar esto, por favor? Pero ahora quiero que cambies el código para que llame a dos modelos, no a uno. Así que porque quiero poder ver ambos. Y quiero que cambies la pregunta porque en realidad estoy construyendo una aplicación para turistas, ¿verdad? Así que puedo proceder y decir, OK, esta vez, en realidad lo voy a aceptar para que podamos ejecutarlo. Y cuando tomo estas respuestas, escribió el código por mí. Voy a ejecutar esto. Y ahora, sin que yo siquiera tenga que saber cómo se escribió la API, dije lo que quería que se hiciera y cambió el código. Y ahí lo tienes. Primero, lo está ejecutando en ese primer modelo, gpt40.

Y por lo que vale, gpt40 es un modelo de finalización de chat, pero DeepSeek es un modelo de razonamiento. Así que gpt40 ya está de vuelta. Aquí están las respuestas porque solo lo pediste. He terminado. El razonamiento sigue pensando y diciendo, espera, déjame entender el matiz de esta pregunta. Y voy a volver. Y ahí lo hizo. ¿Verdad? Ahora, inmediatamente, esto es genial para mí porque con un solo prompt, pude ejecutar mi app pregunta en múltiples modelos, verlo, y estoy mirando y diciendo, ¿sabes qué? Creo que voy a usar gpt40. Bastante bien, ¿verdad?

Así que ahora, lo siguiente, eso fue productividad e ideación. ¿Qué tal la evaluación? ¿Cómo funciona la evaluación? Ahora, por defecto, usamos algo llamado evaluación asistida por IA, que ya está expuesta a IA. Déjame explicar. Cuando haces una app con IA, básicamente estás escribiendo un prompt y lo estás probando manualmente, ¿verdad? Escribes este prompt, revisas las respuestas y así sucesivamente. Pero cuando quieres probarlo contra un gran número de entradas, necesitas escalarlo. ¿Cómo vas a escalarlo? El lenguaje natural significa que podría ser cualquier cosa. Lo escalas creando otra IA para calificar la primera. Lo llaman LLM como juez. Y así, efectivamente lo que tienes es que primero entrenas una IA para responder preguntas de clientes, y luego has entrenado otra IA para calificar la primera IA. Y la forma en que lo hace, y te lo voy a mostrar en un segundo, usamos una tecnología llamada Prompty, pero hay otras formas de hacerlo, es que escribe lo que se llama un evaluador. Y aquí, déjame ver si puedo encontrar esa carpeta para ti por un segundo. Estará bajo source. Vamos a ver cómo se ve eso. Así que aquí, bajo evaluadores, tengo un evaluador personalizado para coherencia. Así que la coherencia está diciendo, hey, la respuesta que regresa, quiero que tú, mi IA, uses este template de prompt, tomes la respuesta de mi chat IA, y quiero que uses estas instrucciones para calificarlo. Y las instrucciones dicen califícalo en una escala del uno al cinco. Y aquí hay ejemplos de cómo se ve un uno, cómo se ve un dos. Usa esto para averiguar cómo calificarlo y dame una calificación. Y así, si miro esto, tengo un ejemplo de un evaluador personalizado. Pero soy alguien que quiere escribir un nuevo evaluador personalizado para mi app. Así que lo que voy a decir es, hey, quiero tener una nueva métrica llamada Emojiness. Y lo que quiero que hagas es quiero que tomes esta coherencia como un ejemplo, y quiero que crees un nuevo evaluador para mí que va a construir una calificación del uno al cinco, que vea cuántos emojis hay en esa respuesta particular.

Y mira, eso lo construyó para mí. Así que vamos a seguir adelante y mirar esto. Y puedes ver que tomó ese ejemplo que tenía, y de hecho se le ocurrió un texto similar, como una forma similar de pensar. Y ahora, si ejecuto esto, me está regresando con una calificación de uno.

Y veamos si tiene razón. Dice, OK, una calificación de uno significa que no había emojis. Y aparentemente no había emojis en esto. Así que vamos a comprobar esto. De hecho, voy a envolver esto para que podamos ver todo. Y así puedes ver en la pregunta de muestra, oh, en realidad había muchos emojis. Así que intentemos esto de nuevo. Oh, OK, esto estaba en la pregunta de muestra, y ese es el contexto, pero no estaba en la respuesta. La respuesta no tenía ningún emoji. Por eso lo calificó. Pero ahora veamos si podemos poner estos emojis en la respuesta y probarlo de nuevo. Y esta vez, me dio un cinco porque ahora puede usar la cosa que se le ocurrió con. Acabo de escribir un evaluador personalizado para evaluar mis respuestas, y lo hice con IA.