¿IA generativa en tu aplicación? ¿Qué podría salir mal?

Genial. Así que hoy quiero hablar un poco sobre GenreBI en nuestras aplicaciones como una especie de característica del producto. Un poco diferente a la charla anterior que dio Olga, que fue bastante impresionante, usas GenreBI para escribir pruebas. En este caso, queremos hablar un poco sobre el otro lado de donde se podría aplicar GenreBI en tu base de código, que esencialmente se filtra en tu prueba, ¿verdad? Dicho esto, quiero cubrir brevemente nuestra compañía, en la que trabajo actualmente, Severity, he estado aquí durante aproximadamente un año. Hacemos un montón de cosas de IA. Nuestra misión final es tomar mejores decisiones, desde el existencial humano, vamos a tomar mejores decisiones donde podamos. Pero, por supuesto, eso es algo a gran escala. Así que realmente queremos centrarnos ahora en tomar mejores decisiones en los equipos de producto. Ingenieros, gente de producto, ese tipo de cosas. Así que si eso suena interesante, ve a este sitio web. Si no, eso también está bien. Eso es más contexto de, hemos estado trabajando con esto durante aproximadamente un año. Y con eso, por supuesto, hay muchas cosas de GenreBI que hemos estado utilizando. Y eso es solo un poco de contexto aquí en lo que voy a compartir hoy, porque realmente hay muchas cosas geniales que puedes hacer con la IA, pero hay muchas cosas extrañas cuando realmente pones la IA en las bases de código e intentas hacer que las cosas funcionen desde una perspectiva de producto. Entonces, dicho esto, la calidad es muy importante. Hay muchos aspectos de la calidad en las bases de código. Testing es un aspecto de muchos aspectos. Hay muchas formas diferentes de probar. No entraremos en eso porque creo que todos tenemos una buena idea de lo que son esas cosas. Unidad, hay manual testing, testing automatizado, y mil cosas más. Ahora, otro aspecto importante de la calidad es esta idea de planificar o diseñar el flujo de una aplicación. Entender eso, es muy clave. Comprender cómo los usuarios fluirán a través de tu aplicación, entender dónde las cosas pueden fallar, ese tipo de cosas. Entonces, también voy a tocar un poco sobre eso hoy. Y luego este tercero es entender las dependencias, específicamente sus comportamientos y limitaciones. Entonces, cuando empiezas a usar la IA en tu aplicación como una característica del producto, tienes que entender realmente esas dependencias. En este caso específico, el case study que estoy compartiendo hoy con el material muy es que estamos usando los modelos de OpenAI. Y con eso, es muy crítico entender que los modelos de OpenAI son muy buenos en ciertas cosas, pero muy malos en otras cosas. Y entonces, cuanto mejor entendamos las limitaciones, en general podremos dar mejor calidad, porque al final del día, ya sea pruebas, ya sea diseñar cosas, la calidad es realmente lo que estamos tratando de resolver. Y entonces, dicho esto, esto en realidad puede aplicarse a otros LLMs, otros modelos por ahí, pero específicamente, hemos estado usando OpenAI, y por lo tanto estos ejemplos serán en OpenAI

Así que, dicho esto, si retrocedemos a noviembre de 2022, salió ChatGPT. Fue un gran revuelo. Todos estaban como, tan emocionados. Oh, ChatGPT, va a revolucionar el mundo, todas esas cosas buenas. Y creo que en su mayor parte tenían razón. Y entonces, una desventaja, sin embargo, con ese anuncio fue que no había una API de ChatGPT para que las bases de código realmente usaran cosas geniales de IA, al menos no todavía. Y eso fue un gran bajón. Y entonces, sabes, pensando en este playground donde podrías escribir cualquier prompt y generar lo que diablos quieras, no teníamos eso en la base de código, ¿verdad? Y entonces, tuvimos esta idea genial. ¿Alguien aquí ha usado Docker? Así que, Docker es una idea bastante genial, ¿verdad? Y este es uno de mis memes favoritos sobre Docker. Es como, bueno, funciona en mi máquina. ¿Y si encontramos una forma de hacer que funcione en no mi máquina? Y entonces, vamos a tomar esto. Así que, esto es algo que intentamos.

Entonces, en la siguiente diapositiva, vamos a usar eso aquí. Así que, tenemos un prompt aquí. Así que, teníamos varias necesidades de devolver JSON para diversos fines. En el caso de este ejemplo específico, simplifiqué algunas cosas. Pero solo finge que sea lo que sea, como, hey, devuelve cinco chistes geniales en JSON, sea cual sea el prompt, finge que está aquí. Pero en última instancia, le preguntamos a la IA, e intentamos analizar los resultados en JSON. Así que, veamos cómo fue eso. Entonces, esta es la respuesta cruda para ese código. Y si te das cuenta, esto aquí no es exactamente JSON. Eso es solo un tipo de lenguaje humano, que no es el mejor, porque si analizas eso en JSON, vas a lanzar un error, y sucederán cosas malas, ¿verdad? Entonces, volvemos y decimos, hey, agreguemos esto. Devuelve solo el valor JSON formateado. Y luego devuelve esto. Y es como, está bien, eso es genial, pero eso tampoco es JSON válido. Como, está bien, gracias por nada. Entonces, volvemos y alteramos el prompt de nuevo. Sin otras palabras. Como, por favor, solo devuelve JSON es la idea, ¿verdad? Y lo hizo, y está genial, excepto que quiero devolver un array JSON, que es ligeramente diferente a un objeto con una propiedad de un array que tiene un array en él. Así que, no se analizó muy bien. Entonces, por esa razón, oh, eso apesta. Así que, lo intentamos de nuevo. Hacemos algunas otras cosas. Finalmente, nos damos cuenta de que, hey, si tienes ejemplos, en realidad funciona mucho mejor. Entonces, vamos y damos un ejemplo, y ahora empieza a funcionar, y estamos todos contentos con eso. ¡Woohoo! Pero por supuesto, con cualquier cosa, a veces no funciona alrededor del 60% del tiempo, que no es un número muy grande. Y entonces, volvemos a la pizarra, y decimos, está bien, eso apesta. No podemos usar esto de manera confiable todavía. Al menos no de la manera que queríamos. Y entonces, por supuesto, unos meses después, sale GPT-4, y eso es bastante impresionante. Así que, conectamos GPT-4 en el modelo, y resulta que funciona alrededor del 80% del tiempo, que es una cantidad positiva, un saldo positivo allí, pero no es el 100%. Así que, estamos como,

Y estás como, no sé si sabes contar. ¿Qué está pasando? Así que, para nosotros, los modelos de chatqbt a veces devuelven un poco más de lo que esperas. Así que, otra cosa con la que nos encontramos aquí es cuando la solicitud era demasiado grande, quiero hablar muy brevemente sobre los tokens. ¿Alguien ha jugado con tokens aquí? ¿Tokens de IA? Así que, un puñado de personas. Así que, la forma en que esencialmente cuentan los créditos que estás utilizando allí es a través de tokens. Así que, en resumen, estos tokens son parte de, están integrados en el modelo. Bajan a las incrustaciones, las llaman, que es efectivamente una representación numérica de cada uno de estos tokens. Y por supuesto, aproximadamente cuatro caracteres en inglés son alrededor de un token. Hay un montón de detalles en eso. No entraré en eso demasiado. Pero solo sepan que empezamos a contar tokens porque hay limitaciones cuando usas algunos de estos modelos. Lo llaman la ventana de contexto allí. Y así, pudimos contar nuestros tokens antes de que realmente alcanzáramos los límites, ese tipo de cosas. Y eso pareció funcionar muy bien.

Otras cosas para probar, envía menos contexto, vuelve a las versiones de la ventana de contexto más grande de el modelo. Así que, hay como GPT-4, 16K, versus 32K, ese tipo de cosas. Podrías dividir las cosas. Y por supuesto, encadenar solicitudes, todas esas cosas ayudan a asegurar que estamos devolviendo las respuestas que queremos. Y luego solo quiero tocar brevemente este punto. Esto parece suceder con prácticamente cualquiera con quien hable que haya utilizado la API de OpenAI. Es como, hey, hay demasiadas solicitudes. Lo clave allí es que si te encuentras con eso, revisa las cabeceras. Y estas cabeceras aquí te dirán esencialmente si estás alcanzando un límite de tasa o no. Así que, muy útil allí. Me llevó un poco de tiempo averiguar eso. Y así que, en resumen, con todo esto, pudimos llevar nuestro porcentaje de éxito hasta el 99%. Y decimos que el 99 es genial. Hay muchas cosas adicionales que probablemente podríamos probar, pero las aplicaciones arrojan errores todo el tiempo. Eso está perfectamente bien, y tenemos cierto grado de errores en eso. Y así que, estamos bien con eso,

Todd, ¿cómo lograste eludir los CAPTCHA? Sí. Entonces, hay... Sabías que venía, ¿verdad? Entonces, hipotéticamente, hay servicios a los que puedes pagar para que las personas eludan los CAPTCHA, que, hipotéticamente, estoy bastante seguro de que es solo una empresa, alguna compañía en algún lugar que tiene personas en computadoras que simplemente están presionando los botones de CAPTCHA, hipotéticamente. Entonces, no respaldaría tal cosa, pero... Nunca. Pero eso es algo que probablemente existe. Entonces, buena pregunta. Sí, pero potencialmente, tal vez en algún mundo, es posible.

Sí, es como teóricamente posible. Entonces, esta pregunta es bastante interesante. Al principio de tu charla, hablaste sobre ese primer experimento de construir una API de chat GPT. Y esta pregunta pregunta, ¿cómo descubriste esas limitaciones como el CAPTCHA, como diste algunos otros ejemplos? Sí. ¿O simplemente tenías que ser completamente reactivo cuando se rompía? Básicamente... Golpeamos la API a través de la aplicación, y luego, cuando ocurre un error, vamos a verificar el servidor. Y vemos, oh, es porque esto no está funcionando. Y así, fue muy reactivo como, no sabíamos que esto sería un problema. Pero tiene sentido que sería un problema, y ahora tenemos que ir a descifrarlo de alguna manera, ¿verdad?

¿Hubo un punto, y creo que lo describiste en tu charla, que lo hubo. ¿Hubo un punto en el que simplemente dijiste, sabes qué? Hay demasiados compromisos reactivos aquí. Vamos a dejarlo por ahora. Sí. Sirvió para ayudarnos a entender lo que podríamos hacer con él. Pero sí, definitivamente no es algo que pondríamos frente a los usuarios, porque simplemente no era bueno. Entonces... Hizo lo que tenía que hacer.

Sí. Así que hicieron ese soporte para el formato como JSON, esencialmente. La única cosa a tener en cuenta es que devolverá un JSON válido, lo que significa que si lo analizas con JSON, lo analizará con éxito. Sin embargo, no necesariamente coincidirá con el esquema que quieras de cualquiera que sea la forma del JSON. Y entonces todavía tienes que ir y hacer algo de ingeniería de indicaciones e incluir, ya sabes, uno o dos ejemplos de cómo se ve un JSON válido en el formato que quiero. Pero sí, definitivamente ayuda con al menos el problema base de que no puedes analizar esto en absoluto.

Interesante. Y luego supongo que puedes probar contra la estructura de eso. Sí. Sí. Aquí hay una pregunta realmente interesante, que también me pregunto, ¿el estado actual de estas APIs de IA realmente nos hace comprometer la forma en que escribiríamos el código para manejar el hecho de que son tan no deterministas? ¿Y es eso un problema? Sí, siento que eso es un problema, pero también hay una especie de esperanza para el futuro de que, eventualmente los modelos mejorarán. Eventualmente tendremos menos compromisos, pero definitivamente el año pasado mientras trabajaba en esto, se siente como si hubiera un montón de cosas extra que si estuvieras simplemente diciendo como una API normal, nunca tendrías que hacer todas estas cosas extrañas. Pero porque es no determinista, porque el modelo es muy creativo y dado que hay formas de ajustar eso y hacerlo menos creativo. En algunos casos no puedes hacer eso porque de lo que quieres obtener del modelo. Básicamente tienes que comprometerte y añadir un esfuerzo adicional en el código o en la prueba para verificar si está funcionando o no.

Aunque diste un ejemplo, que personalmente me pareció salvaje, donde estás como, ¿necesita ser incluso JSON? Y eso es simplemente, para mí, alucinante. Sería como, vamos a cambiar fundamentalmente la estructura de los data, los data que estamos esperando de vuelta porque no se puede confiar en que sea JSON. Y para algunas personas, simplemente dirían, bueno, entonces es un no starter ahora mismo.

Sí. Y cuando te desesperas lo suficiente, empiezas a hacer esas preguntas de, ¿cuáles son otras formas en las que podríamos resolver esto? Porque una vez más, la IA es bastante impresionante, pero esencialmente domesticarla o controlarla a veces es un poco más difícil, ¿verdad? ¿Has encontrado cosas como instrucciones personalizadas que ayudan o todavía no realmente?

Sí, definitivamente. En la indicación que pasamos, es muy personalizada específicamente para lo que queremos obtener. Así que probablemente tenemos como 80 indicaciones diferentes en nuestro código que son únicas para lo que estamos tratando de hacer allí. Y es como, sí, un caso de uso muy específico y parece funcionar bastante bien. Así que. Interesante. Genial. Esta, creo que es una pregunta meta aquí. ¿Usaste la IA para escribir el código para llamar a la IA? ¿Fue útil para ayudarte a empezar? Siento que eso es como dos preguntas separadas, pero una pregunta meta.

Así que he usado mucho GPT para, supongo, Playground 3.52 para escribir algo de código, basado en la conversación anterior con la sesión anterior, hay algunas cosas que querrías mejorar allí. Actualmente uso AI Copilot en mi VS Code. Parece ser muy útil, probablemente el 50% del tiempo puedes confiar en él, pero las otras veces no es muy bueno. Así que mi actual mejor pensamiento allí es que en general ayuda con muchas cosas pequeñas. Y mientras esté haciendo cosas muy básicas y repetitivas como, hey, declara esto cinco veces diferentes basado en esta otra variable, cosas así, hace un muy buen trabajo, pero otras cosas cuando es un poco más involucrado, no mucho. Y ahí es donde debatirías basado en la conversación anterior de, ¿vale la pena, realmente me está ahorrando tiempo? Sí o no. Es una bolsa mixta, pero espero que en el futuro sea mejor. Así que empecemos a usarlo. Empecemos a dar retroalimentación y esperemos que las cosas mejoren. Incluso para esas tareas repetitivas, todavía es necesaria la validation. Ven y pregúntame durante el almuerzo sobre la traducción de un horario de conferencia a tres zonas horarias. Y a medida que avanzaba el día, los horarios se volvían incorrectos. E invité a los oradores en las horas equivocadas del día. A veces ni siquiera las horas equivocadas, los minutos equivocados. Simplemente, lo inventaba a medida que pasaba el tiempo. Y yo validé el primer 20% y dije, parece bien. No fue suficiente, un desastre absoluto. Así que puedo contarte esa historia y más para ayudar durante el almuerzo. Esta es una pregunta realmente interesante. Así que el testing de contratos te obliga a validar el contrato contra una API, pero con la naturaleza no determinista de los grandes modelos de lenguaje, ¿cómo puedes hacer eso? Sí. Y eso es como, fue como un golpe mental. Todavía no comprendo del todo la mejor manera de hacer eso, pero tienes por un lado, tienes cierto grado de contrato que se mantiene igual, pero en el lado dinámico es como, no lo sé. Eso parece una de esas áreas en las que vamos a ser mejores a medida que pase el tiempo. Mucha gente está intentando resolver eso. Pienso en los científicos de data y los ingenieros de machine learning con los que he hablado en los últimos años, y en algún momento eso se va a fusionar con el más clásico software de testing, el ámbito de la ingeniería de software. Ya lo está haciendo. Y creo que una vez que descubran, hay muchas formas de probar la corrección de los modelos que estás construyendo. Pero en este caso, cuando básicamente estamos confiando en un modelo de terceros, no puedes entrar en algunos de esos detalles, pero diría que si puedes, ahí es realmente donde está el núcleo del valor añadido en las pruebas y verificaciones en el modelo en sí. Así que si puedes controlar el modelo, eso es genial. Pero si no puedes, que en nuestro caso, si estamos usando open AI, no puedes realmente controlarlo. Así que te quedas con esta extraña sensación de, no sé exactamente la mejor manera, pero creo que con el tiempo, vamos a descubrir eso un poco más porque al final se reduce a si el modelo tiene problemas, ese equipo que mantiene el modelo debería ser el que solucione los problemas. Pero en algunos casos, debido a lo que estamos usando, no es tan sencillo como eso. Al menos es más sencillo que la API de ChatGPT al principio. Por favor, únanse a mí en darle a Todd un gran aplauso por una charla verdaderamente interesante. Gracias.