Masterclass: Qué son y cómo aprovechar los LLMs

Así que, bienvenidos a todos. Hoy vamos a ver la introducción a los modelos de lenguaje grandes. Así que, presentaciones rápidas. Puedo empezar y luego mi colega, Horace, puede seguir. Mi nombre es Nathan Mars y soy el líder técnico del equipo de DataViz en Grafana Labs. He estado experimentando en este mundo de los modelos de lenguaje grandes y cómo se pueden aplicar en el mundo de la observabilidad durante el último año y medio. Y estoy muy emocionado acerca de este espacio.

Horace, si quieres presentarte. Sí, por supuesto. Sí, mi nombre es Horace Rzajac. También trabajo en Grafana Labs. Soy un ingeniero de software en el equipo de Explore. Y también, sí, he estado experimentando con LLMs durante aproximadamente un año y pensando en cómo implementarlos en Grafana y en algunos otros proyectos personales.

Así que vamos a comenzar aquí. Para empezar, vamos a ver esta agenda de alto nivel aquí. Primero comenzaremos con una introducción a los modelos de lenguaje grandes y luego revisaremos algunas aplicaciones tempranas de los modelos de lenguaje grandes dentro de Grafana. Luego tendremos un descanso corto de cinco minutos, aproximadamente, y pasaremos a nuestra actividad práctica trabajando con modelos de lenguaje grandes que liderará Horace. Vamos a comenzar. Déjenme agregar a estas personas a la llamada.

Muy bien. En primer lugar, quiero dar un gran crédito a Andrej Karpathy por la mayoría de este contenido y estructura de esta introducción. Un recurso muy útil para crear esto. Entonces, ¿qué es un modelo de lenguaje grande? En realidad, son solo dos archivos. En este ejemplo aquí, estamos viendo un modelo LLAMA 2 70B de 70 mil millones. Este es un modelo de lenguaje grande lanzado por Meta.ai. Y esta es una segunda iteración del modelo LLAMA. LLAMA 2 tiene modelos que van desde 7 mil millones, 13 mil millones y hasta 70 mil millones de parámetros. 70 mil millones es el más grande y a mucha gente le gusta este modelo específicamente porque es el modelo de pesos abiertos más poderoso. Los pesos y la arquitectura de este modelo fueron lanzados por Meta. Cualquiera puede trabajar en este modelo por sí mismo. Esto es diferente a muchos otros modelos de lenguaje con los que puedes estar familiarizado. Por ejemplo, si estás usando chatTBT o algo similar, la arquitectura de ese modelo nunca fue lanzada y es propiedad de AI abierta. Puedes usarlo a través de una interfaz web, pero no tienes acceso real al modelo subyacente en sí. Sin embargo, una actualización rápida en el mundo de LLAMA. Meta lanzó LLAMA 3 hace unos meses. Y esto tiene una variante de modelo de 8 mil millones y 70 mil millones. Los conceptos subyacentes que vamos a discutir y explorar hoy se aplican tanto a LLAMA 2 como a 3, así como a otros modelos de lenguaje grandes disponibles hoy en día.

En este caso, el modelo LLAMA 2 70B en realidad son solo dos archivos en tu sistema. Hay un archivo de parámetros y luego el archivo de ejecución, que es solo un poco de código que ejecuta esos parámetros. Echaremos un vistazo a alto nivel al archivo de ejecución en unos minutos. Los parámetros son básicamente los pesos de la red neuronal que es el modelo de lenguaje. Cada uno de esos parámetros se almacena como dos bytes. Y debido a que este es un modelo de 70 mil millones de parámetros, el archivo de parámetros tiene 140 gigabytes. Cada parámetro son dos bytes porque son números de punto flotante de 16 bits. Y este es un formato de datos bastante estándar que proporciona la precisión suficiente a costa de cuántos datos se necesitan para almacenar y ejecutar. Cuánta memoria se necesita para ejecutar el modelo. Así que tienes el archivo de parámetros. También necesitas algo que ejecute la red neuronal. Y esta pieza de código se implementa en nuestro archivo de ejecución. Esto podría ser un archivo en C, Python o cualquier otro lenguaje de programación realmente.

Puedes hacerlo en JavaScript si quieres. Puede estar escrito en cualquier lenguaje arbitrario, pero C es un lenguaje muy simple y eficiente desde el punto de vista de la memoria, especialmente. Solo para darte una idea, solo requeriría alrededor de 500 líneas de código en C sin ninguna dependencia adicional para implementar la arquitectura de la red neuronal que utiliza los parámetros para ejecutar el modelo. Por lo tanto, puedes tomar estos dos archivos y puedes tomar tu MacBook o cualquier otra computadora que tengas y usar el modelo. Este es un paquete completamente autónomo que tiene todo lo necesario. No necesitas ninguna conexión a Internet ni nada más. Puedes compilar tu código en C y obtendrás un archivo binario al que simplemente puedes apuntar los parámetros y puedes interactuar con este modelo de lenguaje grande.

Por lo tanto, en este ejemplo, puedes enviarle una indicación para escribir un poema sobre esta conferencia y obtener texto generado por el modelo de lenguaje. En este caso, seguiré solicitándolo una y otra vez, le di las instrucciones, le pedí un poema sobre la cumbre React. Está ejecutando el modelo y podemos ver que genera algo de texto sobre un poema. Por lo tanto, este es un paquete muy pequeño, pero la complejidad computacional realmente radica en cómo se forman estos parámetros. El archivo de ejecución en C no contiene sorpresas y todo se entiende algorítmicamente y está abierto. Esta es una vista real dentro de un archivo de ejecución en C. Puedes ver que es un archivo C básico. Básicamente, es la lógica principal para cargar y ejecutar el modelo. Aquí hay una abstracción de lo que está sucediendo aquí. Por lo tanto, el modelo LLAMA2 y otros modelos utilizan multiplicación de matrices para cálculos de rendimiento. El modelo tiene una gran cantidad de parámetros que se almacenan en matrices. El modelo realiza multiplicación de matrices en estos parámetros para generar el texto de salida. Y este programa de ejecución en C es un programa relativamente simple. Consiste en una función principal y algunas funciones auxiliares. La función principal es responsable de leer el archivo de texto de entrada, llamar al modelo para generar el texto de salida y escribir el texto de salida en el archivo de texto de salida. Las funciones auxiliares realizan diversas tareas, como leer y escribir archivos, asignar memoria, que es una parte importante de esto, y realizar multiplicación de matrices.

Entonces, el archivo C de ejecución no oculta realmente ningún misterio real, pero los parámetros mismos son bastante complejos. Entonces, la gran pregunta aquí es cómo obtenemos estos parámetros y de dónde provienen. Para obtener los parámetros, básicamente el modelo, esto se llama entrenamiento del modelo. Es mucho más complejo que la inferencia del modelo, que es el proceso que acabamos de discutir anteriormente con el archivo C de ejecución. La inferencia del modelo es simplemente ejecutarlo en tu Macbook.

El entrenamiento del modelo es un proceso muy complejo. Básicamente, lo que estamos haciendo se puede entender mejor como una especie de compresión de una gran cantidad de Internet. Debido a que el modelo LLAMA2 70b es de código abierto, sabemos bastante sobre cómo se entrena. Por lo tanto, LLAMA2 70b tiene la intención de publicar esta información en un artículo.

Estos son los números, algunos de los números involucrados. Básicamente, tomas un fragmento de Internet que es aproximadamente de 10 terabytes de texto. Eso es mucho texto. Esto generalmente proviene de un rastreo de Internet. Así que imagina recolectar toneladas de texto de diferentes sitios web y juntarlo todo. Luego tomas este gran fragmento de Internet y adquieres un clúster de GPU. Esos no son baratos. Estas son computadoras muy especializadas destinadas a cargas de trabajo computacionales pesadas como el entrenamiento de redes neuronales. Necesitas alrededor de 6,000 GPU especializadas y las ejecutarías durante aproximadamente 12 días para obtener un modelo LLAMA2 70b. Esto cuesta alrededor de $2 millones.

Y esta es parte de la razón por la cual NVIDIA vale tanto hoy en día. Entonces, lo que hace este entrenamiento es básicamente comprimir este gran fragmento de texto en lo que podrías pensar como un archivo zip a un alto nivel. Estos parámetros que te mostré en la diapositiva anterior se pueden pensar mejor como un archivo zip, ¿verdad? Un archivo zip de Internet. Y en este caso, lo que saldría de esos parámetros es un archivo de parámetros de 140 gigabytes. Entonces, estás tomando 10 terabytes de texto crudo de Internet y se está comprimiendo en 140 gigabytes. Entonces es una relación de compresión de aproximadamente 100 veces. Pero esto no es exactamente un archivo zip porque los archivos zip tienen compresión sin pérdida. Lo que realmente está sucediendo aquí es una compresión con pérdida. Solo estamos obteniendo una aproximación del texto en el que se entrenó y no tenemos una copia idéntica de los parámetros. Entonces es una compresión con pérdida. Una cosa más que señalar aquí es que estos números son en realidad según los estándares de hoy en día, números bastante bajos. Si quieres pensar en redes neuronales de última generación, como las que puedes usar con chat, GPT, BARD, Cloud, u otras, estos números están fuera por un factor de 10 o más. Entonces, para tener una idea del costo de entrenar esos, probablemente necesites multiplicar por 10 a 20 veces el costo de 2 millones, ¿verdad? Y es por eso que los entrenamientos de hoy están en los decenas o incluso cientos de millones de dólares para clústeres muy grandes porque están lidiando con conjuntos de datos muy, muy grandes. Y el proceso aquí es muy complejo para obtener esos parámetros. Por ejemplo, el último modelo GBT 4.0 que se lanzó tiene aproximadamente 175 mil millones de parámetros en comparación con 70. Así que solo puedes imaginar cuántos más datos son esos.

Una vez que obtienes estos parámetros en ejecución, la red neuronal es bastante computacionalmente barata. Entonces, ¿qué está haciendo realmente esta red neuronal? Mencioné que hay estos parámetros en la red neuronal. Básicamente, están tratando de predecir la siguiente palabra en una secuencia. Puedes alimentar una secuencia de palabras, o realmente se llaman tokens. Por ejemplo, gato se sentó en A. Esto se alimenta a la red neuronal, red neuronal, y estos parámetros están dispersos en toda la red neuronal, y hay neuronas, y están conectadas entre sí de una manera, y todas disparan de una cierta manera que no entendemos completamente. El modelo devuelve una predicción de qué palabra viene a continuación.

Por ejemplo, en este caso, la red neuronal podría predecir que en este contexto de estas cuatro palabras, la siguiente palabra debería ser alfombra con un 97% de probabilidad. Entonces, este es realmente el problema fundamental que la red neuronal está resolviendo. Podemos mostrar matemáticamente que hay una estrecha relación entre la predicción y la compresión, por eso aludo al entrenamiento de la red neuronal como una compresión en Internet, porque puede predecir la siguiente palabra con mucha precisión. Es solo una red neuronal de predicción de la siguiente palabra, y le das algunas palabras, y te dará la siguiente palabra en esa secuencia.

Dicho esto, sin embargo, la razón por la cual este entrenamiento produce algo un poco mágico o interesante es porque puedes pensar que la tarea de predicción de la siguiente palabra es algo básico, pero en realidad es un objetivo bastante poderoso porque te obliga a aprender mucho sobre el mundo dentro de los parámetros de la propia red neuronal. Aquí tomé una página web aleatoria de la página principal de Wikipedia que trata sobre Oppenheimer. Imagina estar en la red neuronal y se te dan algunas palabras, y estás tratando de predecir la siguiente palabra en una secuencia. En este caso, estoy resaltando en rojo aquí algunas de las palabras que contienen mucha información sobre el mundo alrededor de estas palabras. Entonces, por ejemplo, si tu objetivo es predecir la siguiente palabra, presumiblemente tus parámetros tienen que aprender mucho de este conocimiento.

Entonces, debes conocer a Oppenheimer, quién es, cuándo nació, cuándo murió, qué hizo, y así sucesivamente. Y así, en la tarea de predicción de la siguiente palabra, en realidad estás aprendiendo mucho sobre el mundo y todo el conocimiento que se está comprimiendo en los pesos de estos parámetros.

Entonces, ¿cómo utilizamos realmente estas redes neuronales una vez que las hemos entrenado? Te mostré que la inferencia del modelo es un proceso muy simple en el que básicamente generamos la palabra que viene a continuación. Lo que sucede es que elegimos una palabra y la seguimos alimentando de nuevo al modelo hasta obtener la siguiente palabra, y luego continuamos alimentándola para iterar este proceso, y luego la red crea documentos similares a páginas web.

Por ejemplo, si simplemente ejecutamos la red neuronal y realizamos la inferencia, obtendríamos algunos sueños de páginas web. Casi podríamos pensar en esto de esta manera porque esta red fue entrenada con páginas web, y luego simplemente crea sueños de páginas web como resultado directo sin necesidad de ajustes finos. Aquí a la izquierda tenemos un sueño de código Java. En el medio, parece un sueño de producto de Amazon, y a la derecha, parece un sueño de artículo de Wikipedia.

Centrándonos un poco en el ejemplo del medio, hay un título, hay un autor, hay un número ISPN. Toda esta información fue totalmente inventada por la red. La red está soñando este texto basado en la distribución en la que fue entrenada. Y está imitando estos documentos, y todo está un poco elucidado. Por ejemplo, el número ISPN, es muy probable que este número no exista, ¿verdad? El modelo simplemente sabe que lo que viene después de ISPN dos puntos es algún tipo de número que tiene aproximadamente esta longitud, tiene todos estos dígitos, y simplemente lo coloca allí, y es como, sí, esto se ve bien. Nadie se dará cuenta de que esto no es real.

Y aquí a la derecha, hay un `black nosed dace` que busqué. Es una especie de pez. Lo que está sucediendo aquí es que este texto textualmente no se encuentra en internet tal cual, pero es aproximadamente correcto. Entonces no va a repetir exactamente los documentos, los documentos concatenados, pero obtendrá aproximadamente la información correcta. Pero debes recordar, una vez más, que es una compresión con pérdida de internet. Así que simplemente recuerda este resumen de alto nivel, y luego sigue con este conocimiento que siente que tiene. Y no tiene sentimientos, por cierto, pero tal vez algún día. Así que crea esta forma correcta y la completa con algún conocimiento. Y nunca estás 100% seguro de que lo que se le ocurre sea lo que llamamos una alucinación o una respuesta completamente correcta.

Algunas de estas cosas se pueden memorizar, y algunas pueden ser inventadas porque suenan bien. En su mayor parte, esto es simplemente una especie de alucinación y sueño de texto de internet a partir de su estado de distribución.

Entonces, esto es como el modelo base, ¿verdad? Cambiemos de tema. ¿Cómo funciona esta red? Y veamos cómo funciona realmente esta red. ¿Y cómo realiza realmente esta tarea de predicción de la siguiente palabra y qué sucede dentro de ella a un nivel alto?

Aquí es donde las cosas se complican un poco. Este es una especie de diagrama esquemático de una red neuronal. Si nos acercamos a este diagrama de juguete de la red neuronal, esto es lo que llamamos la arquitectura de red neuronal transformadora. Entonces, lo notable de estas redes neuronales es que realmente entendemos en detalle completo la architecture. Sabemos exactamente qué operaciones matemáticas ocurren en todas las diferentes etapas de la misma. El problema es que en una red de cien mil millones de parámetros, estos parámetros se dispersan por toda la red. Entonces, básicamente, hay miles de millones de parámetros en toda esta red neuronal, y todo lo que sabemos es cómo ajustar estos parámetros de manera iterativa para mejorar la red en su conjunto en la tarea de predicción de la siguiente palabra.

Entonces sabemos cómo optimizarlos. Sabemos cómo ajustarlos con el tiempo para obtener una mejor predicción de la siguiente palabra, pero en realidad no sabemos qué están haciendo estos cien mil millones de parámetros en un momento dado durante la inferencia y cómo interactúan entre sí. Podemos medir que mejora en la predicción de la siguiente palabra, pero tampoco sabemos cómo colaboran, por eso es una caja negra.

Tenemos algunos modelos que puedes intentar comprender a un nivel alto de lo que la red podría estar haciendo. Podemos entender que construyen y mantienen algún tipo de base de conocimiento, pero esta base de conocimiento es muy extraña, imperfecta y extraña. Un ejemplo viral de esto es lo que llamamos la maldición de la inversión. Por ejemplo, si hablaras con un chat GPT, GPT-4, uno de los mejores modelos de lenguaje disponibles actualmente, y le preguntaras quién es la madre de Tom Cruise, te dirá que es Mary Lee Pfeiffer, lo cual es correcto. Pero si le preguntas quién es el hijo de Mary Lee Pfeiffer, te dirá que no lo sabe. Así que este conocimiento es algo extraño, es algo unidimensional. El conocimiento no se almacena simplemente, tienes que acceder a él de ciertas maneras. Casi tienes que preguntarlo desde una dirección específica. Así que es una base de conocimiento extraña y extraña que definitivamente no es perfecta. Fundamentalmente, realmente no sabemos, porque lo único que realmente se puede medir es si funciona o no, y con qué probabilidad.

Entonces, puedes pensar en los LLM, los modelos de lenguaje grandes, como artefactos en su mayoría inescrutables. No se parecen a nada más que puedas construir en la disciplina de la ingeniería. Son como un automóvil en el que entendemos todas las diferentes partes y cómo funcionan juntas.

Son estas redes neuronales que surgen de un largo proceso de optimización. Actualmente no entendemos exactamente cómo funcionan, pero obviamente hay investigación en curso en este espacio llamado interpretabilidad o interpretabilidad mecanicista, tratando de entrar y descubrir qué hace cada pieza de estas redes neuronales. Pero aún es temprano en ese sentido.

Por ahora, podemos tratar estos LLM como artefactos en su mayoría empíricos. Simplemente les damos algunos insumos y medimos los resultados. Básicamente podemos medir su comportamiento. Podemos analizar el texto que generamos en muchas situaciones diferentes. Y en este caso, tenemos que desarrollar evaluaciones sofisticadas para trabajar con estos modelos, porque son principalmente empíricos, ya que solo tenemos el control sobre la entrada y cómo medimos la salida.

Hasta ahora hemos estado hablando solo de un modelo base que generará documentos base de Internet. Ahora veamos cómo obtenemos un asistente. Esto es algo con lo que probablemente estés más familiarizado.

Hasta ahora, solo hemos hablado de estos generadores de documentos de Internet, que son el resultado de la primera etapa de entrenamiento, que es lo que llamamos preentrenamiento. Y ahora nos estamos moviendo a la segunda etapa de entrenamiento, que es lo que llamamos ajuste fino.

Aquí es donde obtenemos lo que llamamos un modelo de asistente, porque en realidad no solo queremos generadores de documentos, ya que eso no es muy útil para muchas tareas. Queremos darle preguntas al modelo y queremos que genere respuestas basadas en las preguntas, realmente queremos un modelo de asistente.

La forma en que obtenemos estos modelos de asistente es fundamentalmente a través de un proceso siguiente. Mantenemos la optimización idéntica, por lo que el entrenamiento será el mismo. Es solo una tarea de predicción de la siguiente palabra, pero vamos a cambiar el conjunto de datos sobre cómo lo estamos entrenando. Solía ser que entrenábamos con una gran cantidad de documentos de Internet. Vamos a cambiar esto por un conjunto de entrenamiento que recopilamos manualmente utilizando a mucha gente.

Por lo general, una empresa contratará personas y les dará instrucciones de etiquetado, y todas estas personas crearán preguntas y luego escribirán respuestas a ellas. Aquí hay un ejemplo que podría incluirse en tu conjunto de entrenamiento. Hay un usuario y dice algo como, ¿puedes escribir una breve introducción sobre la relevancia de este término en economía, y así sucesivamente. Y luego el asistente, y nuevamente, la persona, completa cuál sería la respuesta ideal a esta pregunta. La respuesta ideal y cómo se especifica y cómo debería verse todo proviene del etiquetado de documentación. Las instrucciones de etiquetado básicamente son proporcionadas por los mantenedores del modelo, como empresas como OpenAI.

Ahora la etapa de preentrenamiento se trata de una gran cantidad de texto y potencialmente baja calidad porque proviene de Internet y hay decenas o cientos de terabytes de datos. Y todo es de muy alta calidad. No se puede garantizar eso. Sin embargo, en la segunda etapa, preferimos calidad sobre cantidad. Por lo tanto, podemos tener muchos menos documentos, por ejemplo, solo cien mil, pero todos estos documentos son ahora conversaciones y deben ser conversaciones de muy alta calidad. Fundamentalmente, las personas crean estas conversaciones basándose en instrucciones de etiquetado.

Cambiamos el conjunto de datos y ahora entrenamos con estos documentos de preguntas y respuestas, que es un proceso que llamamos ajuste fino del modelo. Una vez que ajustas fino el modelo, obtienes lo que llamamos un modelo de asistente. Este modelo de asistente ahora se ajusta al formato de sus nuevos documentos de entrenamiento. Por ejemplo, si le das una pregunta, ¿puedes ayudarme con este código? Parece que hay un error en imprimir hola mundo. Entonces, aunque esta pregunta no estaba en el conjunto de entrenamiento, el documento, el ajuste fino del conjunto de entrenamiento, el modelo comprende que debe responder esta pregunta de una manera útil. Y responderá muestreando palabra por palabra de izquierda a derecha, de arriba a abajo, todas las palabras que son en respuesta a esta consulta, es algo notable. Y también es algo empírico y no completamente entendido que estos modelos pueden cambiar su comportamiento, su formato para ahora ser asistentes útiles porque han visto tantos documentos durante la etapa de ajuste fino. Pero aún así pueden acceder al conocimiento de la etapa de preentrenamiento.

Hablando en términos generales, la etapa de preentrenamiento se trata de entrenar con una gran cantidad de intranet. Se trata de conocimiento y la etapa de ajuste fino, la etapa de ajuste fino se trata de lo que llamamos alineación. Se trata de cambiar el formato de generador de documentos de intranet a un modelo de asistente de documentos de preguntas y respuestas. Entonces, la pregunta aquí es, ¿el ajuste fino evita los sueños y las alucinaciones? La respuesta aquí es no. El ajuste fino dirige estos sueños hacia sueños de asistente útiles en lugar de sueños de documentos de Internet. Así que ten precaución, siempre debes tener cuidado con lo que los LLM te dicen y siempre verifica los resultados. Y si necesitas datos actualizados, probablemente proporciónalos como contexto relevante para el modelo.

Entonces, en realidad, hay un siguiente paso en el ajuste fino llamado comparaciones, etiquetas de comparación. La razón por la que podemos hacer esto es que, en muchos casos, es mucho más fácil comparar respuestas candidatas o respuestas del modelo que escribir la respuesta tú mismo si eres un etiquetador humano. Podemos pensar en este ejemplo, como con tareas creativas como correr IQ. Supongamos que la pregunta es escribir un IQ sobre Grafana o algo así. Desde la perspectiva de un etiquetador, si se me pide que escriba un IQ, eso es algo difícil tarea, al menos para mí. Puede que pueda escribir un IQ y sí, lleva mucho tiempo. Pero supongamos que le pedimos al modelo que genere algunas IQ candidatas a partir de la etapa dos del modelo. Bueno, entonces, como etiquetador humano, miro estas IQ y luego elijo una que sea la mejor. Y esto es mucho más fácil de hacer en comparación que generar desde cero.

En OpenAI, este proceso se denomina aprendizaje por reforzamiento a partir de la retroalimentación humana o RLHF. Y esta es una especie de etapa opcional tres que puede obtener un rendimiento adicional en estos modelos de lenguaje. También quiero mostrarte brevemente algunas de las instrucciones de etiquetado que OpenAI ha utilizado para el ajuste fino. Este es un extracto del documento instructGBT de OpenAI. Y muestra lo que están pidiendo a las personas. Les piden que sean útiles, veraces e inofensivos al crear estas respuestas y documentos de preguntas y respuestas. Sin embargo, estos documentos de etiquetado pueden llegar a tener decenas o cientos de páginas y pueden ser bastante complicados. Pero esto es más o menos cómo se ven.

Entonces, he descrito el proceso de etiquetado de manera un tanto ingenua aquí, como si los humanos hicieran todo este trabajo manual. Eso no es exactamente correcto en la actualidad y cada vez menos es el caso de que todo sea trabajo manual humano. Esto se debe a que estos grandes modelos de lenguaje están mejorando mucho al mismo tiempo y básicamente puedes utilizar esta colaboración entre humanos y máquinas para crear estas etiquetas con mayor eficiencia y corrección. Por ejemplo, puedes hacer que estos modelos de lenguaje generen respuestas y luego las personas seleccionan las mejores partes de la respuesta para crear la mejor respuesta única. O puedes pedirle a estos modelos que verifiquen tu trabajo o que creen comparaciones y tú solo desempeñas un papel de supervisor sobre el modelo. Incluso hay casos en los que puedes utilizar un modelo más advanced como chbt4o para generar datos de entrenamiento y entrenar un modelo más simple, para ajustar fino un modelo más pequeño. Quizás algún día los humanos no estén involucrados, pero por ahora todavía estamos involucrados. Así que eso es bueno.

Entonces vamos a utilizar una diapositiva de revisión para repasar todo el material que hemos cubierto a un ritmo bastante rápido aquí. Hablando en términos generales, hay dos partes principales para obtener algo como chbt. Está la etapa uno de pre-entrenamiento y la etapa dos de ajuste fino. En la etapa de pre-entrenamiento, obtienes una gran cantidad de texto de internet y necesitas un enorme grupo de GPUs. Son chips de propósito especial para este tipo de cargas de trabajo de procesamiento paralelo y no son cosas que puedas comprar en Best Buy y son increíblemente caros e ilimitados. Luego comprimes todo este texto en una red nula que consiste en parámetros basados en el texto comprimido. Por lo general, esto podría costar varios millones de dólares y mucho más para los modelos de última generación. Esto te da el modelo base. Debido a que esta es una parte muy costosa computacionalmente de este proceso, solo ocurre en las empresas tal vez una vez al año o cada varios meses, dependiendo de la empresa.

Una vez que tienes este modelo base, ingresas a la etapa de ajuste fino, que es computacionalmente mucho más económica. En esta etapa, escribes algunas instrucciones de etiquetado y básicamente especificas cómo debe comportarse tu asistente. Contratas personas para crear documentos según tus instrucciones de etiquetado. Recopilas, digamos, cien mil ejemplos de preguntas y respuestas de alta calidad y luego ajustas fino el modelo base con estos datos. Esto es mucho más económico y solo tomaría un día aproximadamente ajustar fino el modelo en lugar de varios meses. Esto es algo que puedes hacer relativamente rápido, dependiendo de qué tan rápido puedas obtener estos datos de preguntas y respuestas de alta calidad. Luego realizas evaluaciones, implementas, monitoreas, recopilas comportamientos no deseados. Para cada comportamiento no deseado, quieres corregirlo. La forma de corregir los comportamientos no deseados, básicamente el modelo responde de una manera que no deseas, es tener una conversación donde tu asistente da una respuesta incorrecta y le pides a la persona que complete la respuesta correcta. Luego, la persona sobrescribe esta respuesta con la correcta y se inserta como parte de un ejemplo de tus datos de entrenamiento. Entonces, la próxima vez que hagas una etapa de ajuste fino, el modelo mejorará en esa situación. Ese es el proceso iterativo mediante el cual mejoras en esto. Debido a que el ajuste fino es mucho más económico, puedes hacer esto todas las semanas o todos los días aproximadamente. Las empresas a menudo iteran mucho más rápido en la etapa de ajuste fino en lugar de en la etapa de pre-entrenamiento.

Otra cosa que me gustaría señalar, por ejemplo, mencioné la serie LLAMA 2. La serie LLAMA 2 en realidad contiene tanto el modelo base, desde la etapa uno, como modelos de asistentes, así como LLAMA 3. El modelo base no es utilizable directamente porque no responde preguntas con respuestas. Si le haces preguntas, simplemente te hará más preguntas, o hará algo así porque este es un muestreador de documentos de internet, por sí solo no es muy útil. Pero donde tener acceso a este modelo base es realmente útil es que Meta ha realizado la parte muy costosa de estas dos etapas. Han realizado la etapa uno y te han dado resultados para que puedas hacer tu propio ajuste fino. Eso te da mucha libertad para lo que puedes hacer con este modelo. Además, Meta también ha lanzado los modelos de asistentes, por lo que si solo quieres tener un modelo de asistente de preguntas y respuestas, puedes usarlo y hablar con él.

Finalmente, quiero mostrarles un ranking de los modelos de lenguaje más grandes y líderes que existen actualmente. Este ejemplo de Chatbot Arena, es administrado por el equipo de Berkeley, y lo que hacen aquí es clasificar diferentes modelos de lenguaje según su clasificación ELO. La forma de calcular el ELO es muy similar a cómo se calcula en el ajedrez. Entonces diferentes jugadores de ajedrez juegan entre sí y dependiendo de la tasa de victorias, puedes calcular sus puntajes ELO. Entonces puedes hacer exactamente lo mismo con los modelos de lenguaje. Puedes ingresar al sitio web del modelo de lenguaje o interactuar con él, hacer algunas preguntas, ver respuestas de dos modelos y no sabes de qué modelos se generaron, y eliges al ganador. Es como una carrera a ciegas. Y luego, dependiendo de quién gane o pierda, puedes calcular los puntajes ELO. Así que cuanto más alto, mejor. Entonces lo que ves aquí es que en la parte superior están los modelos propietarios. Estos son modelos cerrados, no tienes acceso a los pesos y generalmente están detrás de una interfaz web. Entonces esto incluye, ya sabes, la serie GPT de OpenAI, Gemini de Google y Cloud de Antrofit. Y también hay otros modelos de lenguaje grandes de otras empresas. Y el modelo con mejor rendimiento aquí en la parte superior es GPT-40, y como mencioné antes, tiene más de 175 mil millones de parámetros en comparación con LLAMA-2-3-70. Así que eso es mucho más, es mucho más para lidiar, mucho más costoso computacionalmente de entrenar. Y luego, un poco más abajo, comenzarás a ver algunos modelos que tienen pesos abiertos. Estos pesos están disponibles. Con pesos nos referimos a los pesos de los parámetros del modelo. Entonces se sabe mucho más sobre ellos y hay documentos disponibles.

Este es un caso para el modelo LLAMA-3-70b que ocupa el puesto 12 a partir de junio de 2024. Pero hablando en términos generales hoy, lo que estamos viendo en el ecosistema es que los modelos cerrados funcionan mucho mejor, pero no puedes ajustar el modelo base y descargarlos y profundizar en ellos en términos de los pesos de sus parámetros. Así que lo único que puedes hacer es usarlos a través de una interfaz web. Y detrás de todos estos modelos propietarios están los modelos de código abierto y todo el ecosistema de código abierto. Y aunque los modelos de código abierto no tienen una clasificación tan alta, dependiendo de tu aplicación, podrían ser lo suficientemente buenos y realmente puedes ejecutarlos, ya sabes, en tu propia infraestructura. Así que podría ser más económico hacer esto. Y actualmente, diría que el ecosistema de código abierto está tratando de mejorar el rendimiento y competir con los ecosistemas propietarios. Y esa es más o menos la dinámica que vemos hoy en la industria. Y todavía es muy temprano para ver quién sale victorioso.

Con eso, vamos a pasar a la forma en que Grafana utiliza los modelos de lenguaje grande hasta ahora y cómo hemos aprovechado estas capacidades dentro de Grafana. Primero, antes de profundizar, ¿qué es Grafana? Si no estás familiarizado con ello. Grafana es una plataforma líder de código abierto para la monitorización de la observabilidad. Fue desarrollada por primera vez en 2013 por Torco Ortegaard y ahora es mantenida por Grafana Labs. La misión de Grafana es facilitar que todos comprendan y monitoricen sus datos. La estrategia principal de Grafana es tener una filosofía de `gran carpa` que admita tantas fuentes de datos como sea posible y elimine el bloqueo de proveedores. Esta gran carpa permite a nuestros usuarios consultar, visualizar, alertar y comprender sus datos sin importar dónde estén almacenados. Y con Grafana, puedes crear, explorar y compartir todos tus datos a través de paneles flexibles y hermosos. Grafana es utilizado por organizaciones de todos los tamaños para realizar un seguimiento del rendimiento, identificar problemas y tomar decisiones informadas. Es una herramienta poderosa que puede ayudar a las organizaciones a mejorar su eficiencia y productividad.

Lo que me entusiasma mucho de Grafana es que, además de su uso comercial, es muy popular entre los aficionados y entusiastas. Muchas personas utilizan Grafana para una amplia variedad de casos de uso, desde monitorizar la energía solar de su hogar hasta realizar un seguimiento de las métricas de sus dispositivos inteligentes de IoT o incluso crear un panel de control para el trayecto diario, como hizo esta persona. En este ejemplo, el panel de control se alimenta de API y feeds en tiempo real de GTFS para obtener datos de weather.gov, la Autoridad de Tránsito Metropolitano de Atlanta, que está en Atlanta, Georgia, en Estados Unidos, y información sobre el tiempo de viaje y el tráfico de Google Maps y Bing Maps. Así que es como una mezcla de datos que se utilizan para informar sobre el trayecto diario de esta persona. Y aquí también se utiliza Bing Maps. Así que si te preguntas si Bing tiene un servicio de mapas que se utiliza, aquí tienes la respuesta. Alguien lo está utilizando. Eso también es genial. La flexibilidad y facilidad de uso de Grafana lo convierten en una excelente opción para los aficionados que desean tener una visión más profunda de sus datos sin limitaciones reales. Y hemos visto que Grafana se utiliza en una amplia variedad de casos de uso, desde monitorizar los niveles de palomitas en un parque temático, que es interesante, hasta ayudar a Japón a aterrizar en la luna, como se puede ver en el panel de control de Grafana que están viendo en esa transmisión en vivo, lo cual es genial. Muy bien. Así que ahora tenemos una comprensión básica de qué es Grafana. Pasemos a tres ejemplos de cómo estamos considerando aprovechar los modelos de lenguaje grande en el espacio de la observabilidad. El primero que tenemos aquí es el asistente de paneles. Esto es algo que me interesa mucho, ya que ayudé a desarrollarlo y aprendí mucho en el proceso. En este caso, se puede ver que se utiliza IA generativa, nuestro modelo de lenguaje grande, como un ayudante para agregar títulos y descripciones a los paneles y cuadros de mando. Es un gran ejemplo de cómo una pequeña ayuda puede reducir la carga de trabajo y agregar rápidamente un valor real. Pero no necesariamente es un cambio de juego, pero ayuda a los ingenieros y personas que trabajan con Grafana a superar pequeños obstáculos en el producto, especialmente cuando se trata de dar un nombre a algo, lo cual puede ser bastante difícil. Y esto realmente tiene un valor real, ya que puede hacer que tus paneles sean más robustos y fáciles de usar. Así que quiero... Esto es algo único de Grafana. Quiero mostrarte un pequeño vistazo detrás de escena del asistente de paneles. Grafana en sí es un proyecto de código abierto, una plataforma de visualización. Y realmente nos gusta construir de forma abierta y el código escrito para esto es en realidad de código abierto dentro del repositorio de Grafana, por lo que podemos compartirlo. Aquí estamos viendo la indicación que le estamos proporcionando al modelo de lenguaje grande para generar el título del panel. Y aquí podemos ver que estamos utilizando el título y la descripción del panel para influir en cómo se genera el título. Esto ayuda... Esto proporciona al modelo un contexto útil para generar una respuesta razonable. A continuación, tenemos la generación de resúmenes de incidentes.

Básicamente, estamos tomando el contexto de un incidente declarado. Digamos que una de las CPUs de tu servidor está por encima de un umbral determinado, está alertando un incidente en particular, para que las personas puedan abordarlo y recibir notificaciones y asegurarse de que el servicio se mantenga en funcionamiento. Básicamente, puede tomar todo el contexto histórico de este incidente y luego hacer que el modelo de lenguaje grande genere un resumen de todo lo que ocurrió para ahorrarte tiempo. Es otro ejemplo de cómo reducir la carga de trabajo para el usuario, similar al caso del título y la descripción del panel, solo queremos facilitarle la vida al usuario.

Y luego la última característica que cubriremos hoy se llama Flame Graph AI. Esta característica te ayuda a comprender tus datos de perfil de flame graph. Los flame graphs proporcionan una forma conveniente de visualizar los datos de rendimiento, pero no todos saben cómo leerlos o obtener valor de ellos. Entonces, Flame Graph AI cierra esta brecha y lo hace más accesible para una audiencia más amplia. Y lo hace resaltando los cuellos de botella de rendimiento, proporcionando también causas e incluso incluyendo cómo podrías resolver estos problemas, lo cual es bastante interesante. En este caso, en realidad no está resolviendo un caso de carga de trabajo o un caso de tarea, es más bien un caso de conocimiento de dominio, donde a veces en el mundo de la observabilidad hay conocimientos bastante profundos que necesitas tener para poder leer un gráfico o realmente obtener valor de ellos. Entonces, ¿cómo podemos utilizar AI, como en este caso, para ayudar a cerrar esta brecha y hacerlo más accesible para más personas?

Con esto, eso es todo lo que tenemos para la primera parte. Así que vamos a hacer un breve descanso aquí, porque hay mucho contenido aquí en la primera parte de unos 45 minutos. Un aviso aquí, si aún no tienes una cuenta configurada en code sandbox.io, este sería un buen momento para configurarla, ya que será necesario para la actividad práctica. No será solo una conferencia, ¿verdad? Vamos a hacer que las personas realmente entren y prueben este modelo de lenguaje grande. Así que si puedes configurar una cuenta en code sandbox.io, sería genial. Y con eso, voy a cambiar la pantalla compartida a Horace, y pondremos un temporizador de cinco minutos, y luego continuaremos. Hola a todos. Bienvenidos de nuevo. En esta actividad práctica, tendremos una pequeña aplicación de React que interactúa con los modelos LLM a través de la API de completado de chat de OpenAI. Es complicado hacer que esta actividad sea interactiva de forma remota. Así que no dudes en hacer preguntas o interrumpir en cualquier momento. Primero, repasemos la API de completado de chat de OpenAI. Tal vez podamos ver si pueden dar un emoji de pulgar hacia arriba si han usado la API de OpenAI. Esto es genial. Nadie la ha usado. Así que podemos repasarla y mostrar cómo funciona y cómo interactuará con la aplicación de React. Así que puedo compartir esto en el chat. Hay un repositorio en GitHub. Este es un archivo readme que quiero repasar rápidamente, solo repasar algunos de los parámetros que acepta la API de completado. Acepta muchos parámetros diferentes. Pero en este tutorial, principalmente usaremos los cuatro parámetros más básicos. Primero, tenemos el modelo. Creo que la mayoría de ustedes están familiarizados con esto, y Nathan habló de ello. El parámetro del modelo especifica el modelo que se utilizará para generar la respuesta. Y aquí están los diferentes modelos que proporciona OpenAI, como GPT 4.0, GPT 4, GPT 3.5. Luego, el siguiente es el número máximo de tokens. Este parámetro controla cuántos tokens generará el modelo. Cuantos más tokens, más largo será el texto generado. Y la longitud del texto generado depende de la longitud de la entrada. Entonces, si tus tokens máximos están configurados en, digamos, 256, pero pasas 56 en la entrada, entonces los tokens máximos y la respuesta serán 200. Por lo tanto, es posible que desees limitar la entrada a un número determinado de tokens. Y hay bibliotecas que pueden ayudar con esto, como el tokenizador GPT que está disponible en Python, y también como un paquete de nodo en JavaScript. Un token puede ser tan corto como un carácter o tan largo como una palabra en inglés. Algo importante a tener en cuenta es que OpenAI te cobrará tanto por los tokens de entrada como por los de salida. Luego, el siguiente es la temperatura. El parámetro de temperatura influye en la aleatoriedad de las respuestas generadas. Los valores posibles están entre 0 y 2, por lo que un valor más bajo, como 0.2, hace que las respuestas sean más precisas, mientras que un valor más alto, como 0.8, las hace más creativas. Entonces, si estás, por ejemplo, construyendo un bot de soporte al cliente, una temperatura más baja garantizaría que las respuestas sean precisas y concretas. Pero si estás construyendo una herramienta de escritura creativa, una temperatura más alta ayudaría a generar ideas más creativas y diversas para historias y diálogos.

Finalmente, tenemos el parámetro de mensajes. Entonces, los mensajes básicamente son una matriz de objetos de mensaje que pasas, cada uno con un rol. Y hay tres roles que OpenAI admite. Así que un rol del sistema, que básicamente son instrucciones de alto nivel sobre cómo debe comportarse un modelo. Básicamente, le dices a un modelo que eres un chef. El siguiente rol es el de usuario. El mensaje es generado por el usuario, como consultas o indicaciones. Básicamente, puedes decirle, ya sabes, genera un nombre de pizza usando el teclado unicornio. Y finalmente, el asistente. Esta es la respuesta del modelo. El contenido que el modelo nos da como salida.

Ahora veamos nuestra aplicación en la que trabajaremos hoy. Esta aplicación básicamente te permite elegir un modelo, establecer la temperatura y el número máximo de tokens, y luego puedes seleccionar la palabra clave y los ingredientes del modelo generará algunos nombres. Entonces, aquí, por ejemplo, podemos seleccionar la palabra clave y luego podemos seleccionar varios ingredientes. Y luego, si generamos, obtenemos un nombre. Esa es la aplicación.

Y ahora es básicamente la hora de contar historias. Digamos que básicamente esta aplicación es un generador de nombres de pizzas. Así que digamos que estamos comenzando una pizzería y necesitamos crear un menú y usaremos LLMs para ayudarnos con esto. Y al final, incluso tendremos una pequeña competencia y votaremos el mejor nombre de pizza. Así que hagamos esto y también veremos el code detrás de esto. Para esto, aquí está el enlace al sandbox. Y esto está en el code box IO. Entonces, espero que hayas podido configurarlo. Básicamente, también hay un código QR si estás usando un dispositivo móvil. Pero estoy bastante seguro de que todos están en sus computadoras. Entonces, básicamente, tendrás que hacer un fork de este repositorio sandbox para poder editar el code. Y luego, solo en el chat, avísame si tienes algún problema. Y si no puedes configurarlo, puedes seguirlo y configurarlo más tarde. Ars también podría ser útil para mostrar dónde está el botón de fork. Oh, OK. Si las personas tienen una cuenta. Sí, aquí está, así que deberías poder ver esto. Y el botón de fork está aquí arriba, en la esquina superior derecha. Una vez que hayas iniciado sesión. Sí, una vez que hayas iniciado sesión. Sí. Comencemos mirando la pestaña de red. Esto es Chrome DevTools, y verifiquemos qué estamos enviando al punto final. Esto es bueno. Voy a seleccionar algunos ingredientes nuevamente y generar el nombre. Y aquí está la API de completado a la que estoy accediendo. Este es el payload que estamos enviando. Entonces, estamos enviando un máximo de 256 tokens. Aquí está nuestra matriz de mensajes que tiene el primer rol que es el rol del sistema. Porque aquí estamos estableciendo un comportamiento del modelo. Así que estamos diciendo que eres un especialista en marketing. Tu objetivo es crear nombres de pizzas fantásticos. Y luego estamos dando más información, diciéndole cómo deberían ser esos nombres. Y lo veremos más adelante.

Y luego el siguiente rol es el de usuario, donde realmente le decimos al modelo, dándole una indicación, diciendo que genere un nombre de pizza usando el teclado de la entrada. Así que aquí está la palabra clave unicornio y los siguientes ingredientes que seleccioné. Y luego el modelo es GPT 3.5, y la temperatura es 0.5. Eso es lo que estamos enviando. Y luego, en la respuesta, tenemos varios campos. Tenemos el ID, cuando se creó la respuesta, cuando la recibimos de vuelta. Hay información del modelo. Y aquí están las opciones. Entonces, el campo de opciones es una matriz de objetos, lo que significa que podríamos recibir varias opciones si quisiéramos. Y la respuesta aquí es este campo. Entonces, el mensaje, el rol es el asistente. Y luego la salida real es el, o el nombre generado de la pizza está en el campo de contenido. Y también tenemos información sobre el uso. Enviamos 102 tokens en la indicación, y luego recibimos seis tokens de completado. Y por lo tanto, el total de tokens es 108. Y eso es básicamente por lo que se nos cobrará.

Volviendo a las solicitudes, es posible que te preguntes cómo configurar solicitudes como esta. Para eso, podemos sumergirnos en el code. Tenemos esto en la aplicación React. Tenemos esta función de generación, que ejecuta una solicitud HTTP simple. Utilizamos la función fetch. Pasamos el punto final. Este es el punto final de OpenAPI. El método es POST. Luego, en los encabezados, pasamos el tipo de contenido, que es JSON. Y luego pasamos la clave de API en el encabezado de autorización. Entonces, la clave de API está aquí arriba. Puedes usar esta clave de API, pero será revocada después del ejercicio. Solo para tener en cuenta, sí, es una práctica muy mala codificarla aquí. Pero quería reducir la fricción y no hacer clic en el botón Autorizar, sino tener esta clave de API siempre disponible en el estado. Volviendo a la función de generación, en el cuerpo, pasamos una cadena JSON donde tenemos nuestros parámetros. El modelo, max tokens, temperatura y mensajes. Luego obtenemos la respuesta. Y como mostré en la pestaña de Red, tenemos que analizar la respuesta. Así que hay una matriz de opciones donde seleccionamos el primer objeto y obtenemos el contenido. Luego, usamos el hook useState para establecer el nombre generado en la respuesta que obtuvimos del punto final.

Probemos, juguemos un poco con la temperatura. Como dijimos, una temperatura más baja hará que la respuesta sea más consistente y menos creativa. Entonces, si configuramos la temperatura en 0 y seleccionamos algunos ingredientes y generamos un nombre, luego, si seguimos generando, nos da prácticamente la misma respuesta. Pero ahora, si lo configuramos en 2, veamos qué sucede. OK. Wow. Esto es un poco extraño. Aquí es donde obtenemos algunas respuestas y cadenas muy extrañas. Entonces, lo que sucede aquí, y Nathan puede intervenir aquí también, es que básicamente, la temperatura aplana la distribución de probabilidad del siguiente token, por lo que es más probable que el token elija tokens menos probables, lo que puede interrumpir el flujo contextual y la coherencia del texto generado. Sí, y también puedo intervenir aquí. Casi podrías pensar en esto como que el modelo está volviendo a su modelo base aquí, en lugar del modelo de pregunta y respuesta, está volviendo a sus formas de generador de documentos de Internet, porque la tolerancia de qué token se acepta, qué tasa de probabilidad se acepta, es muy baja ahora. Y tan pronto como se acepta un token rebelde, se alimenta de nuevo al modelo mientras produce estos resultados. Y así nos volveremos un poco locos. Entonces, una temperatura de dos probablemente no sea recomendable, a menos que te guste el caos. Sí. Sí, gracias, Nathan. Entonces, sí, para respuestas más creativas pero aún no caóticas, probablemente una temperatura de uno sea buena. Probémoslo. Sí, eso da más creatividad, pero sí, no caos.

OK, ahora veamos qué sucede cuando agregamos un parámetro a nuestra solicitud. Porque anteriormente mencioné cómo en la respuesta obtenemos esta matriz de opciones. Básicamente, si queremos más opciones en una sola solicitud, podemos pasar el parámetro n, que le indica al modelo que nos dé múltiples opciones. Entonces, diremos aquí, dame tres opciones adicionales. Si ejecuto esto, veamos si guardo eso. Veamos qué obtenemos como respuesta. Sí, ahora tenemos tres objetos diferentes con nombres de pizza diferentes, Unicorns Delight, Magical Hamlets y Unichokes Delight. Y una nota aquí también es que se te cobrará por todo lo proporcionado en las opciones. Se te cobrará por los tres resultados de OpenAPI. Y una cosa útil aquí es que podrías usar las respuestas proporcionadas. Podrías proporcionarlas al usuario y hacer que elija la mejor opción y luego alimentarla de nuevo al modelo para que el modelo sepa cuál es la mejor opción.

OK, ahora veamos un poco la matriz de mensajes. Aquí estamos pasando, tenemos estas dos funciones, getMessages y getFeedbackMessages. Veamos getMessages. getMessages es una función que devuelve una matriz de dos objetos. El primero es el sistema, y este es el mensaje predeterminado. Esta es la configuración, el comportamiento del modelo. Le estamos diciendo, sabes, eres un especialista en marketing. Tu objetivo es crear nombres de pizza fantásticos. Y luego, ya sabes, el nombre de la pizza debe ser creativo. No debe tener más de tres palabras. No debe incluir la palabra pizza. Y debe mencionar un diminutivo de uno de los ingredientes del usuario. Eso es getMessages. Y luego, además de eso, tenemos getFeedbackMessages, que también devuelve una matriz, pero con el rol de usuario, pero solo si ya tenemos un nombre generado y si el usuario ha proporcionado retroalimentación. Y aquí estamos diciendo, sabes, tu respuesta anterior fue el nombre generado anteriormente, y luego el usuario ha proporcionado la siguiente retroalimentación en el campo de retroalimentación del usuario. Y básicamente, le estamos diciendo al modelo, regenera tu respuesta de acuerdo a la retroalimentación proporcionada. Entonces aquí, primero tengo que generar un nombre. Luego tengo este campo de mejora. Y puedo decirle, sabes, haz que los nombres de pizza sean atractivos para los niños pequeños. Ya sabes, y está agregando mágico, brillante, dulce. Pero también podríamos decirle, sabes, haz que los nombres de pizza sean en español. Y ahora los está traduciendo al español. OK, también, tal vez hayas notado que obtenemos varios nombres aquí. Así que veamos. Reiniciemos. Y cuando generamos, oh, en realidad está dando. Veamos, tal vez yo. Sí, así que eventualmente, sí, aquí. Ahora estamos obteniendo, ya sabes, tres nombres. Sí, en la mayoría de los casos, obtenemos un nombre. Pero sí, ocasionalmente, obtendremos varios. Y la pregunta es, ¿por qué sucede esto? ¿Dónde está el error? ¿Alguien lo sabe? Siéntete libre de escribir la respuesta en el chat o activar tu micrófono. OK, puedo explicarlo. Puedo explicar por qué sucede esto. El error está básicamente en el prompt. Y aquí es donde podemos hablar un poco sobre la ingeniería del prompt y por qué es importante. La solicitud actual aquí dice, tu objetivo es crear nombres de pizza fantásticos. Y es por eso que a veces obtendremos más nombres que solo uno. Pero si cambiamos esto a, digamos, crear un nombre de pizza fantástico, entonces debería ser consistente y siempre darnos un nombre real. Y recuerdas cómo, en el pasado, solía tener, como, estaba dando, como, una lista ordenada o una lista numerada. Entonces, estaba agregando números al título. Pero ahora es bastante consistente. Y finalmente, podemos ver un parámetro interesante. Ese parámetro es seed. Y tal vez sepas, como, juegos como Minecraft tienen seed. Y básicamente, si proporcionas la misma semilla, el mismo valor de semilla, ese valor generará la misma palabra exacta, mundo, de manera consistente. Entonces, este parámetro aquí está en beta. Ayuda con la determinación. Puede determinar cómo se ejecuta el modelo. Entonces, si tienes modelos alojados en múltiples ubicaciones, modelos, el mismo modelo alojado en otro lugar puede responder de manera diferente.

Así como diferentes entornos de hardware o software pueden afectar la generación del mundo en Minecraft, ligeramente, diferentes entornos computacionales para la API pueden llevar a pequeñas diferencias en la salida, incluso con la misma semilla. Por lo tanto, la semilla aún no garantiza el determinismo, pero puede ayudar.

OK. Ahora podemos, bueno, haremos un pequeño desafío. El desafío consiste en encontrar el mejor nombre de pizza. No hay reglas. Puedes modificar el prompt. Siéntete libre de jugar. Y luego puedes enviar tus mejores nombres de pizza. Y revisaremos y seleccionaremos los cuatro mejores para votar. Y también, siéntete libre de hacer preguntas en el camino.

Ese es interesante. HoraceKitty's Big Key Quest, ¿cómo lo conseguiste? Solo aumenta un poco la temperatura. Y sí, eso lo hará. Sí. Estoy captando algo aquí. Lo compartiremos en el chat en un minuto. Pero quiero ver si puedes adivinar cómo irá. Cómo obtuve este. Ahoy me recuerda a Chips Ahoy. Sí. Las galletas. Entonces no es como una pizza espolvoreada con las galletas. ¿Eh? Modifiqué el prompt para hacerlo un especialista en marketing pirata. Y luego agregué una palabra clave. Y algunos ingredientes, escorbuto, Avast Me Mates, e ingredientes de ron embotellado. Tratando de llegar a algo. Oh, entonces es un pirata. Tiene sentido. ¿Alguien del grupo tiene algún nombre? Es bueno participar y jugar con esto, para tener una idea de cómo funcionan estos modelos. Veremos si podemos crear una imagen basada en esto. Tal vez agregue pizza al final de eso para que sea un poco más evidente qué imagen generar. Sí, nuevamente, solo quiero abrirlo a todos si tienen alguna pregunta o algo antes de terminar. Por favor, siéntanse libres de venir y chatear. Además, pueden comunicarse con Horace y conmigo. Creo que en LinkedIn o probablemente LinkedIn. Es más fácil usar nuestros nombres completos. Probablemente puedas encontrarnos. Tratando de obtener la mejor imagen aquí. Hay cuatro imágenes generadas aquí, y todas son bastante buenas. Pero creo que esta tiene que ganar. Muy bien, Horace, ¿estás listo? Está un poco desplazada. Sí. Está un poco fuera de la pantalla aquí, pero. Sí. Muy bien. Está bien. Sí. Divertido aquí. Muy bien.

Así que esto es un mordisco de escorbuto. Si alguna vez inicio una pizzería, esta será una de las pizzas. Creerías que el marketing pirata iría muy bien con una pizzería. Así que sí.

Sí, gracias a todos por su tiempo hoy. Y sí, no dudes en contactar a Horace y a mí si tienes alguna pregunta o duda sobre cómo implementar este tipo de modelos en tus propias aplicaciones. Gracias a todos. Sí, lo mismo que Nathan. Espero que hayas podido aprender algo. Y sí, no dudes en contactarnos. Puedes encontrarnos en LinkedIn. Nuestros nombres son bastante únicos. Así que sí, podrás encontrarnos si podemos ayudar de alguna otra manera.

Podemos cerrar esta masterclass. Gracias a todos, nuevamente. Adiós. Gracias a todos. Que tengas un buen día. Adiós, adiós.