IA a demanda: IA sin servidor

Bienvenidos, bienvenidos a todos. Y gracias por uniros a nosotros. Y en caso de que nadie os lo haya dicho todavía, feliz día de San Valentín, si eso es lo que celebráis, y celebradlo dondequiera que estéis. Estamos encantados de teneros hoy, y vamos a divertirnos un poco con el tema del día de San Valentín. Podemos ver incluso desde el principio, nuestro pequeño amigo robot nos está dando un poco de amor de entrada. Así que sí, de nuevo, gracias por uniros. Si estás buscando la masterclass o el curso sobre AI bajo demanda, entonces estás en el lugar correcto. Y vamos a empezar esta fiesta. Una pequeña introducción sobre quién soy y qué hago y por qué deberías prestar atención a lo que digo en primer lugar. Mi nombre es Nathan Visidor. Soy uno de los ingenieros aquí en CloudFlare, que trabaja en nuestro espacio de AI, de hecho. Estoy trabajando en la base de datos vectorial DB que tenemos. Y si no sabes qué es eso, entraremos en detalles de qué es eso en unos pocos minutos. Pero sí, he estado en CloudFlare durante un poco más de cuatro años ahora. He desempeñado una variedad de roles en la empresa, trabajando, de nuevo, más recientemente en AI, pero en nuestras ofertas de serverless antes de eso, y antes de eso, en un rol más tradicional de back-end donde estamos lidiando con cosas como clusters de Kafka, que procesan, ya sabes, un par de terabytes, un par de billones y valen, billones de mensajes cada día, servicios de notificación de alertas, ese tipo de cosas internas de tooling. Estamos encantados de teneros. Y sí, hablemos un poco sobre qué esperar aquí para empezar. Vamos a establecer el escenario o daros el programa básico, por así decirlo. Así que, esto es, básicamente lo que vamos a hacer para empezar es repasar algunas diapositivas. Definitivamente quiero que esto sea interactivo. Y de nuevo, entraremos en eso en un minuto. No quiero estar hablando a vosotros. Haremos esto más un diálogo. Pero sí, repasaremos algunos conceptos básicos para establecer el escenario para lo que vamos a hacer, ya sabes, en la parte más práctica de todo esto. Y una vez que hayamos hecho eso, entraremos en la parte práctica de esto. Y todos podréis construir algo por vuestra cuenta para probar estas cosas en el mundo real. Aquí está cómo se ve nuestra agenda. Ya sabes, los puntos que vamos a tocar son primero vamos a hablar de qué es serverless. Hay bastantes de vosotros probablemente ya familiarizados con los conceptos allí. Pero sólo un pequeño repaso para las personas que no están tan familiarizadas o que nunca lo han usado antes por sí mismas. Hablaremos sobre AI, que imagino que un poco más de gente no está familiarizada con. Pero sí, saltando eso haremos un pequeño pulso aquí en un segundo para ver cómo se ve eso. Y luego veremos cómo se ve para unir esos conceptos en cómo serverless y AI pueden trabajar juntos. Y no es fácil hacer que eso suceda. Pero creo que al final de esto discutiremos qué... Oh, hola, Christina espectadores de todo el mundo aquí. Sí, hablaremos de cómo, ya sabes, somos capaces de unir estos dos conceptos en algo que funciona juntos. Y luego nos pondremos manos a la obra y realmente nos pondremos manos a la obra. Así que, espero que hoy, la conclusión será de nuevo, uno, si no has aprendido sobre cuáles son los bloques de construcción de una aplicación de AI architecture, te llevarás eso. Pero más importante, para ya sabes, la esencia de esta charla es que, ya sabes, cómo vamos a ser capaces de aplicar algunos de los conceptos de serverless a la tradicional AI architecture, y la búsqueda semántica, y serverless específicamente. Así que de nuevo, si no estás familiarizado con la búsqueda semántica, lo cubriremos en la sección de AI de nuestros repasos aquí. Pero esto es lo que espero que te lleves de lo que vamos a hablar aquí, las próximas tres horas. Y sí, tal vez eso es algo bueno para señalar. Así que es un buen punto de partida, donde esta masterclass está programada para durar tres horas. Eso es mucho tiempo, vamos a estar aquí durante bastante tiempo. Así que, ya sabes, definitivamente por tu bien y por el mío, definitivamente voy a ser consciente del tiempo. Y, ya sabes, tenemos un par de descansos incorporados para asegurarnos de que somos capaces de estirarnos y usar las instalaciones y tal vez conseguir aperitivos o algo así. Porque, ya sabes, definitivamente queremos mantenernos hidratados y, ya sabes, mantenernos sanos y alimentados y todo eso también. Aquí hay algunas cosas que vamos a necesitar para hacer que esta masterclass sea un éxito. Definitivamente queremos que tengas tu gorra de pensar puesta para que puedas estar en una actitud y espíritu de aprendizaje para recoger lo que estamos lanzando. Y para la parte en vivo, definitivamente vamos a querer algún editor que seamos capaces de usar para hacer la parte de codificación en vivo de esto. Vamos a estar codificando en JavaScript. Si no lo entiendes completamente, estos conceptos no son exclusivos de JavaScript en absoluto. Es sólo lo que hace las cosas un poco más fáciles. Y sí, también necesitaremos una cuenta de CloudFlare lo siento, necesitaremos Node instalado porque vamos a estar codificando en JavaScript y una cuenta de CloudFlare. Veo una pregunta, ¿qué tipo de cuenta necesitamos? Es una gran pregunta. Todo lo que necesitas es una cuenta de nivel gratuito. Y hay un formulario que te voy a dar en un segundo también. Eso me dará la información que necesito para añadirte a una necesitamos algunos privilegios especiales para hacer que esto funcione. Así que si vas aquí y rellenas esto configura una cuenta y rellena este formulario de Google con la dirección de correo electrónico que utilizaste para configurar la cuenta, entonces puedo añadirte a una cuenta compartida que todos vamos a usar para este ejercicio y tendrás los privilegios que necesitas para hacer que esto funcione. Déjame copiar y pegar eso en el chat también porque eso probablemente será más fácil para todos seguir. Pero el código QR code está ahí si puedes escanear eso también. Puedes trabajar en eso en segundo plano. No tiene que suceder ahora mismo. Tenemos un poco de tiempo para cubrir bastante antes de llegar allí. Pero si puedes tener todas estas cosas listas para cuando lleguemos a la parte interactiva, realmente ayudará a acelerar las cosas aquí. Y me doy cuenta de que envié eso como un mensaje directo.

Genial. ¿Alguien más quiere intervenir con sus experiencias o, o, o, ya sabes, dar pros o contras que son totalmente bienvenidos también, definitivamente en un activo aquí. Tengo que ver mi dónde está mi trampa. Ah, ahí está. Ahí está mi diapositiva de trampa. Bien, después de estos casos. Así que voy a repasar esos en un segundo. Genial. Entonces, los casos de uso para serverless o, ya sabes, aplicaciones sin estado. Esto es, ya sabes, de nuevo, no tiene que ser sin estado. Pero es una especie de caso base por defecto de la mayoría de los entornos de ejecución serverless. Así que si no te importa cómo se ven las cosas, o realmente quieres un lienzo en blanco entre ejecuciones, definitivamente no es mala idea mirar como una implementación serverless architecture. Aplicaciones que requieren scalability. De nuevo, esto viene gratis. Porque realmente de lo anterior. Y el hecho de que estamos ejecutando, generalmente en algún tipo de entorno aislado. Para Lambda, eso suele ser como Docker containers. Para CloudFlare eso es, son como aislamientos de nodo, pero algún tipo de tiempo de ejecución aislado. Y esas ejecuciones individuales realmente ayudan con la scalability. El tráfico impredecible también puede ser agradable. Ya sabes, si eres, de nuevo, gente de DevOps, estoy seguro de que estás familiarizado con esto, pero tener que entrar y configurar como HBAs, o algún tipo de balanceadores de carga y auto escaladores y cosas así para para el tráfico que, ya sabes, sigue algún tipo de curva sinusoidal puede ser molesto es una buena manera de ponerlo. Así que con serverless, no tienes que preocuparte por eso. De nuevo, estás basado en el uso, pero también eres infinitamente escalable, hasta los límites del proveedor, pero no tienes que preocuparte por todas esas cosas con serverless. Y luego hay, algunas personas simplemente odian, odian tener que hacer la gestión de servidores. Ya sabes, estamos hablando específicamente aquí sobre AI y ML. La mayoría de las personas de ML con las que interactué en el pasado, tienden a ser más basadas en la investigación y centradas en la investigación, que no están tan bien versadas en, ya sabes, arquitectura de servidores y todas esas cosas. Esto con con con con la configuración de serverless, de nuevo, no tienes que preocuparte por lo que acabamos de hablar de configurar HBAs y balanceadores de carga y muy complicado, ya sabes, disculpas para básicamente manejar lo que esencialmente es una indicación de función, obtenemos todo eso, todo eso todo eso se hace por nosotros. Mencioné que estaba buscando esto, de nuevo, no es una bala de plata, hay, hay, hay definitivamente trampas con serverless. Y siempre vale la pena hablar sobre esos cuando estamos mirando lo que estamos tratando de hacer aquí. Los inicios en frío son una cosa. Así que especialmente si tu, tu pequeño entorno aislado en el que están corriendo es como un, ya sabes, algo tan pesado como un contenedor de Docker, eventualmente tienes que, ya sabes, cargar cargar tus cosas en memoria, y hacerlo caliente. Así que, especialmente en una red distribuida donde estás corriendo en un montón de nodos diferentes, los inicios en frío, ya sabes, si sólo sucediera una vez, estaría bien. Pero si estás, ya sabes, corriendo en una red distribuida, como 300 ubicaciones diferentes, eso son 300 inicios en frío diferentes, si estás corriendo, llegas a cada uno de esos diferentes nodos por ahí. Así que es algo en lo que tienes que empezar a pensar un poco más es cómo mantener las cosas ligeras, y lidiar con los inicios en frío. También requiere un modelo mental diferente. Así que tu lo que normalmente piensas de una aplicación, algunas veces las cosas simplemente suceden. Y cuando estás cuando te ves obligado a pensar sin estado, definitivamente requiere un poco diferente proceso de navegación y de atravesar algunas de esas decisiones arquitectónicas que suceden en otro lugar. Sí, el tiempo de espera en AWS gateway puede ser bastante corto. Definitivamente me he topado con eso antes con lambdas. Y de nuevo, hablé de los inicios en frío que pueden ser especialmente molestos. Así que es un es un buen tiro justo allí. Creo que ya hemos tocado esto un par de veces, pero no hay memoria compartida, persistencia de estado. Hay, hay, hay un asterisco aquí también. Esto es de nuevo como el caso base por defecto, puedes añadir cosas a las lambdas, o a los tiempos de ejecución serverless para, para básicamente añadir estos externamente, pero entonces tú, entonces ya no estás, ya no estás aislado sólo a tu aplicación aquí, tienes una dependencia en algún sistema externo, o, o un tiempo de ejecución específico del proveedor, muy probablemente. Así que sí, podemos trabajar alrededor de estas cosas, pero no es, no es siempre lo más limpio del mundo. Las limitaciones de recursos caen en lo anterior un poco. Pero normalmente, de nuevo, no van a permitirte simplemente como correr infinitamente en un programa serverless. Si ejecutas tu tiempo de ejecución serverless, ya sabes, 24 siete, básicamente has construido un servidor regular que está corriendo en algún otro lugar. Así que la mayoría de las veces tienen limitaciones alrededor de eso, para, para asegurarse de que no estás obstaculizando la red. Así que es algo a considerar también. Y sí, el gasto es algo a, a pensar también, porque ellos, ya que todo está basado en el uso de recursos, sí, si corres mucho tiempo, pueden llegar a ser muy caros. El auto-alojamiento también es difícil. Es, es un poco más difícil hacer esto en casa, porque tú, ya sabes, normalmente quieres hacer esto de una manera altamente distribuida, como estábamos hablando antes. Y eso requiere, hay, hay, hay, creo, un par de soluciones por ahí para auto-alojar algunas soluciones rápidas, pero eso requiere que normalmente también tengas presencia en un montón de diferentes vcs o algo así, lo que significa que es en realidad más mantenimiento porque ahora tienes una, tienes la ventaja de una red distribuida de metales y nodos, tal vez no sea lo más divertido del mundo. Ya hicimos esto antes, dijimos, vimos que era alrededor de 50 50. Pero me gusta ver eso. Genial. Oh, sí. De nuevo, quiero que esto sea interactivo. Cualquier pensamiento final que alguien tenga sobre serverless antes de saltar a AI? Si no, podemos seguir adelante. Pero esta es tu fiesta. Así que sí, esperaremos aquí durante unos 30 segundos para ver si alguien tiene algún pensamiento final. Bien. Creo que estamos bien. Entonces pasaremos a AI. Más Jennifer Lawrence. Eso es divertido. No sé si todos ustedes ven hot ones. Pero ella es ella es

Genial. Entonces, tenemos modelos, tenemos incrustaciones. La siguiente pieza importante del rompecabezas es una base de datos vectorial. Y una base de datos vectorial toma las incrustaciones que provienen de lo que acabamos de ver, que son, de nuevo, estos largos, largos arrays de floats que son, son, son puntos que representan similitudes. Y luego almacena esos en su almacenamiento de datos para que luego podamos usarlos para, para consultar, esencialmente.

Y estos están bastante optimizados para, para nuestro caso de uso aquí. Y específicamente, la mayoría de ellos tienen, ya sabes, en una base de datos SQL típica, estás, estás, estás haciendo, ya sabes, igualdad y teniendo algunos, tus, tus operadores de comparación pueden ser un gran, un gran array, como rango de cosas. Típicamente, cuando, con bases de datos vectoriales, la pieza más importante del rompecabezas es, es la búsqueda de similitudes. Entonces, la mayoría, muchos de ellos, realmente, eso es lo principal que implementan es, es la capacidad de devolver, puede que hayas oído hablar de Top K antes, si estás familiarizado con esto en absoluto, pero para devolver los mejores resultados de, de tu, tu, tu motor de almacenamiento.

Entonces, también puedes estar preguntando, como, ya sabes, ¿puedo, puedo usar una base de datos Postgres para esto? ¿O una base de datos MySQL para esto? Y la respuesta es sí, con un asterisco al lado, por otro, otro asterisco. Por defecto, la, ya sabes, la respuesta es probablemente no. Se vuelve muy, muy costoso computacionalmente tratar de simplemente recuperar, como, ya sabes, un JSON array de los floats y luego hacer el cálculo localmente. Pero hay plugins para, para Postgres, como pgVector. No estoy al tanto de un equivalente de MySQL, pero estoy seguro de que, estoy seguro de que hay uno por ahí. Pero esencialmente, hay algunos plugins que puedes usar para usar incluso algunos de los estilos más tradicionales, como, RDBMSs para, para este tipo de cosas. Si estás, si estás alojando, como, auto-alojando o algo por el estilo.

Pero la, la principal optimization aquí es, de nuevo, ver aquí, creo que Jan, Jan está insinuando. ¿Todas las dimensiones tienen la misma importancia? ¿Qué dimensiones tienen diferentes pesos? Ellos, ellos tienen, todos tienen la misma importancia para la mayoría, en realidad, no, lo siento, depende de tu modelo, depende de tu modelo. Hay, hay modelos ponderados donde, donde puedes, ya sabes, decir que, como, esto, esto es más importante que esto. La mayoría de las veces, no vas a tener que preocuparte por eso. La mayoría de las veces, no, vas a usar un modelo que ya ha sido proporcionado a menos que estés haciendo un auto-entrenamiento, que totalmente, totalmente puedes hacer, también. Pero depende de tu, tu caso de uso allí. Pero podrías, podrías tener ponderado, una versión ponderada de vectores también. Sí. ¿Puede la búsqueda de similitudes ser utilizada para imágenes y vídeos? Sí, puede. Hay, hay todos, hay justo como hay Word2Vec, también hay, como, un in, in IMG2Vec transformador por ahí que generará búsquedas de similitudes para, para, para, para imágenes. Vídeos, estoy seguro de que algo existe. No conozco ese de memoria, pero si puede ser codificado en bytes o representado en, en, en algo así, es, es casi, casi siempre hay alguna forma de, de, de hacer una, una incrustación para esas cosas. La verdadera conclusión aquí con, con estas bases de datos vectoriales es que están optimizadas para hacer cálculos de distancia a través, a través del, del espacio vectorial. Así que, cuando estás, cuando estás configurando tu, tu, tu índice o un índice en tu base de datos vectorial database, normalmente le dices una métrica que estás interesado en usar para calcular la distancia, la distancia. La mayoría de las veces es como una distancia euclídea o una distancia de coseno o algo por el estilo. Hay bastantes por ahí. Así que, ya sabes, no está limitado a sólo esos. Pero puedes usar esas distancias, métricas de distancia para, para calcular cuán lejos de, ya sabes, un valor esperado estás, y usar eso como una base para, para, ya sabes, lo, lo que estás devolviendo de esto. Así que puedes usar eso, usar esa información de manera más extensa.

Es por eso que, sabes, esto es, creo que esta imagen encaja aquí. Estás, estás pasando en, tienes una cosa original aquí, que estaba en tu base de datos vectorial database, y estás pasando, estás buscando, sabes, estás haciendo una búsqueda de similitud en una operación de estilo de consulta, va a encontrar esa coincidencia y saber que ese vector es el que estamos, que estamos interesados en, en usar. Y probablemente encontrará un par de otros similares también. Si tu, si tu, si tu tamaño de contexto es, es grande. Sí. Así que, tuve que, tuve que incluir este. Tienes que, tienes que decirlo bien, ¿verdad? El círculo de las lay-i's. El tipo de operación constante y flujo de información en estos diferentes componentes es, es básicamente, el entrenamiento activo es una forma, o incluso simplemente como el reentrenamiento de modelos antiguos funciona. Así que, tenemos nuestro modelo original, o tal vez estamos, tal vez estamos creándolo por primera vez. Estamos simplemente precediéndolo con data original, pero tenemos un modelo donde estamos, estamos usando los nuevos data entrantes para aumentar continuamente ese modelo. Miramos los nuevos data que entran y es un paso llamado, creo que se llama atención, donde dices, es esto, es esto, es esta nueva información digna de mantener o, o, o, o usar como, como futura información de entrenamiento. Y puedes usar, puedes usar el ciclo de como modelo a entrada, a almacenar data, a, sabes, relevancia, relevancia /, sabes, si vale la pena mantenerlo, que puede ser un paso manual pero se convierte en este círculo de, creo que puedes, puedes usar esa información para luego mejorar aún más tu modelo. Así que, puedes, puedes básicamente refinar con el tiempo, y alimentar nueva información en este, en este proceso a través de una operación normal de, de estas diferentes piezas del rompecabezas aquí. Y de nuevo, eso es lo que se llama aprendizaje activo. Creo que aprender es un poco más difícil porque requiere un poco de un ciclo de retroalimentación. Pero, también puedes, sabes, alimentar esa información de nuevo en como viejo, viejas versiones de cosas también. O lo siento, como, como, como los, los viejos, o sigo diciendo viejo, los modelos base por ahí, o los que están publicados públicamente, no, no están aprendiendo activamente más, porque, sabes, son públicos y cosas así. Pero estos modelos están cambiando constantemente con el tiempo, y siendo reentrenados con nuevos data. Es sólo a un ritmo mucho más lento que como, un sistema de aprendizaje activo real sería. Genial. Y ahora, esto es, esto es algo que vamos, sabes, vamos a estar construyendo una aplicación RAG aquí en un ratito. Pero tal vez vale la pena tocar en qué, qué es RAG. Así que, RAG significa Generación Aumentada por Recuperación. Y se parece mucho a lo que acabamos de hablar en ese círculo de la vida, cosa de la vida. Así que tenemos, sabes, si estamos usando como un modelo base para hacer nuestra inicial, sabes, generación de incrustaciones y cosas así, eso funciona, sabes, hasta, hasta que tenemos algo nuevo información que como, normalmente, puedes haber, puedes haber intentado usar chat GTP, y dice, Oh, hey, lo siento, mi fecha de corte fue, sabes, no sé qué es estos días, pero diremos como, 17 de julio de 2023. Así que, no tengo ninguna nueva información desde entonces. A veces, la información que está actualmente en tu modelo no es suficiente, y quieres realmente darle más contexto. Así que tiene información que no tenía antes. Este es el, este es el verdadero punto de venta de la Generación Aumentada por Recuperación. Y es real, sabes, sus dos, dos grandes puntos. El texto es, sabes, generación de texto, eso no es único para RAGs necesariamente, eso sucede con cualquier modelo. Pero cualquier cosa que hace la recuperación de información, es realmente donde RAGs tipo de, vienen a, vienen a, vienen a jugar. Y a veces esta información intrival se llama contexto. Así que, cuando pensamos en como, donde podríamos usar algo que también tiene como contextual información relevante para cosas que queremos, a menudo se utiliza para como, pregunta, o respuesta basada en indicaciones, motores de recomendación, sabes, puede ser adaptado a como un tienda específica, o sabes, estoy seguro de que Amazon usa mucho de esto para su tipo de configuración. Resumen de documentos, si estás usando el RAG para buscar información de documentos, puede entonces usar esos como fuentes de contexto para resumir. Y de nuevo, realmente cualquier cosa que necesita acceso a información local que puede no estar ya presente dentro del modelo original. Así que, sé que estamos entrando en las hierbas aquí un poco, pero prometí que iba a mostrar tú tipo de qué incrustaciones y cosas parecen. Aquí es lo que, sabes, digamos que queremos añadir alguna información a un modelo existente que estamos usando. Y no sabe, sabes, qué regalos típicos se compran el Día de San Valentín. Así que, lo que he hecho aquí es, sabes, le doy una entrada y digo que los regalos tradicionales en el Día de San Valentín incluyen, y, sabes, sigo y sigo sobre flores y, sabes, animales de peluche, lo que sea que te guste. Y eso lo alimentaríamos en nuestro LLM, nuestro modelo. Aquí di, como, este es un ejemplo, no tiene que ser este, pero sabes, es lo que tenemos aquí. Ahora, ese LLM, este tokenizador vive dentro del LLM. Pero hay un paso en el proceso llamado tokenización, donde estamos descomponiendo la entrada en, eso no es la forma de decirlo, tokens, que son este concepto nebuloso en AI y ML. Pero esencialmente, es una forma, está tratando de, como, segmentar tus data de entrada en piezas más pequeñas que luego puede usar para generar las incrustaciones. Así que, depende un poco de, como, en el modelo que uses en cómo este tokenizador funciona, pero está tratando de encontrar qué piezas de información aquí pueden ser descompuestas a una incrustación que luego puede ser almacenada. Así que, en este caso, esto es, fui a abrir AI y escribir esto en, y tienen, como, un tokenizador en línea. Este sería el recuento de tokens para lo que esto parece. Y creo que la orientación general que dan es que, como, aproximadamente cuatro caracteres se supone que es un token, pero podemos ver aquí que está bastante por todas partes. Así que, de nuevo, dado estos es, no tienes que preocuparte por esto demasiado. Todo esto sucede un poco detrás de las escenas. Pero pensé que valía la pena, vale la pena mencionar, al menos sólo desde que estamos tipo de entrar en las hierbas aquí un poco. De esos tokens que se generan, entonces pasamos en nuestro generador de incrustaciones, y esto es lo que realmente convierte los tokens en flotantes numéricos que representan los vectores. Y, de nuevo, estamos diciendo que los vectores representan la relativa de cada punto particular dentro de este conjunto de dimensionalidad que tenemos aquí, que es, de nuevo, entrenado contra todos los parámetros y características que juntamos del modelo en sí. Estos flotantes suelen estar entre 1 y 0, aunque no tienen que ser. Ayuda un poco para algunas de las métricas de distancia si están entre 1 y 0. Así que, a veces es posible que quieras normalizar, como, muchos modelos realmente los normalizarán para ti. A veces es posible que tengas que hacerlo tú mismo si te importa la métrica de distancia que hace necesita estar entre 1 y 0, pero, de nuevo, no vas a tener que preocuparte por esa parte demasiado mucho. Es sólo, esto todo tipo de sucede para ti. Y estas incrustaciones se almacenan en el vector database, que acabamos de hablar, y eventualmente, esto es como una tienda de contexto, y cada una de las filas en aquí tienen este array de flotantes de n dimensiones. Así que, de nuevo, todo el proceso por el que estamos trabajando aquí es que queremos tomar este información y almacenarla en la base de datos vectorial database para que podamos usarla para luego hacer la búsqueda de similitud en más tarde. Así que, este es el proceso de añadir información a nuestra tienda. La consulta utiliza una configuración bastante similar aquí, donde consultamos, de nuevo, generamos nuestra incrustación, y luego esa incrustación va a la base de datos vectorial database y encuentra los k más relevantes, dependiendo de lo que hayamos establecido para ese valor, basado en nuestro espacio de dimensionalidad aquí.

Y usamos eso, de nuevo, como contexto en el LLM que realiza la ampliación de, básicamente, combina la información de la consulta que entra con el contexto que sale de la tienda aquí, y luego podemos usar eso para hacer la generación real dentro de nuestro LLM y obtener la respuesta de eso. ¿Preguntas, comentarios? Sé que hay mucho pasando aquí. Esto puede ser un poco difícil de seguir, así que espero que estas imágenes visuales estén ayudando un poco. Pero, de nuevo, sé que muchos de estos conceptos pueden no ser, ya sabes, puedes no estar tan familiarizado con ellos, así que, sí, no seas tímido si es un poco confuso. Y siempre podemos volver a ello más tarde. Genial. Y vamos a hacer una pausa aquí en un poco, así que no te preocupes aquí.

Genial. Ahora, otra IA sin servidor. Sabes, eso sin servidor. IA es la nueva tendencia. Sin servidor no es la nueva tendencia estos días. Es una tendencia antigua. Pero juntos, siento que están volviéndose la nueva tendencia otra vez. He visto a bastantes empresas lanzar ofertas de IA sin servidor recientemente debido a las ventajas de la arquitectura sin servidor que acabamos de hablar un poco antes. Pero quizás tiene sentido hablar de cómo se ve una implementación tradicional y luego lo fácil que puede ser con sin servidor, ya sabes, si estás utilizando una oferta alojada. Entonces, hay una, en realidad, una muy buena base de datos vectorial de código abierto llamada Milvus. Y Milvus te da este bonito diagrama donde ellos explican cómo se ve alojar algunas de estas cosas. Milvus hace muchas cosas muy, muy buenas para ti, como cambiar entre cálculos basados en CPU y GPU de esos vectores, y también realiza algunas consultas de metadatos altamente optimizadas. Entonces, puedes hacer una bonita búsqueda híbrida y cosas así. Pero como podemos ver, es una configuración bastante complicada aquí. Tenemos balanceadores de carga con proxies a diferentes notificaciones, como colas de mensajes, múltiples nodos para almacenar múltiples nodos para almacenar los metadatos en un contenedor ETCD. Y un montón de nodos que tienen que funcionar para hacer esto de alta disponibilidad, y luego almacenamiento de objetos para almacenar los archivos brutos en sí. De nuevo, una configuración bastante complicada para algo. Quizás no insuperable por ningún tramo de la imaginación. Pero estás ejecutando, mira todos estos servidores aquí. Estás ejecutando mucho para conseguir, incluso para conseguir un Hola Mundo, al menos en grado empresarial o de alta disponibilidad para este tipo de configuración aquí. De nuevo, es un gran producto. No lo estoy despreciando en absoluto. Pero está mostrando cómo se ve desde un punto de vista tradicional.

Y entonces, de nuevo, ya hemos tocado esto. Pero hay un gran número de componentes y todo está siempre funcionando. Entonces, puedes imaginar que algo con tantas piezas del rompecabezas puede ser bastante caro. Estamos haciendo un funcionamiento 24-7 aquí. Y hace, ya sabes, todavía tenemos que pensar en la distribución si eso es importante para nosotros, porque tenemos un poco con la configuración de alta disponibilidad que propusieron allí. Pero eso todavía funciona en VCs, que no están tan cerca como las cosas de borde. Y de nuevo, no importa si estás utilizando un proveedor, siempre va a haber algo funcionando con una arquitectura tradicional. Entonces, pensemos en cómo se vería hacer esto sin servidor. Entonces, pero sí, hablamos un poco sobre el círculo. De nuevo, esto es algo así como volver al círculo de la vida. Tenemos entrenamiento, estimación, consulta, etiquetado. Todo simplemente fluye uno en el otro con el tiempo. Pero para la gran mayoría de las cosas, si esto es, si no estamos haciendo aprendizaje activo, este es un ciclo de aprendizaje activo, del cual hablamos. Pero si estamos bien con un aprendizaje pasivo y como un RAG, entonces pasamos casi el 95% de nuestro tiempo solo en esta consulta parte del ciclo. No tenemos que preocuparnos tanto por el entrenamiento y la estimación y el etiquetado. Especialmente si estás utilizando un modelo de estantería. Como ellos manejan el entrenamiento y el etiquetado, e incluso la estimación para nosotros. Solo nos preocupa la consulta. Entonces, si podemos hacer que esa pieza de consulta sea sin servidor, vamos a estar bastante bien.

Entonces, hay dos pequeñas operaciones que son importantes para nosotros. Hay la inserción, y esto es, de nuevo, esto es en el contexto de una aplicación de generación aumentada por recuperación. Pero la inserción y la consulta son las piezas que son realmente interesantes aquí, porque esto es lo que el 95, incluso yo, probablemente incluso el 99% de nuestras operaciones va a ser. De vez en cuando, actualizaremos el modelo, pero realmente no tengo que hacer eso demasiado. Entonces, sabemos que miramos lo que tenemos. Hablamos de tokenizadores y embeddings y nuestro LLM y RVDB, pero estos son realmente los únicos componentes que son necesarios para soportar estas dos operaciones aquí, esta consulta y esta inserción. Entonces, si podemos, de nuevo, conseguir que ese LLM y esa base de datos vectorial DB se desplieguen de manera sin servidor, estaremos en el negocio. Entonces, cuando se trata de modelos sin servidor, de nuevo, bueno, si queremos algo que funcione sin servidor, realmente no vamos a querer estar en un ciclo de aprendizaje activo aquí. Vamos a querer algo que sea relativamente estático. Eso suele estar bien. De nuevo, especialmente para cosas de estantería, como eso no cambia muy frecuentemente. Entonces, si tienes, digamos, un sin servidor cosas, como eso no cambia muy frecuentemente en absoluto. Y puedes combinar eso con los aspectos RAG porque puedes añadir a tu contexto todavía manteniendo tu modelo estático. Uno de los desafíos es que estos modelos son bastante pesados. Son bastante robustos la mayoría de las veces. Entonces, pueden ser pesados. Son pesados para cargar para que las cosas estén disponibles para nosotros. Y de nuevo, como hablé, realmente no somos capaces de hacer aprendizaje activo, pero podemos hacer eso con RAGs. Entonces, realmente el único, el mayor inconveniente aquí es que las cosas son pesadas para cargar. Pero si podemos mantener ese modelo caliente en toda la red, que especialmente para utilizando cosas de estantería que no tenemos que entrenar a medida y tener modelos personalizados funcionando para todos, y podemos hacer un buen caso aquí para hacer las cosas sin servidor. Cuando se trata de bases de datos vectoriales sin servidor, en realidad hay bastantes ofertas de esas también. Entonces, estas siempre están cambiando porque estamos constantemente, quizás no constantemente, pero a menudo añadiendo nueva información al contexto RAG para que pueda obtener toda la información que necesita para tomar decisiones informadas más adelante. Y hay un número de, de nuevo, como ofertas sin servidor ya. Vectorize es uno. Esto es en lo que trabajo. Yo realmente trabajo en Vectorize. Hago esto día a día. Pinecone es otro jugador en el espacio que acaba de lanzar

Así que es hora de ponerse físico. Rápidamente, sólo un pequeño repaso sobre dos herramientas principales que utilizaremos para hacer esto posible. Esto no es super duper importante, pero hay un par de formas diferentes de hacer esto. Pero una de las cosas que empezamos a usar, una que me gusta mucho aquí cuando estamos trabajando en aplicaciones serverless, es un pequeño framework llamado HonoJS. Está básicamente optimizado para estos tipos de, como, micro servicio serverless entornos de tipo configuraciones. Y de nuevo, también es agradable, no es como, no te encierra en un proveedor específico. Tienes, veamos aquí. Empezando. Sí. Sí. Puedes ver aquí, tal vez no veas porque no está ampliado estoy seguro, pero ver aquí, tiene soporte para cosas de Cloudflare, Fastly, Versell, Elanda, Superbase. Así que es bastante agradable. Es básicamente, ya sabes, una plataforma agnóstica es todavía donde realmente ejecutas estas cosas. Así que estaremos usando Hono, que básicamente va a ser nuestro framework de enrutamiento /, ya sabes, hacer algunas cosas de middleware para nosotros. Sí, eso es super importante. Hay otras formas de hacerlo, pero me he llegado a gustar mucho eso recientemente. También estaremos usando Linkchain. No estoy seguro si, puedes estar familiarizado con esto, pero no estoy 100% seguro. Imagino que la mayoría de los demás, bastantes que no lo están. Linkchain es este ecosystem. Es casi un completo ecosystem en este punto, que esencialmente, eso es mucho de la pensamiento lejos de tener que construir servidor, no incluso serverless, pero cualquier tipo de aplicación basada en LLVM. En que, la cadena, encadenamiento es más o menos donde realmente, ya sabes, eso es de donde obtiene su nombre de, la capacidad de básicamente, ya sabes, combinar o encadenar diferentes operaciones dentro de una sola ejecución. Pero también ha crecido para convertirse en esta cosa que abstrae. Y veamos si lo tengo en aquí. Sí, lo hago. Los legos de la AI es lo que uno de mis compañeros de trabajo lo llama. Es mucho como Hono, en que te permite hacer versiones agnósticas de plataforma de, de trapos y cualquier operación LLVM. Así que, es bastante agradable en que tiene enlaces para cosas como las cosas de Cloudflare que estaremos utilizando hoy. Pero también puedes usarlo en un montón de otros servicios diferentes también, con cambios muy mínimos al code. Así que, nada de lo que estamos haciendo aquí está tratando de ser como, ya sabes, bloqueo de proveedores en el año, nada de eso estamos usando un montón de herramientas y frameworks para realmente asegurarnos de que tenemos, ya sabes, una verdadera moda serverless, la capacidad de tipo de para saltar alrededor sin demasiado de un, ya sabes, demasiados aros para saltar a través.

Así que, tengo para nosotros un repositorio que hace algo del code de arranque. No quiero quedarme, ya sabes, atrapado en como tener que preocuparme por cosas como CSS y cosas así. Y te animaría a que golpees esta URL, hagas un clon de este repositorio, y esto es lo que estaremos usando como base de muchas de nuestras operaciones aquí. También puedes ver, se llama el Bard of Love. Estamos tratando de jugar un poco con el Día de San Valentín un poco y estaremos construyendo una aplicación que, ya sabes, nos da, alimentamos algunos poemas de amor originales y le decimos que nos los devuelva si puede. Pero también es capaz de hacer sus propios poemas de amor para nosotros si necesita. Así que, podemos, y entraremos en exactamente cómo eso funciona como parte de este ejercicio aquí. Pero voy a seguir junto con ustedes, en realidad. Haremos esto interactivo para que puedas, haré lo mismo que tú haces. Un clon de git. Ya lo tengo aquí. Así que, saltando al Bard of Love y luego necesitamos entrar en ese directorio. Y uso VS Code, cualquier editor es tu favorito. Hazlo así. No tienes que confiar en mí pero te animo a que lo hagas. Déjame organizar mis escritorios correctamente aquí. No, quiero que serverless AI sea después. Ahí vamos. Amplía. Si echas un vistazo a este proyecto, podemos ver que hay un par de cosas de nuevo configuradas para nosotros ya aquí. El, creo que teníamos más o menos la mitad y la mitad que había usado Cloudflare Workers antes.

Entonces, Cloudflare Workers es el ecosistema sin servidor que Cloudflare tiene para ejecutar este tipo de aplicaciones. Un poco diferente a las plataformas sin servidor tradicionales en que esto ejecuta aislamientos de nodo. Creo que Cloud también lo hace hoy en día. Pero en lugar de verdaderos contenedores Docker, esto ejecuta un aislamiento V8, que es como una pequeña cáscara sobre los grupos C y nodo para hacer esto, con suerte, un poco más rápido. Pero una de las piezas del rompecabezas con Cloudflare Workers es, ya sabes, al final es todo JS. Podemos ver aquí que estamos configurados aquí. Y el readme te da una pequeña introducción a las tecnologías que se utilizan y lo que realmente estamos haciendo aquí.

Tenemos cosas como prettier configuradas para nosotros. Y si echamos un vistazo al paquete, tengo TypeScript configurado en esto también. No estás obligado a usar TypeScript. Uso los tipos en JS para hacerlo un poco más agradable, pero no sientas, eres bienvenido. Puro JavaScript funcionará aquí también. Así que no sientas que tienes que hacer eso por nosotros. Pero siempre es agradable tener, en mi opinión, cuando puedes salirte con un poco de tipado. Vemos nuestro Hono aquí y LangChain, que mencionamos antes, para conseguirnos esas dos herramientas externas para poner esto en marcha. Oops. También en los activos, la carpeta de activos, de nuevo, no tienes que preocuparte demasiado por CSS y cosas así. Así que tengo algo configurado para nosotros aquí. En realidad no puedo tomar todo el crédito por esto. Mi compañero de trabajo tuvo la brillante idea de conseguir esta aplicación de chat al estilo del mensajero instantáneo AOL. Así que felicitaciones a él por haber configurado gran parte de este trabajo. Pero es bastante interesante. De hecho, le pidió a chat GTP que le diera un código para básicamente renderizar un diálogo al estilo del mensajero instantáneo AOL, y lo hizo por él. Así que estamos usando AI para hacer una masterclass de AI. ¿Qué te parece? Bueno. Así que lo que hice durante el descanso es añadirlos a todos a una cuenta especial en Cloudflare que tiene los permisos necesarios para hacer este proyecto. Así que si ahora te diriges a dash.cloudflare.com, voy a iniciar sesión yo mismo. Divertido. Los buenos y viejos VPNs corporativos hacen que esto funcione, así que déjame conseguir esto rápido. Genial. Estoy dentro. En cuentas, ahora deberías ver devops.js AI masterclass compartida. Esta es la cuenta que utilizaremos para hacer todo esto posible. Y tiene algunos permisos, básicamente los permisos necesarios para la oferta de AI en algunos ecosistema de trabajadores de Cloudflare para para la oferta de AI en algunos ecosistema de trabajadores de Cloudflare para permitirnos hacer estas cosas. Si no estás familiarizado con el dash de Cloudflare, esto es lo que parece cuando, de nuevo, todos ustedes sólo tienen que hacer clic en esa cuenta, la masterclass compartida de devops. En realidad no necesitaremos estar en este dash mucho. Pero para futuras referencias, aquí a la izquierda, estos trabajadores y páginas es donde el real trabajador, nuestras diferentes aplicaciones van a vivir. Puedo ver que ya lo he hecho una vez, pero hagamos esto de nuevo juntos.

En primer lugar, necesitamos conseguir un... Vamos a tener que conseguir un token de servicio para Cloudflare para permitirnos empezar a hacer cambios a través de la CLI. Es un poco más fácil hacerlo aquí que en dash. Siempre es agradable usar un IDE y cosas así cuando puedes. Si lo haces, lo siento, debería haber dicho esto primero también, necesitas hacer primero NPMI, si aún no lo has hecho, para instalar todos los paquetes necesarios. Una vez que hayas hecho eso, entonces Wrangler estará instalado para la dependencia de desarrollo, y puedes usar nivel aquí, mpx para empezar a interactuar con Wrangler, el paquete Wrangler que has instalado como parte de esto aquí. Lo primero que vamos a hacer es mpx Wrangler login. Esto nos dará una clave para esa cuenta. Lo golpeo. Debería abrir una ventana en tu navegador. Lo que sea abierto es. Básicamente, te dará un montón de cambios de permisos y ámbitos que permitirán al CLI de Wrangler hacer cambios por nosotros. Estás bien para aceptar eso. Puedes leer a través de todos ellos si quieres, pero vamos a terminar deshaciéndonos de esta cuenta de todos modos, así que todo está bien de cualquier manera. Una vez que hagas eso, estarás conectado, y puedes comprobar tres veces que si mpx Wrangler whoami, eso te dará una ventana como esta, y deberíamos tener estos ámbitos aquí, que nos permitirán hacer los cambios de AI y todas esas cosas buenas. Si estás siguiendo, deberíamos estar conectados con Wrangler. Deberíamos estar listos para ir. Cuando estamos haciendo un despliegue en los trabajadores, hay este Wrangler.toml, que es nuestro archivo de configuración para el proyecto. Todos estamos usando una cuenta compartida para esto, así que tenemos la posibilidad de pisar los pies de la gente.

Vale. Entonces, hagamos eso. Hacer poemas. Si hago eso, quieres asegurarte de poner eso en la cuenta compartida. Y hemos creado uno con éxito, lo cual es genial. Sabes, nos da la información que necesitamos si queremos empezar a usar esto en nuestro Wrangler toml, pero ya tenemos esa información. Lo hicimos con anticipación. Entonces, lo hicimos con anticipación. Entonces, debería coincidir con este nombre aquí. Genial. Entonces, ahora tenemos una base de datos vectorial, y tenemos nuestra estructura para empezar a crear nuestra aplicación RAG. Si quisiéramos, creo que podemos desplegar esto incluso ahora mismo, y nos mostrará algo. No funcionará, pero creo que al menos nos mostrará, sabes, algo de una estructura aquí. Entonces, para hacer eso, escribo npm wrangler deploy. Va a poner todo esto en marcha. Estos son los, de nuevo, los hallazgos es lo que se llaman, pero básicamente solo los enlaces a nuestro, queremos Cloudflare AI, así que necesitamos este AI que ya está allí, y luego nuestro índice vectorizado, índice vectorizado que creamos. Y ahora tenemos una URL a la que podemos acceder. Entonces, si copio eso y voy a, tengo curiosidad, creo, oh, no va a funcionar. Vale. Bueno, yo tenía un poco adelantado aquí. Pensé que funcionaría porque no hemos configurado cosas en el code todavía, pero lo haremos funcionar. Lo haremos funcionar. Bien. Entonces, hablamos de los poemas de amor que queremos usar para realmente, sabes, sembrar algunas cosas locales para nosotros, así

Entonces, para hacer eso, necesitamos, vamos a usar un par, un par de funciones de link chain. Entonces, vamos a hacer, vamos a crear la incrustación, las incrustaciones objeto. Entonces, incrustaciones. Y esto va a usar una nueva función de incrustaciones de Cloudflare workers AI, que podemos ver. Obtén un autocompletado allí. Pero, sí, esto viene de nuevo de link chain. Y hay, puedes ver aquí, link chain tiene un paquete específico de Cloudflare. Podrías reemplazar esto con, también hay uno, como, una vez más, para advanced DB y pinecone y cosas así, también, si realmente quisieras ir por ese camino. Pero de nuevo, para los propósitos aquí, vamos a usar las incrustaciones de Cloudflare AI. Y eso toma un objeto de configuración, que es, es un enlace. De nuevo, los enlaces y los trabajadores, si no estás familiarizado, los enlaces son como los enlaces a los variables globales que se inyectan. Vienen del estrangulador Toml. Configuramos nuestro nombre de enlace para vectorizar fue vectorizar índice. Nuestro nombre de enlace para AI es solo AI. Entonces, vendremos aquí, y esto se convierte en C.env.AI. Sí. Que aún no he escrito. Probablemente debería haber hecho eso. Pero, está bien. Y luego, vale la pena notar con lo que creamos nuestro índice. De nuevo, creamos eso con este preajuste aquí, este EF por VGE base. Voy a poner eso en una variable constante, porque lo referenciaremos un par de veces. Entonces, digamos const embedding model va a ser eso misma cosa que usamos para crear el índice. Porque el otro parámetro en estas incrustaciones, es un nombre de modelo que necesitamos. Entonces, le daremos el modelo de incrustación. Y, ahora tenemos nuestro generador de incrustaciones listo para rock and roll. También queremos almacenar estas incrustaciones en algún lugar. Entonces, vamos a crear una tienda, que va a ser una nueva tienda vectorizada de CloudFlare. De nuevo, viene de LangChain, ya tipo de configurado para nosotros. Recuerda, las incrustaciones vienen del modelo. Entonces, esto es este trabajador AI, maneja el lado del modelo de las cosas. Entonces, y ahora vectorize es nuestra tienda vectorial. Entonces, oh, obtienes un vectorizado no titulado allí. Ver, tendría curiosidad por ver si otras personas también lo obtienen. Espero haber acertado con los permisos. Veamos si me aseguro de que tienes, estás en esta cuenta. Vale. Estoy recibiendo un correo electrónico rápidamente para asegurarme de que estás aquí. Entonces, solo me aseguraré de que estás añadido a estas cosas de nuevo. No creo que estuvieras, oh, veamos. Si puedes intentar eso de nuevo, Cicel, sería increíble. Porque creo, oh, mierda, debería haber añadido directamente. Vas a tener que comprobar tu correo electrónico. Sí. Vas a tener que comprobar tu correo electrónico, Cicel, para confirmar la invitación. Lo siento por eso. Podría haber añadido directamente, pero olvidé marcar esa casilla. Pero deberías estar bien. Sí, aquí está nuestro modelo de incrustaciones. De nuevo, lo mismo, podríamos simplemente copiar y pegar eso de lo que tenemos aquí porque solo queremos asegurarnos de que esto coincide con el valor en esto porque queremos que el AI, de nuevo, esto no es específico de Cloudflare, pero queremos que lo que el AI usa para generar incrustaciones coincida con la dimensionalidad de la tienda Vector. Y eso es realmente lo que esto está haciendo. Entonces, queremos, sí, queremos, oh, sí, hay un anuncio al frente. Pero es un buen grito. Esa es una convención de Cloudflare. Los nombres de estos serán un poco diferentes, dependiendo de dónde vayas, pero el

Mientras tanto, sigamos adelante. Así que tenemos la consulta. Y también queremos hacer lo mismo que acabamos de hacer, de hecho, vamos a copiar y pegar. Vamos a obtener nuestros embeddings en nuestra tienda, para que podamos realmente usar el vectorizador para hacer la consulta aquí. Y luego es solo copiar y pegar. Probablemente sea solo una cuestión simple de hacer const save results equals await store. Y podemos ver que la tienda tiene propiedades en ella. Pero el que nos interesa aquí es la búsqueda de similitud. Y queremos que sea solo lo que sea la consulta. Y lo limitaremos a cinco por ahora. Adelante y respuesta JSON resultados. Genial. Esto es todo. Super simple. Copiamos y pegamos esto. Todo lo que estamos haciendo aquí es extraer la variable de consulta. Y luego solo, esta es realmente la única nueva pieza del rompecabezas, es poder usar el método de búsqueda de similitud en la tienda. Así que, vamos a hacer un despliegue de Wrangler ahora. De nuevo, ese comando es npx wrangler deploy. Si la página principal no estaba funcionando antes probablemente todavía no lo estará. Pero eso está bien, no estamos realmente interesados en eso, queremos, ¿cómo hago para que esta barra desaparezca? Está interfiriendo con mis cosas de Chrome. Lo que realmente queremos hacer es ir a, creamos ese punto final de búsqueda si volvemos aquí. Y le estamos dando una, solo estamos extrayendo la consulta para, oh, lo siento. Me adelanté un poco a mí mismo. Realmente tenemos que llamar a cargarlos primero para cargar estas cosas ahora. Así que, hicimos todo el trabajo para hacerlo. Veamos si realmente funciona. Así que, para hacer eso, hicimos ese punto final de obtener así que podemos simplemente llamar, cargarlos. Y parece que tenemos un error interno del servidor aquí. Así que, eso está bien. Hay una forma de hacer algo de debugging si necesitamos. Ignora ese comando. Eso es solo una cosa de Cloudflare. Lo que queremos hacer es npx wrangler tail para ver por qué falló esto. Refresca eso. Podemos ver, no puede leer propiedades de indefinido. No puede leer propiedades de indefinido. Así que, cargamos 10 poemas. Conseguimos que esta pieza se cargara, funcionó. Nunca, llegamos a, sí, llegamos a cargar 10 poemas. Nunca llegamos aquí. Hagamos un console.log de los poemas para ver cómo se ve realmente eso, asegurémonos de que está en el formato que esperamos. Voy a querer desplegar eso de nuevo. Esta es parte de la diversión, ¿verdad? Siempre demos en vivo, codificación en vivo, tratando de descubrir cosas sobre la marcha aquí. Eso se ve bastante bien para mí. Tenemos nuestras cosas.

Genial. Esto debería funcionar ahora. Pero vamos a verificarlo tres veces. Lo vemos girar por un tiempo. Eso suele ser una buena señal. Eso significa que está tratando de hacer algo. Volvemos a nuestros registros. Tomó un poco de tiempo aparecer aquí. Pero veamos lo que obtenemos. Sí, mira allí. Entonces, ahora podemos ver que hemos insertado efectivamente un montón de registros con el texto de nuestros, sí, nuestros poemas. Esto es genial. Aprecio la captura de nuevo, eso, eso, eso, eso, eso, ese pequeño paquete allí con el de versus en. Me encanta ver eso. Entonces, ahora haremos, ahora realmente intentaremos esta cosa de búsqueda. Ahora que tenemos cosas en, en el VectorDB, si buscamos, vemos una cola. Sucede que sé que geese está aquí. Estoy bastante seguro. O tal vez sea goose. Eso altera un poco los resultados un poco. Pero hagamos goose. Buscaremos esto para goose. Y así como así, vemos que obtenemos vemos que obtenemos de vuelta. Este es el, este es el poema que tiene el goose en él, justo allí. Y un par de otros, vemos uno que tiene, estoy seguro de que hay un par de otros con pájaros y cosas así. Pero eso realmente no importa demasiado. De todos modos, validation que podemos de hecho cargar el podemos de hecho cargar los poemas, y que están en el orden en que esperábamos que estuvieran. Hay algo sí, ese gander goose, pequeños pájaros, todo esto tiene sentido. Estamos viendo, estamos viendo cosas así. Hay un poco de un tema aquí. Entonces sí, creo que se ve bastante bien. Tenemos una API que realmente valida que somos capaces de ver lo que para ver las cosas. Pasemos a la parte realmente divertida, que es que estamos haciendo una tontería Guinness como un chat, un chatbot es la idea aquí. En el estilo de como, todos los mensajeros instantáneos, aunque estamos hablando con un cupido, o su nombre es Bernard el bardo en este caso, pero una persona tipo cupido. Entonces, vamos a hacer esto. Lo primero es lo primero, queremos leer lo que entró. Entonces diremos allí, solicitud. Por ahora, diremos que el cuerpo es igual a C.request.json. Esto es en realidad un data operación de búsqueda. Así que esperemos eso. Y esto nos dará la entrada que podemos entonces usar para alimentar nuestro proceso aquí. También necesitamos lo mismo que antes. Necesitamos acceso a la tienda y embedding. Así que podemos hacer nuestra búsqueda. Así que solo copiaremos y pegaremos esos de nuevo, deberían verse exactamente igual. Ahora queremos configurar el chatbot un poco más. Entonces, vamos a hacer eso. Así que para el chat, o algo, en el chat es usted y esto va a ser chat. Cloudflare workers AI. Esto también viene de el paquete lang chain Cloudflare, ya configurado para hacer lo que queremos hacer en lo que respecta a las cosas del chat. Hay un montón de otros modelos disponibles que hacen cosas como imagen reconocimiento e incluso generación de imágenes y cosas así. Pero vamos a trabajar con

Bueno, ahora tenemos nuestra tienda, pero queremos usarla para extraer cosas de ella ahora para el bien de chatear. De nuevo, la cadena en blanco ha hecho un muy buen trabajo construyendo algunas de estas cosas para nosotros. Hay este concepto llamado recuperadores. Eso está básicamente hecho a medida para, de nuevo, buscar cosas en bases de datos vectoriales. Aquellos son genéricos sobre cualquier cosa que implemente la API de VectorStore, por lo que podemos simplemente pasar llamar a asRetriever en nuestra tienda, y obtendremos nuestra tienda. Y obtendremos algo del tipo VectorStoreRetriever, que luego podemos usar para hacer nuestras búsquedas.

Ahora esto requiere un poco de conocimiento de lo que está pasando en la interfaz de usuario. Tendré que abrirlo al lado cuando esto sea pequeño. Esta es la aplicación Vue. No te preocupes si nunca has usado Vue antes, no tienes que tocar esto en absoluto. La idea es, podemos ver aquí un mensaje de envío de indicaciones. Nos envía un mensaje de usuario, y el modelo que acabamos de usar hace un segundo, y luego los mensajes hasta ahora, que es solo una matriz de mensajes existentes previamente. Este mensaje de usuario es lo que vamos a usar para hacer nuestra búsqueda. Obviamente, queremos responder a lo que el usuario acaba de escribirnos. Entonces diremos, capturaremos eso localmente, por lo que el mensaje del usuario es body.userMessage. Perfecto. Y luego queríamos también tener el contexto histórico de la conversación también. Tenemos todos los mensajes en esta lista de mensajes aquí. Haremos un poco de filtro en eso para obtener el conjunto completo de mensajes hasta ahora. Así que los mensajes, los objetos de mensajes, son body.messages.map. Y para cada uno de estos, queremos decir, message.role. Así que hay un rol especial que Blank Chain asigna a la respuesta del chatbot, y eso es asistente. Entonces diremos, si vino del asistente, entonces etiquétalo como un mensaje de AI. De lo contrario, simplemente usaremos el mensaje en sí. Entonces, y también queremos en esa matriz incluir el contenido de ese mensaje. Sí, está bien. Así que tenemos nuestros mensajes que vienen del usuario, tenemos nuestro contexto aquí. Queremos alimentar eso en nuestro modelo para enviarnos realmente lo que nos interesa escuchar. Así es donde realmente nos metemos en la programación de la AI y la ingeniería del espacio de indicaciones. Así que si nunca has echado un vistazo detrás de las cubiertas antes, la mayoría de los chatbots tienen un conjunto de programación de parámetros donde ellos están configurados en formato legible para humanos para ser como, este es tu nombre, nunca se supone que debes hablar sobre cómo vas a destruir el mundo, todas esas cosas. Justo lo que estamos haciendo para esta configuración aquí. Así que este es un chatbot, veamos, miro mis notas de nuevo para ver de dónde viene esto. Chat, mal, no me lo va a dar gratis esta vez. Cadena de lenguaje, plantilla de indicaciones de chat. Bueno, el tipo de actividad actual que está sucediendo ahora es la plantilla de indicaciones de chat. Eso es lo que estamos buscando de esto y de nuevo, podemos ver aquí que esto es un de nuevo hecho a medida para las indicaciones de chat esencialmente y tiene una muy buena documentación de cómo se ve eso. Pero aquí es donde estamos diciendo que sabes cuál es nuestro nuestro sistema se ve así, el que el chatbot. Así que vamos a hacerlo. Plantilla de indicaciones de chat. De los mensajes de los mensajes. Y le das tanto el sistema, veamos, es un sistema eso es algo pequeño que viene de algún lugar único. Este mensaje del sistema plantilla de indicaciones también en el mismo lugar en realidad. Y mensaje humano. Plantilla de indicaciones de mensaje del sistema. Eso tiene un método de plantilla divertido que llamamos y aquí es donde estamos definiendo cuál es nuestro cómo se ve nuestro sistema. En realidad, voy a copiar y pegar esto de mi repositorio de GitHub porque ya lo he definido un poco. Pero estas son las reglas. De nuevo, estás definiendo las reglas para tus chatbots. Entonces, en mi caso, déjame copiar esto. Sí. Aquí es donde de nuevo llego a decirle a la AI quién es y cuáles son sus reglas. Entonces, en este caso, estoy diciendo que sabes que hoy es el Día de San Valentín, estás repartiendo amor con todos. Y su nombre es, el hecho de que se supone que debe usar poemas que ya hemos sembrado aquí. Tiende a ser un poco verboso, entonces, me gusta tratar de limitarlo a solo unas pocas oraciones. Y sí. Utiliza esos objetos de mensajes de los que estábamos hablando como el contexto en eso. Y lo mismo para la plantilla de indicaciones. De nuevo, también queremos decirle lo que ha dicho el humano. Así que eso es lo que esta plantilla de indicaciones de mensaje humano del usuario este mensaje de usuario se remonta al cuerpo que se remonta al mensaje que viene de nuestra interfaz de usuario aquí. Y así como así, hemos definido un bot realmente. Gracias por pasar, Raiz. Te aprecio.

Lo siento. La pieza que faltaba era el NPM run deploy. No Wrangler deploy. Espero que hayas disfrutado esto. Sé que nos quedamos cortos de tiempo. Eso fueron tres horas completas. Estoy dispuesto a quedarme si la gente quiere que las cosas funcionen al 100%. Me quedaré unos diez minutos más o algo así. Pero sé que también estamos a tiempo. Fue un placer. Y realmente, realmente aprecio que todos se quedaran y pasaran el rato y, con suerte, algunas conclusiones interesantes. De hecho, tengo una pequeña despedida aquí. Gracias por hacerlo, felicidades por haberlo logrado. De nuevo, sé que todos ya sabemos esto. Pero, serverless AI no es una bala de plata. Pero es bastante bueno. Y bastante fácil para la creación de prototipos rápidos. Especialmente cosas como trapos donde puedes tener modelos más estáticos. Y puedes usar soluciones existentes para bases de datos vectoriales y cosas como eso. Lo que hicimos fue un poeta realmente genial. Es capaz de darnos poemas de amor y citarlos a su manera un poco peculiar. Pero imagina si esto también estuviera usando realmente documentación de desarrolladores o algo así. Sería súper, súper útil. De hecho, tenemos un pequeño producto llamado CloudFlareCursor que utiliza casi exactamente la misma configuración. En lugar de sembrar poemas de amor, vemos la documentación de los trabajadores de CloudFlare. Y puedes preguntarle, sabes, ¿cómo configuro un trabajador que redirige a HTTPS? Y usará la documentación que tiene y el contexto que tiene para dar una respuesta real para algo así. Entonces, tuvimos una pequeña demostración divertida de esto. Muy, muy poderoso si lo aplicas a otras aplicaciones y cosas así. Publicaré estas diapositivas. Pero tengo un par, ya sabes, lecturas adicionales y más enlaces de aprendizaje también. Pero muchas gracias. Y, de nuevo, si tienes que irte, lo entiendo totalmente. De lo contrario, me quedaré y haremos que esto funcione para la gente. ¿Querías que te mostrara de nuevo la creación de un token de API? Sí. Si vas a API lo siento, haz clic en este pequeño usuario desplegable aquí arriba y ve a mi perfil. Eso te dará esta pantalla. Y aquí a la izquierda

Sí, está bien. Estaba diciendo que en este caso, sí, solo está restringido a los poemas. Pero eso es porque se lo dijimos en nuestra configuración o parámetros para el bot. Dijimos que use al menos dos líneas de un poema en cada respuesta y no invente las suyas. Entonces, en este caso es lo suficientemente inteligente como para saber que tiene que usar algo de esta lista que hemos dado aquí. Pero no tiene que ser así. Definitivamente puedes darle un espectro de operación mucho más abierto. Mucho de eso depende de ti. Y es bastante interesante. La ingeniería basada en indicaciones es su propio pequeño microcosmos de cosas a considerar. Sí. Frank, tienes una buena pregunta sobre el costo. Por el momento, todo es gratis. Tendré que poner un asterisco en eso. Es gratis si tienes un plan de pago de workers. Vectorize en sí, Vectorize solo está disponible para los usuarios de workers pagos, por eso tuvimos que pasar por el proceso de agregar personas a una cuenta específica para que esto suceda. Esto es mientras están en beta. Planeamos cambiar eso. Planeamos cambiar los precios una vez que vayamos a GA. Toda esa información de precios ha sido lanzada, ya es información pública. Pero al menos, es una forma para nosotros de hacerlo. Como mencionamos con serverless, todo se basa en el uso. El almacenamiento de vectores, depende de cuán a menudo estás consultando tus datos. En este caso, probablemente no sería ni un centavo. Porque no estamos golpeando esto muy fuerte. Pero basado en cómo se ve tu tráfico puedes ver que obtienes 30 millones gratis una vez que llegamos allí, una vez que esto se vuelve GA. A menos que estés golpeando las cosas bastante fuerte, puede que no te cueste mucho en absoluto. Pero entiendo que mucho de eso depende del uso y hay algunos cálculos para ejemplos de uso y cosas en esta página. Pero para los aficionados y usuarios como ese, también depende del tamaño de tu conjunto de datos. Pero teóricamente podría ser muy, muy poco. Creo que cubrí lo que dije. Repetí un poco lo que originalmente había perdido allí. Pero si hay algo específico que quieres que repase, puedo cubrir eso. Tengo unos dos minutos más antes de que tenga que irme por otras obligaciones. Pero todavía veo a la gente charlando, así que no voy a irme todavía.

Sí, Forrester. Eres bienvenido. Tenemos un Discord. Si aún no has revisado el Discord de CloudFlare, ahí es donde muchos de nosotros pasamos el rato. Pero hay un canal específico para Vectorize y uno para Workers AI también. Sí, eres totalmente bienvenido a hacer cualquier pregunta que tengas. Esto va para todos. No solo para Forrester aquí. Pero sí, si tienes alguna pregunta que piensas después de esto y quieres aclaración, entra en Discord de CloudFlare, busca ese canal de Vectorize o el canal de Workers AI. Y solo deja una línea allí y te responderemos a ti. Todos somos bastante buenos monitoreando esas cosas. Pero saludos a todos. Creo que fue realmente, realmente divertido. Estoy asombrado de que realmente pudimos llenar las tres horas que teníamos. Logramos hacerlo. Y deberíamos hacerlo con éxito. Entonces, sí, también tengo algo de tiempo libre. ¿Hay una docs sin plantilla de indicación? Sí, tenemos muchas plantillas y tutoriales para esto. Vizual. Probablemente estoy diciendo eso mal. Pido disculpas. Hay muchas plantillas para esto ya. Mi código fuente también está ahí. Con una cuenta totalmente gratuita, esto no funcionará porque tienes que tener workers pagos para trabajar con Vectorize. Pero puedes no, ya sabes, solo necesitas pagar por los workers para hacer que eso funcione. No hay un nivel de facturación específico para ninguna de las otras cosas de AI además de los workers, por el momento al menos. Bueno, todos. Saludos y que tengan un encantador Día de San Valentín. Fue divertido pasar el rato con todos ustedes. Paz.