Enhancing AI with RAG

¿Qué tal a todos? Mi nombre es Fonash y soy un ingeniero de relaciones con desarrolladores en una empresa llamada Datastacks. Si alguna vez quieren encontrarme en línea, pueden encontrarme en todas partes como Fonash en Twitter, en LinkedIn. Vengan y conéctense conmigo, me encantaría charlar con ustedes.

Pero entremos en la charla. Hoy vamos a hablar sobre cómo construir un rag desde cero, y para lidiar con eso, primero tendremos que averiguar qué es un rag. Todo esto se trata de la IA generativa, y si han tratado con modelos de lenguaje grandes, ya sea usando aplicaciones de consumo o intentando desarrollar usando sus APIs, sabrán que tienen un par de problemas. Uno de ellos es que no conocen ningún dato actualizado, porque tienen una fecha de corte de entrenamiento, y por lo tanto no pueden saber nada más allá de la fecha en que dejaron de entrenar. Y el segundo es que no conocen ninguna información privada, y eso es algo bueno. No queremos que conozcan nuestra información privada necesariamente. Ciertamente no queremos que hayan sido entrenados con nuestra información privada.

Solo quiero mostrarte eso como una demostración. Tengo el AI studio de Google aquí hablando con Gemini Flash, uno de sus modelos, y voy a preguntar qué está pasando en JS Nation US? Y no puede saber esto, porque fue entrenado mucho antes y dice que no tiene acceso a información en tiempo real. Podrías también consultar el sitio web oficial. Es un buen consejo, pero no es un bot muy útil. También podríamos, ya sabes, este es un bot construido con mi propia cosa, y así esto también está llamando a la API de Gemini 1.5 Flash, y si le pregunto qué está hablando Phil Nash sobre JS Nation, también, simplemente no va a saber esto. No sabe nada sobre mí. Necesita más información para responder esa pregunta. Y eso es justo. No lo sabe. Fue más allá de su fecha de corte de entrenamiento.

¿Y qué hacemos al respecto? Esto nos lleva a la idea de la generación aumentada por recuperación. Esta es una de las formas en que podemos dar a un modelo de lenguaje grande más contexto para responder. La idea detrás de la generación aumentada por recuperación es que tomamos todos nuestros datos actualizados o privados y los almacenamos en algún lugar.

Cuando un usuario hace una consulta a un bot que hemos construido, usamos esa consulta para recuperar datos relevantes sobre la consulta, proporcionar esos datos como contexto al modelo junto con la consulta original, proporcionar cómo el modelo genera una respuesta usando ese contexto, usando información que no podría haber conocido previamente, y luego eventualmente supongo que obtener beneficios. Esa es la idea aquí.

Cómo la parte difícil de esto en realidad, ya sabes, porque se han hecho modelos, sabemos esto, y siguen mejorando y haciéndose mejores. La parte difícil para nosotros es recuperar datos relevantes basados en algo como una consulta en lenguaje natural. Y así es como todo encaja junto.

Entonces, la recuperación en esta generación aumentada por recuperación es ese paso de búsqueda contra tus datos que quieres poner a disposición del bot. La augmentación es donde lo conviertes en un aviso y finalmente la generación es manejada por un modelo. Y vamos a hablar sobre el lado de la búsqueda de esto porque esta es la parte más importante. Y por lo tanto, es importante que sea búsqueda en lenguaje natural. No es búsqueda por palabras clave. Queremos buscar por similitud de significado.

Y eso suena fácil de decir, pero ¿qué significa eso realmente en la práctica? ¿Cómo capturamos el significado de una manera que podamos buscar un significado similar? Esto nos da la idea de las incrustaciones vectoriales. Las incrustaciones vectoriales son una lista de números, en última instancia, que representan el significado de un cuerpo de texto.

Y podemos generarlas de diferentes maneras. Veremos un par de esas maneras hoy, comenzando por crear nuestra propia incrustación vectorial. Así que tengo una hipótesis para esto. Para un bot sobre una conferencia, digamos JSNation US donde estamos, los títulos y descripciones contienen los significados de las charlas que vamos a ver. Esos títulos y descripciones están compuestos por palabras. Proporcióname aquí. Y los títulos y descripciones que comparten palabras son similares.

Y así también las consultas en lenguaje natural que también comparten palabras que están en esos títulos y descripciones probablemente están preguntando sobre esas charlas específicas. Y así, si recopilamos todas las palabras y representamos cada charla como un conteo de cada conjunto total de palabras, entonces cuando obtenemos una consulta de usuario podemos hacer lo mismo y compararlas, obteniendo finalmente palabras similares basadas solo en la similitud de charlas y consultas similares basadas en el número de palabras que comparten. Y así, vamos a echar un vistazo a esto. Tengo este tipo de chat de evento inútil ahora mismo, pero tengo el código para eso aquí. Y lo que he hecho es raspar todas las descripciones de charlas para JSNation US y las tengo en un gran archivo JSON.

Y así para cada una de las charlas en nuestra en nuestra gran lista de charlas, podemos convertirlas en ese tipo de arreglo de palabras. Y así, en realidad podemos obtener todas las palabras de todas las charlas haciendo un arreglo a partir de un conjunto, de modo que básicamente las hacemos palabras únicas al mapear de manera plana sobre el conjunto de charlas y devolver el arreglo de palabras. Y así, si fuera a console.log todas las palabras, podemos ver que hay un montón de palabras y las primeras son AI assisted developer workflow, build faster smarter today, esa es la charla de Addy Osmani. Justo, así que esa es la primera y ese es el primer conjunto de palabras que obtenemos allí. Y si solo echo un vistazo rápido a la longitud, podemos ver que hay 1498 palabras totales utilizadas en todas las charlas, todas las descripciones de charlas, excluyendo esas palabras comunes. Y así, una vez que hemos hecho eso, podemos entonces crear un vector de una charla usando todas esas usando todas esas palabras. Y así, lo que vamos a hacer allí es obtener un mapa de las palabras usando un objeto, en este caso, para cada una de las palabras en una charla, podemos recorrerlas y hacer un mapa que diga, si sabes, cuenta cada una de las palabras, y eso es lo que hace este mapa de palabras.

Y finalmente, podemos mapear todas nuestras palabras. Así que para cada una de las palabras en todas las charlas, verificaremos si están en la charla que estamos viendo y cuál es su conteo. Y de alguna manera mapeamos eso en este gran arreglo. Y luego podemos hacer eso a todas las charlas mapeando sobre todas ellas, devolviéndoles el contexto de la charla y su vector.

Y así, para ver eso en acción, podemos simplemente registrar, vectores de charla, veamos el primero. Como dije, esa es la charla de Addy Osmani. Y lo que podemos ver es que tenemos este vector aquí. Y porque esta es la primera charla, todas las palabras aparecen al inicio de este vector, y luego comienza a ser ceros. Y puedes ver que el texto de eso es el AI Assistive Developer Workflow por Addy Osmani. Genial.

Si hiciera eso con la charla número ocho, veríamos que en realidad es mi charla, Bill Bradford y Sreć. Y aunque no comparte todas esas primeras palabras que están en la charla de Addy, podemos ver que en realidad hay algunos cruces allí, lo cual es agradable de saber, especialmente porque ambas son de hecho sobre el mundo de la IA. Así que volvamos a las diapositivas. Y hablemos de comparar vectores.

Resulta que las computadoras son obviamente mucho mejores comparando listas de números que comparando el significado de las palabras. Y eso hace que estos vectores sean útiles. Pero, ¿cómo comparamos estos vectores? Bueno, primero tenemos un vector multidimensional. Eso es una especie de punto o dirección en un espacio multidimensional. Lamentablemente para nuestros cerebros, no somos muy buenos imaginando cosas en más de tres dimensiones o cuatro si tienes tiempo. Así que solo voy a reducir esto a dos dimensiones para que sea un poco más fácil considerar cómo funciona esto. Y si tuviéramos tres vectores en un plano bidimensional como este, entonces si quisiéramos elegir los que son más similares, podríamos pensar que los que están físicamente ubicados cerca uno del otro son más similares que los que están más lejos.

Pero eso no es realmente cómo funcionan los vectores. No son solo una lista de números. No son un punto en un espacio multidimensional. Son una dirección y una magnitud. Y esa dirección es desde el origen del espacio desde 0, 0. Y una magnitud, que es qué tan lejos del origen están. Y así, un vector similar es en realidad uno que apunta en la misma dirección que otro. Y así, en este caso, nuestros vectores similares son en realidad el que está más cerca del origen y el que está más lejos a la derecha. Porque apuntan en la misma dirección.

Y aunque uno no es tan, ya sabes, no tan fuerte, no tiene una magnitud tan fuerte como el otro, ambos tienen un significado similar. Es solo que tal vez uno significa más que... significa más de eso que otro.

Y así, para calcular esto, usamos un poco de trigonometría. Vamos a volver a la escuela y a algunas matemáticas. Usamos la similitud del coseno. Esto me da la oportunidad de poner una función matemática que parece aterradora en una diapositiva. Pero al final no es tan aterradora, lo prometo. Estas grandes sigmas son solo la suma de... y cuando tienes un vector por un vector, en realidad solo multiplicamos cada elemento del vector y luego sumamos todo.

Así que el producto punto que está en la parte superior allí son dos vectores ya que cada elemento en un vector se multiplica por su par. Y luego sumamos todas esas multiplicaciones. Y en la parte inferior tenemos la magnitud. Como una magnitud del vector a es a al cuadrado. Así que eso es en realidad cada elemento en el vector a al cuadrado y sumado ordenadamente. Y luego la raíz cuadrada de esa suma completa. Lo mismo para el vector b. Y así esto es en realidad... podemos ver esto en código y en realidad tiene mucho más sentido en ese punto. Así que comenzamos con el producto punto. Esa es la parte superior de la función. Tomamos dos vectores diferentes, vector a y vector b, y para cada elemento en el vector a vamos a multiplicar ese elemento en el vector a por el elemento en el vector b. Y finalmente sumamos todos esos productos. Bastante sencillo. La magnitud entonces es similar. Solo toma un vector en este caso. Ups. Solo toma un vector en este caso. Y luego para cada elemento en ese vector lo elevamos al cuadrado y lo sumamos. Y luego tomamos la raíz cuadrada, math.square, de la suma.

Y finalmente nuestra función de similitud del coseno es simplemente el producto punto de dos vectores dividido por la multiplicación de las dos magnitudes de cada uno de los vectores. Y eso nos da un resultado de similitud. Y así, si verificáramos esto haciendo un console.log Cosine similarity of text to vector talks zero. Así que esta es la charla de Adi. Y de hecho, hagámoslo contra cada celda. Si hacemos eso, lo que deberíamos encontrar es que la respuesta está muy cerca de uno. De hecho, es solo ligeramente superior a uno debido a la aritmética de punto flotante, lo cual está bien. Pero porque es la misma charla, significa exactamente lo mismo. Es similar en términos de uno.

Ahora, si comparáramos esto con la charla ocho, esa es mi charla, podemos ver que su similitud es 0.135. Ahora no lo hacemos realmente, porque estos vectores son vectores muy dispersos, la mayoría de los elementos en cada uno de los vectores para cada una de las charlas son cero, en realidad no vamos a encontrar charlas muy muy similares en este caso particular. Si pudiéramos verificar y decir de qué trata la charla cuatro, pero encontramos que tiene una similitud de 0.04. Así que la charla cuatro es mucho menos similar a la charla de Adi Osmani que mi charla, seguro, pero al menos en términos de las palabras que tiene. Así que esa es nuestra similitud del coseno. Nos da esa puntuación entre cero y uno de cuán similares son dos charlas.

Y si volvemos al código, oh, vemos que funciona. Bueno, funciona porque en realidad luego tenemos que ponerlo a disposición del bot real que hemos creado. Así que este findSimilarTalk es una función que toma cualquier consulta, la convierte en un vector basado en nuestro conjunto existente de palabras que hemos revisado, y luego mapea una similitud del coseno sobre todas las demás charlas contra esta consulta, ordena por la más similar y devuelve cinco charlas por defecto. Así que si hacemos eso, esto en realidad configura este chat de evento, y de hecho una búsqueda que tenemos aquí para mostrarnos lo que está sucediendo. Y así lo que podemos hacer es, correcto, tenemos búsqueda de similitud. Puedo buscar sobre qué está hablando Phil Nash. Si hacemos eso, podemos ver que debido a que las palabras Phil y Nash aparecen en solo una de las charlas, obtenemos este tipo de baja similitud, 0.014. Todas las otras cosas no son tan similares en absoluto, no mencionan a Phil Nash ni de hecho las palabras hablando sobre. Y así nos va a dar esa respuesta. Si miramos algo como solo AI y desarrolladores, obtenemos un montón de cosas como manual a mágico AI y herramientas para desarrolladores, tenemos integrar AI en la arquitectura de tu aplicación, desarrolladores integrando cosas, el flujo de trabajo del desarrollador asistido por AI. Así que puedes ver estas similitudes son 0.45, 0.37, 0.3. Eso es realmente útil. Así que si volvemos a nuestro chat real donde ponemos este contexto a través del bot también, y preguntamos sobre qué está hablando Phil Nash. Mantengamos las mayúsculas allí. ¿Sobre qué está hablando Phil Nash? Esto va a hacer esa búsqueda, encontrar la charla y otras cuatro que no son similares, pasarlo al modelo, permitir que el modelo luego salga con la respuesta correcta.

Estamos hablando de construir rag desde cero en JavaScript, excelente. Y luego, ¿quién está hablando sobre AI y desarrolladores? Podemos ver que eso va a hacer ese mismo tipo de búsqueda y decir que Toba Lundberg, Yossi Kallen, Adi Osmani, Daniel Ostrovsky, Satoshi Nakajima, todos están hablando sobre AI y desarrolladores y cómo podemos hacer eso. Charlas emocionantes, cosas que quiero ver, honestamente.

Así que funciona. Nos hemos construido un mal vector, pero funciona. Es malo porque es disperso, está basado en palabras, tiene un montón de cosas. Necesitamos hacer todos esos datos por adelantado. La consulta es sensible al vocabulario. Así que si preguntamos algo que no usó ninguna de las palabras en ninguna de las charlas, obtendremos cero tipo de similitud.

Si fuéramos a expandir esto, si hubiera cientos y miles más de charlas para mirar, tendríamos que hacer muchos, muchos más cálculos, lo que eventualmente detendría esto. La misma palabra puede significar cosas diferentes. Las palabras podrían ser negadas para significar lo contrario. El orden de las palabras en una oración podría significar cosas diferentes. Y así, mucho de esto no está capturado por nuestro vector. Pero lo que puede ser capturado son los modelos de embedding. Estos son modelos de aprendizaje automático reales que se utilizan en la creación de grandes modelos de lenguaje también. Capturan ese significado de las palabras y de los cuerpos de texto.

Los modelos de embedding son ofrecidos por muchas de las empresas de AI que existen. Hay algunas empresas que solo hacen modelos de embedding para ti. Así que esto es OpenAI. Puedes llamar fácilmente a su API para obtener embeddings de OpenAI. En este caso, el modelo pequeño de embedding de texto 3 te da 1536 dimensiones y siempre te devolverá eso. Capturando el significado de un texto en alrededor de 1500 vectores, hay un modelo grande que tiene 372. Puedes elegir lo que quieras allí.

Y luego, obviamente lo que hicimos aquí fue mantener todo en memoria, lo cual está bien en un conjunto pequeño. Pero si tienes muchos más datos, necesitarás una base de datos para eso. Y así, las bases de datos vectoriales te permiten, bueno, tienen índices para hacer esta búsqueda de similitud del coseno contra muchos y muchos datos. Mucho más rápido, mucho más eficiente. AstroDB es una de esas bases de datos vectoriales, la que creamos en Datastacks. Y de hecho, tiene una ayuda adicional para ti si quieres hacer una búsqueda o encontrar vectorial.

De hecho, vectorizará las consultas por ti si lo configuras para hacerlo. Así que no tienes que preocuparte por hacer dos llamadas diferentes. Puedes simplemente permitir que la base de datos maneje la vectorización por ti. Y eso es realmente genial.

Solo quiero mostrar una demostración rápida en la que voy a eliminar nuestro modelo de bolsa de palabras. Eso es con lo que estábamos lidiando allí porque se basaba completamente en las palabras. Reemplázalo con búsqueda vectorial, que es esa consulta que acabamos de ver allí. Vamos a vectorizar esto al entrar. Ya guardé todas estas charlas en AstroDB, y ahora podemos ordenar usando nuestra consulta vectorizada y obtener un conjunto de cosas similares.

Y así, si ahora voy y miro de qué está hablando Phil Ash, va a hacer esa ordenación, hacer esa búsqueda y encontrar que la similitud de esa consulta, de qué está hablando Phil Ash, con mi charla es 0.72. Aunque en realidad habla de ello, también tiene similitud con otras cosas. Si miramos AI y desarrolladores, vamos a obtener puntuaciones muy similares a cosas como la charla de Addy, como la charla de Tober Lindbergh, como vimos. Y esta es una puntuación de similitud mucho mejor, una captura mucho mejor de cómo funciona todo.

Y así, si ahora preguntara de qué está hablando Phil Ash, todavía está usando esa similitud para simplemente devolver lo que tenemos. Y si digo quién está hablando, pero AI y desarrolladores, obtenemos esa misma lista. Pero ahora sabemos que en realidad estamos usando un modelo real para esto. Estamos usando una base de datos real para esto, por lo que es mucho más escalable y utilizable a largo plazo. Y eso es RAG, eso es Generación Aumentada por Recuperación.

Lo que hicimos aquí fue construir una idea muy pobre de un vector que fue realmente útil para nosotros ver, creo, cómo capturar el significado como una lista de números es útil para nosotros y cómo podemos luego compararlos. Luego reemplazamos eso usando modelos reales de aprendizaje automático para hacer la captura de significado y usando una base de datos para hacer la ordenación de una manera mucho más eficiente. Pero hay mucho más en esto. Si quieres investigar más sobre RAG, entonces hay formas alternativas de hacer embeddings vectoriales como Colbert. Hay formas alternativas de almacenar cosas en una base de datos, como usar un sistema RAG de grafos basado en el contenido. Acabo de compartir algunas otras publicaciones de blog que he escrito aquí, como una donde usé la ordenación por similitud para crear publicaciones relacionadas en un blog, en este caso un blog de Astro, Astro y Astra juntos, bastante divertido. Así que eso es todo lo que tengo para ti. Nuevamente, mi nombre es Phil Nash, soy un Ingeniero de Relaciones con Desarrolladores en Datastacks. Espero que disfrutes el resto de JSNation US. Nuevamente, encuéntrame en línea, soy Phil Nash por todas partes, o escanea este código QR para las diapositivas. Espero que puedas salir y explorar usando RAG, usando grandes modelos de lenguaje y construyendo con IA. Muchas gracias.