NodeJS & AI: Building Smarter Applications

Hola a todos, estoy emocionada de hablar hoy sobre cómo podemos combinar Node.js y una parte de la inteligencia artificial para construir aplicaciones que no solo sean funcionales, sino inteligentes. Ha habido una creciente importancia de la inteligencia artificial en el software, y yo quiero animar a ustedes, desarrolladores de TypeScript y JavaScript, a aprender y aplicar estas tecnologías.

Mi nombre es Aileen. Actualmente trabajo como desarrolladora de software en Orama, y he estado haciendo software durante 10 años. Organizo encuentros tecnológicos en mi ciudad, y estoy realmente apasionada por la intersección de la IA y el software.

Pero antes de sumergirnos, quiero que nos alineemos con algunos conceptos de los que hablaremos. Y empecemos definiendo qué es un modelo. Y quiero que piensen en un modelo como un programa especializado que ha sido entrenado con enormes cantidades de datos para reconocer patrones y hacer predicciones o decisiones. Estos modelos han sido entrenados para realizar tareas específicas, como entender texto, generar contenido o clasificar imágenes. Y vamos a interactuar con ellos proporcionando a estos modelos una entrada. Utilizaría todos estos patrones aprendidos y generaría una salida. Esta salida podría ser una inferencia, una generación o una predicción.

Hoy vamos a utilizar modelos de lenguaje grande. Y un modelo de lenguaje grande es un modelo que es bueno para entender y generar el lenguaje humano. Se basan en la arquitectura de transformadores. Hay un artículo llamado Attention is All You Need, y realmente lo recomiendo para leerlo si realmente quieres entender cómo funcionan por debajo. Están entrenados con grandes cantidades de datos, y funcionan para muchas tareas. Así que pueden hacer resúmenes. Pueden hacer respuestas a preguntas o traducción. Hoy vamos a hablar sobre dos tipos de modelos, que son los modelos cerrados. Y estos modelos son modelos como chat GPT, como Cloud, de Anthropic, como Gemini, y algunos de los modelos de Mistral. Estos modelos se acceden a través de una API, y tienen un costo. No puedes descargarlos, así que básicamente dependes de estos proveedores para usar estos modelos. El otro tipo de modelos son los modelos de código abierto. Y estos modelos, puedes encontrarlos alojados en Hug y Face. Puedes descargarlos y ejecutarlos en tu máquina local usando Olama. También podrías descargarlos y alojarlos en cualquier infraestructura en la nube, y estos modelos son modelos como Lama, como DeepSeq, o como Gemma de Google. Pero como puedes ver, estos modelos son realmente poderosos, y definitivamente podemos hacerlos más poderosos. Recordemos que estos modelos han sido entrenados con enormes cantidades de datos, y no hay duda de que estos modelos no son buenos en matemáticas o en necesidades muy específicas o nichos de una industria. Así que ahí es cuando entra en juego una nueva técnica.

Y esa técnica es RAC. RAC significa Retrieve of Method Generation. Y RAC definitivamente ayuda en cosas como la alucinación. Aunque no elimina la alucinación, definitivamente podría reducirla. Porque si un modelo no sabe algo, podría haber inventado una respuesta que no es precisa. Así que con RAC, si proporcionamos esa información, ese modelo puede responder correctamente. O podemos habilitar el uso de datos privados. Así que definitivamente, si no fueron entrenados con datos que tienes disponibles solo para ti, definitivamente ayudaría a hacer tu modelo más poderoso.

Pero también, recordemos que tal vez todos estos modelos no se entrenan diariamente. Así que hay conocimiento que no tienen, o podrían estar desactualizados. Y hay un caso de uso específico que quiero mostrarte. Así que le pregunté a Claude quiénes van a ser los oradores del Node Congress 2025. Y como puedes ver en la respuesta, menciona que el conocimiento de ese modelo en esta fecha actual se cortó en octubre de 2024. Así que no sabe quiénes van a ser los oradores de esta conferencia. Y así que para el ejercicio de hoy, voy a ir y guiarte a través de cómo crear y mejorar este modelo con RAC para realmente responder a esta pregunta. Vamos a seguir un par de pasos. Y nuestro primer paso es datos. Así que hay muchas maneras en las que puedes encontrar datos para esta mejora de nuestros modelos con RAC. Y eso podría ser un PDF, podría ser un JSON, un archivo CSV, un crawler, un sitio de DocuSign, o una base de datos. En este caso, estoy usando un crawler para ir a toda la página web del Node Congress. Y solo estoy añadiendo algunos archivos markdown que más tarde tendré disponibles para que los lean. Así que este es un ejemplo de cómo se ve el markdown basado en el crawler que hice para esta página web.

El siguiente paso es la división. Así que los documentos grandes pueden ser abrumadores, y nuestro modelo de IA puede dificultar que encuentres información relevante a través de todos estos datos. Así que con la división, vamos a cortarlo y tal vez hacer más fácil buscar algo como en un libro. Así que puedes buscar información en un capítulo en lugar de leer todo el libro. Así que la división es una buena técnica que se usa para mejorar el rendimiento de recuperación. Y también, es muy buena para representar el contexto. Aquí, estoy usando una biblioteca llamada LimeChain, y estoy usando la función de divisor de texto de caracteres recursivos. Esto también es algo que necesitarás decidir según tu caso de uso.

Puedes dividir por oraciones, puedes dividir por párrafos, puedes dividir por caracteres y cuántas oraciones, cuántos párrafos y cuántos caracteres. Hay algunas cosas que serían muy específicas de tu caso de uso que realmente necesitarás probar y testear cuál funciona para ti. En este caso, estoy usando un tamaño de fragmento y caracteres de 15,000 y un solapamiento de fragmento de 150.

Los solapamientos de fragmento son cruciales y básicamente aseguran que no perdamos contexto en cada fragmento. Así que a medida que vamos a fragmentar toda esta información, es importante tener una pequeña vista previa de lo que sigue y también del siguiente capítulo o si estamos hablando de un ejemplo de libros. Así que los solapamientos son muy importantes de tener. Así que lo que estamos haciendo es básicamente pasar por cada una de esta información, caracteres, fragmentar ellos, y luego ahora que tenemos este fragmento de datos, ¿qué sigue? Vamos a pasar por algo llamado incrustación.

Así que la incrustación es una técnica que transforma datos, en este caso texto, para capturar el significado semántico de esto. Así que cada incrustación es esencialmente una lista de números, típicamente entre 700 y 1,000, y posiciona el texto en un espacio de alta dimensión donde significados similares están más cerca. Como mencioné, son 700 y 1,000 dimensiones. Si queremos hacerlo o verlo en un ejemplo muy básico, podemos mirar esta imagen de SuperBase. Así que esto es una dos dimensiones y cómo se va a mapear las cosas. Así que si tengo la oración, el gato persigue al ratón, es muy similar a la siguiente oración. Así que estarán cerca uno del otro. Pero otra oración que no tiene nada que ver con eso, estaría lejos. Y esto es solo en una dos dimensiones. Así que vamos a depender de modelos de incrustación para transformar estos fragmentos de datos y poner en un espacio dimensional para que más tarde podamos recuperar esa información basada en cuán cerca y semánticamente estos significados están.

Así que como mencioné, vamos a usar un modelo de incrustación. En este caso, estoy usando OpenAI Ada. Y voy a ir de cada uno de estos fragmentos y hacer una incrustación. Así que los fragmentos que hice para 15,000, estos se van a transformar en una incrustación. Y son básicamente vectores, un número representacional de dónde están en una dimensión. Y ahora que tengo estos datos, voy a necesitar un lugar para encontrarlos más tarde. Y aquí es donde entran en juego las bases de datos vectoriales. Necesitaré almacenar estos datos en este tipo especial de bases de datos, bases de datos vectoriales. Y se vería algo así. Recuerda, tengo mi contenido de 15,000 caracteres. Así que este es básicamente el contenido. Y en el otro lado, tengo todos los vectores que tienen el significado de ese contenido. Esto se va a usar para recuperar esta información más tarde con algo llamado búsqueda de similitud.

Increíble. Así que tenemos nuestros datos. Los hemos dividido. Y los hemos almacenado. Ahora necesitamos recuperar esos datos. ¿Cómo vamos a encontrar esa información más tarde? Hay muchos tipos de recuperaciones que podemos usar. Esto puede ser basado en palabras clave o términos, que básicamente busca esa consulta exacta o palabra o frase. También hay semántica, que probablemente busca cosas similares basadas en el significado. Y hay híbrido. Así que, básicamente, es una combinación de los dos. Esto también es algo en lo que necesitarás confiar según tu caso de uso. En algunos lugares, podría ser genial usar uno u otro. Y esto es algo que podrías querer explorar según lo que te dé los mejores resultados para tu usuario, que es el objetivo.

En este caso, vamos a usar semántica. Y así, para recuperar, vamos a seguir estos pasos. Primero, necesitaremos la consulta del usuario. En este caso, necesitamos esa pregunta. Así que la pregunta es, ¿quiénes son los oradores? Así que esa sería nuestra consulta. Para hacer una búsqueda de similitud, necesitamos transformar esa consulta en una incrustación 2. Esa es la única manera en que podríamos encontrar algo similar a ella. Y esto encontraría cualquier cosa que sea similar y la devolvería. Así que paso a paso. Tenemos un endpoint API de búsqueda. Vamos a obtener la incrustación de la consulta, que es cualquier cosa que el usuario pregunte. Y luego encontraríamos cualquier cosa que coincida con esa incrustación en una búsqueda de similitud. Y finalmente, vamos a generar una respuesta.

Así que vamos paso a paso. De nuevo, estoy usando el mismo modelo que usé antes, para que realmente pueda tener sentido. No es una buena idea usar diferentes incrustaciones para diferentes para almacenar y para consultar. Así que estoy usando el mismo modelo.

Ahora que tengo mi incrustación, haré una búsqueda de similitud. Esto va a utilizar una función llamada match conference docs en super base. Con la incrustación que he transformado. Y voy a obtener... Quiero un umbral de coincidencia de 0.5, que es básicamente 50% de similitud. Cualquier cosa que esté por encima del 50%, la quiero de vuelta. Pero solo dame ocho. Si tengo 10%, solo quiero ocho de vuelta. Y esto es algo que también, es algo que puedes cambiar. Esta no es la respuesta correcta para todos los casos de uso. Esta es la que uso para el mío. Así que esto podría ser 70%.

Esto podría ser cinco conteos. Depende de ti. Así que una vez que tengo esto, ¿qué sigue? Necesito generar. Recuerda que los modelos de lenguaje grande son buenos para generar lenguaje humano. Así que no puedo simplemente devolver los resultados. Necesito dar una respuesta humana. Así que en este caso, lo que estoy usando es un modelo Gemini, y voy a dar el contexto. El contexto va a ser todo lo que recupere de mi base de datos vectorial. Y la consulta.

Así que le estoy diciendo al modelo Gemini, necesito información sobre las siguientes preguntas respecto a node Congress, que es la consulta. Y aquí está la información que es relevante, que es el contexto. Y este modelo generará una respuesta legible por humanos. Así que veamos cómo funciona. Así que esta es la página web, y estoy preguntando quién está hablando en node Congress. Genial.

Así que si ves, estoy obteniendo el nombre, las empresas e incluso el título de la charla de la conferencia de estos oradores. Y esto es algo que hicimos más poderoso. Así que estamos confiando en un modelo, un modelo de lenguaje grande, y pudimos responder a esta pregunta porque proporcionamos esta respuesta. Podríamos proporcionar una respuesta al usuario y no alucinamos al crear información falsa.

Genial. ¿Y qué sigue? Hay muchas, hay otra forma en que definitivamente podríamos mejorar estos modelos. Y esto es a través de agentes. Pero, ¿qué es un agente? Y un agente es un sistema que no solo responde a indicaciones. Así que no es como lo hacíamos. Como mencioné, Cloud haciendo preguntas. Ellos realmente trabajan para lograr esos objetivos. Así que si un usuario tiene una pregunta, ese agente va a cumplir con el objetivo para el que fue creado. Así que piensa que es muy diferente de lo que hicimos en Cloud haciendo preguntas. Es muy similar a si has utilizado un asistente de codificación o cualquier planificación para un viaje o algo así. Así que te daría información, pero intentaría cumplir con una tarea. Y lo que los hace especiales es que planifican su enfoque, utilizan herramientas cuando es necesario, y se adaptan cuando se encuentran con un obstáculo. Así que en lugar de devolver una respuesta que no conocen, intentarían buscar y adaptarse y usar algo para cumplir con la misión o el objetivo.

Así que planificación. Los agentes descomponen objetivos complejos en pasos lógicos. Si pides un análisis competitivo de cinco empresas, un agente planificará cómo investigar cada una, qué aspectos comparar y cómo estructurar el informe final. Razonamiento. Aquí es donde entra en juego una cadena de pensamiento. Así que los agentes piensan paso a paso a través de los problemas, así como lo hacemos nosotros al resolver algo que es complejo paso a paso. Los agentes mantienen el contexto a través de las interacciones. Así que recuerdan lo que han aprendido y construyen sobre el trabajo previo. Esto es muy común en los asistentes de codificación. Y recuerda, herramientas. Las herramientas son una de las cosas más importantes, y esto es crucial porque pueden llamar a funciones externas como buscar en la web o consultar una base de datos o hacer cálculos. Así que esto básicamente extiende una capacidad que va más allá de los datos de entrenamiento del modelo.

Así que, ¿cómo se ve esto en código? Así que primero, vamos a definir funciones.

Esta es básicamente las herramientas que el agente puede usar para buscar información. Así que vamos a hacer un viaje, un agente de planificación de viajes. Así que tengo estas funciones disponibles. El LLM puede que no esté entrenado con toda la lista de hoteles o eventos. Así que vamos a hacer algo para buscar esta información. Así que tengo estas funciones.

Una, recuperar información de eventos basada en la consulta, filtros de opción, o encontrar la API de hoteles. Así que estas son dos funciones que el agente tiene disponibles. Vamos a necesitar una misión. Así que aquí definimos cuál es la misión de este agente. ¿Cuál es el objetivo? Así que eres un asistente de planificación de viajes AI. Ayuda al usuario con su consulta de viaje. Así que esta es la misión que el agente necesita. Es muy importante definir eso.

A continuación, está el patrón React. Básicamente es el razonamiento. El modelo analiza la solicitud del usuario a través de la misión. Así que tengo una misión, pero también necesito que el modelo la analice. Tenemos la acción. ¿Cuál es el siguiente paso? El modelo llama a las funciones apropiadas si es necesario. Y luego ejecuta la función para obtener esos datos. Una vez que tengo eso, hago una observación, que es recopilar los datos de las llamadas a las funciones. Y luego finalmente, sintetizo en una respuesta con un contexto. Así que voy a depender de cuáles son los pasos que el agente necesita hacer. Y luego solo lo junto todo para dar una respuesta.

Veamos cómo funciona esto. Este es un planificador de viajes AI. Y estoy encontrando hoteles de Nueva York para el próximo mes. Así que esta es la información que tengo, pero también está pidiendo más contexto. ¿Cuáles son los días? ¿Cuál es el presupuesto? ¿Dónde te vas a quedar? ¿Cuáles son las prioridades? Así que esto definitivamente puede dar una respuesta más específica basada en las necesidades del usuario.

En este momento, ya se ha proporcionado información de los hoteles que está utilizando de la API de hoteles. Y también está pidiendo más información, para que pueda ir y buscar habitaciones disponibles según los huéspedes que se necesiten. Así es como funciona.

Tenemos estos patrones y tenemos estas necesidades para hacer que un agente funcione y cumpla la misión que tiene. Hay muchos casos de uso comunes, como mencionamos anteriormente. Y esta es una herramienta muy poderosa que también mejoraría nuestros LLMs.

Espero que encuentres esta charla increíble y que hayas aprendido mucho. Y por favor, conéctate conmigo si tienes alguna pregunta o si te gustaría preguntar más sobre ello. Estas demostraciones estarán disponibles con el código. Y sí. Muchas gracias por unirte.