Deja de Pagar por APIs de AI: npm Install para Inferencia en Proceso

Hola a todos. Bienvenidos a esta charla. Gracias por venir. Mi nombre es Ed Silva. Soy un colaborador principal de Node.js en las relaciones con desarrolladores, lo que significa que mi trabajo es conectar con la comunidad. Así que aquí están todos mis enlaces. Me gusta escribir código. Me gusta escribir sobre código. Así que revisen los artículos. Vengan a mi LinkedIn y saluden. Conectémonos en GitHub y en todos los lugares que pueden encontrar en mis beacons. Solo escanea el código cuadrado y llegarás allí.

Trabajo para esta empresa llamada CodeMirror4UQ. Somos una boutique de software. Estamos especializados en Node.js y JavaScript y también en frontend. Hacemos Ruby on Rails. Hacemos Golang. Y tenemos buenas iniciativas internamente, como el apoyo a la comunidad. Por eso hacemos open source, por ejemplo. Así que vengan a nuestro sitio web, échenle un vistazo. Y gracias a Codemining por hacer posible que esté aquí hablando en Node Congress. Estoy muy feliz por esta oportunidad.

Así que hoy vamos a hablar sobre IA. Sí, de nuevo, hablando sobre IA. Es 2026 y no podemos evitar hablar de ello. Es el tema más candente que tenemos hoy en día. Y nuestro viaje comienza en 2022, cuando Sam Altman hizo esto. Sam Altman acaba de publicar este tweet. Y había lanzado el chat GPT y fue increíble. La gente comenzó a experimentar con él y las empresas también comenzaron a experimentar.

Así que implementando cosas en sus productos y sus servicios. Querían hacer esto. Querían tener sus productos y decir, OK, mi producto es increíble porque está potenciado por IA. Y por supuesto, viste que eso sucedía, probablemente sucediendo en tu empresa. Y honestamente, no creo que estuvieran equivocados al hacer esto. Porque piénsalo. Era algo nuevo, algo que era impresionante. Y es muy normal hacer esto. Decir, OK, esto es algo que quiero comprobar. Quiero ver a dónde va, cómo puede ayudar a mi empresa, cómo puede ayudar a mi producto y mi servicio.

Así que, sí, eso es bueno. Pero ahora, cuatro años después, esto sigue sucediendo. La gente todavía está tratando de incorporar IA. Hoy en día, es mucho más poderosa de lo que era hace unos años. Y hemos tenido muchos estudios sobre esto que nos dicen cómo podemos aprovecharla cada vez más. Así que hoy en día, esto sigue sucediendo. Las empresas todavía están tratando de implementar esto. Y para nosotros los desarrolladores, significa que deberíamos adquirir esta habilidad para implementar cosas como esta. Características de IA o incluso un agente de IA completo.

Y cuando te preguntan sobre esto, digamos que tu jefe viene a ti y te pide que hagas... No sé, tienes un comercio electrónico y te piden que hagas un análisis de las reseñas y verifiques lo que la gente está pensando sobre tus productos o tus servicios. Y lo primero que te viene a la mente es, está bien, obtendré una clave API de uno de estos proveedores como Entropic o OpenAI o incluso Gemini de Google. Y comenzaré a llamar a sus APIs y estamos bien, estamos bien. Y esto funcionará, por supuesto. Pero no creo que realmente necesites esto, en realidad. Así que hay otras formas en que puedes hacer esto. Y en realidad, no creo que necesites un LLM. Así que para la mayoría de las tareas que estamos implementando hoy en día con LLMs, no necesitas un LLM completo para eso. Así que a veces solo quieres hacer este análisis de sentimiento, así que analiza estas reseñas de mi producto y ve lo que la gente está pensando al respecto o extrae alguna información que la gente está demandando para mi servicio. Así que LLM manejará esto, por supuesto, pero es como contratar a un chef para que te cocine un huevo.

Así que, quiero decir, funcionará, por supuesto. Pero puedes cocinar tu propio huevo, de eso estoy hablando. Así que aquí, hoy, quiero mostrarte cómo puedes cocinar tu propio huevo en Node.js, en proceso, cómo puedes manejar esta tarea que usualmente hacemos así, ¿sabes? Y para eso, necesitaremos la ayuda de Hug and Face. Hug and Face, por si no lo sabes, es esta comunidad.

Y en esta comunidad, tiene modelos, conjuntos de datos, todo alrededor de IA estará aquí. Así que si necesitas algún modelo para hacer algo, estará aquí. Si necesitas alguna documentación o algún artículo, encontrarás uno aquí, por supuesto. Así que la gente a menudo llama a esta comunidad el GitHub de las IAs. Así que encontrarás un montón de cosas aquí.

Así que, por ejemplo, puedes ver aquí mismo, por ejemplo, que los modelos QUAN están disponibles aquí. Estos son nuevos modelos. Acaban de ser lanzados y ya están aquí. Cuando estos proveedores están lanzando modelos, simplemente los publican en Hug and Face y luego te permiten acceder y la gente obtiene esos modelos y hace diferentes cosas con ellos. Así que es realmente asombroso ver lo que la comunidad está construyendo aquí.

Y una cosa más que está presente en esta comunidad es esta biblioteca aquí llamada Hug and Face Transformers. Y Hug and Face Transformers simplemente te permite hacer la inferencia local de modelos. Eso es lo que hace. Es asombroso. Y por inferencia, me refiero a la ejecución del modelo. Así que un modelo es básicamente un montón de parámetros o pesos que fueron entrenados en una arquitectura. Así que para que yo reproduzca esto, para que realice la predicción que ese modelo hace, necesito eso. Necesito los pesos que fueron entrenados. Así que las configuraciones, pasaré por la misma arquitectura con una entrada y me producirá una salida. Así que eso es lo que sucede en todos los modelos que estamos usando hoy en día. Algunos de ellos son más complejos. Algunos de ellos son más simples. Pero eso es lo que sucede. Nada más. Así que Transformers nos permite hacer esto. Simplemente construyeron una abstracción que nos permite ejecutar un montón de modelos que existen por ahí.

Así que, por ejemplo, este es DeepSeq3. Y puedes usar DeepSeq3 y muchos otros modelos en Hug and Face Transformers. Y como puedes ver a la izquierda, aquí tenemos una implementación. Así que esta es la implementación de la arquitectura. La parte que necesita código. Y a la derecha aquí, tenemos los pesos, los parámetros. Así que Hug and Face Transformers toma ambos, los une y te da una interfaz que será muy simple. Y estarás usando, ya sabes, para resolver tus problemas localmente. Eso es todo. Pero por supuesto, esto es Python y no estamos aquí en el Congreso de Python, sino en el Congreso de Node. Así que necesitamos algo diferente para hacer nuestras cosas.

Y está esto, Hug and Face Transformers JS. Y Hug and Face Transformers JS se supone que es Hug and Face Transformers, pero en el navegador. Y esto es de la documentación y dice navegador porque Hug and Face Transformers JS fue construido principalmente para los navegadores.

Así que esa era la idea. Pero hoy en día, puedes usarlo con tu aplicación Node.js muy fácilmente. OK. Y como en Hug and Face Transformers, Transformers JS no solo tiene NLP, así que no solo clasificaciones de texto o respuestas a preguntas sobre un documento o algo así. Tiene mucho más. Tiene visión por computadora. Tiene audio. Así que muchas de las tareas que estamos usando LLMs para resolver. OK, así que los Transformers te ayudarán a resolver porque a veces puedes obtener un modelo específico que funciona mucho mejor que un modelo más general. OK, así que esto es Transformers JS. De eso hablaremos hoy. Cómo puedes integrar eso en tu aplicación Node y cómo realizar tu inferencia local sin ningún servicio externo o incluso si estás evitando incluso llamadas de red.

Los Hug and Face Transformers JS funcionan un poco diferente si se comparan con el original. En lugar de implementar las arquitecturas, tienen este formato aquí. Ese es el O-N-N-X. Así que básicamente proporciona un modelo, lo convierte a este formato, y podrá integrarse en Transformers JS. Así que si quieres ejecutar un modelo en Transformers JS pero aún no está disponible, eso es lo que necesitas hacer. Necesitas encontrar formas de convertir ese modelo de la arquitectura que tiene al O-N-N-X y funcionará de maravilla.

OK, ahora que sabes qué es, vamos a algunas demostraciones aquí y te mostraré cómo funciona y cómo puede ayudarte con problemas reales. Espero que puedas ver lo increíble que es y cómo puede resolver muchos problemas que podrías tener. Así que comencemos. Lo primero que debes saber para que Transformers funcione es instalar la dependencia. Esta es la dependencia que instalamos en tu aplicación y listo. Puedes empezar. Y una vez que lo tienes en tu aplicación, es muy, muy simple hacer que las cosas funcionen. Todo lo que necesitas es un pipeline para importar esta función y luego el pipeline tomará estos dos parámetros. El primero es obligatorio. Es un nombre de tarea. El segundo es opcional. El segundo es el modelo, pero el modelo, cada tarea tendrá un modelo predeterminado.

Así que si no proporcionas un modelo, necesitas descargar y usar uno por defecto. Así que puedes simplemente usar la tarea. Así que aquí están las tareas que están disponibles. Por supuesto, no pude mostrar todas. Puedes ir directamente a la documentación de Transformers.js y ver todas. Para NLP, para visión por computadora, etcétera. Hay muchas cosas que puedes hacer con eso.

Para el primer ejemplo, hagamos eso que discutimos con las reseñas de productos y veamos cómo va, cómo obtiene información sobre el producto. Así que veamos qué piensan las personas sobre mi producto. Es un desafío muy común. Cómo puedes hacer eso es con Transformers.js. Así. Esto es bastante simple. Una vez que obtienes un pipeline y configuras el nombre de la tarea análisis de sentimiento, y luego obtienes una función para ti que actuará como un clasificador.

Paso un texto a este clasificador y ejecutará y me dará información. Por supuesto, no te mostraré esto en ejecución, pero hice algo diferente aquí. Déjame ir al terminal aquí rápidamente. Y entonces podrás ver eso. Espero que puedas ver eso. Aquí tengo las demos aquí. La primera demo es esta, el análisis de sentimiento. Tengo oraciones y todo está configurado ya. Y como puedes ver, estoy configurando un modelo aquí. Obtuve este modelo porque es un poco diferente de lo que está en las diapositivas, y quiero mostrar algo muy, muy genial aquí.

Así que si ejecuto la demo uno, se ejecutará. Oh, déjame solo quitar algo. Déjame hacer algo de codificación en vivo aquí. Oh, no este, pero quita este console log aquí para que esté más limpio. Si ejecuto esta demo aquí, puedes ver que trae estrellas. Así que este modelo es diferente del predeterminado. Básicamente obtendrá más de dos clasificaciones porque el predeterminado hace estas dos clasificaciones. Esto es positivo o negativo. Este es más granular y es genial para muchas tareas.

Por ejemplo, aquí hay una de cuatro estrellas, así que dice que a esta persona le gustó el producto, pero dice que es un poco caro. No es realmente una sección. Así que esto es lo que el modelo piensa al respecto, y así de preciso es al respecto. Muy genial. Es un desafío muy, muy interesante de hacer. Y nota que cada modelo producirá un resultado diferente. Así que al ejecutar esto, entiende el modelo que estás usando.

Bien, la ejecución de este código, sucede de esta manera. Cuando llamo a esta función aquí, por primera vez, obtendrá este modelo descargado en algún lugar. En este caso, lo pondrá en el módulo HuggingFace dentro de Node modules, pero puedes sobrescribir esta configuración. Y luego la ejecución será local. Así que puedes apagar la red y seguirá funcionando como se espera. Y luego, cuando ejecutes eso, obtendrá todo hasta tu CPU, a tu GPU, y hará que las cosas funcionen. ¿De acuerdo? Así que esta es nuestra primera demo. Espero que te haya gustado. Volvamos a nuestras diapositivas aquí.

Bien, este es muy interesante también, porque involucra algo que la gente está haciendo mucho con LLVM. Y se llama LLVM-Cube. Así que aquí voy a mostrarte un poco del código. Así que este es el código. Así que este es el código que vamos a estar usando. Involucra algo que la gente está haciendo mucho con LLVM hoy en día. Que involucra un RAG. La gente usualmente está haciendo cosas de embedding. Y obtienen un montón de documentos. Hacen embeddings que básicamente los convierten en vectores, en un espacio vectorial. Y los guardan en una base de datos externa, una base de datos vectorial, para que puedan consultarla. Pero es una consulta semántica. No es solo por términos o algo así. Es una consulta mucho más inteligente. ¿De acuerdo? Así que esta es la idea.

Y esta demo aquí que tengo para esto también es bastante interesante, porque no solo estoy haciendo este tipo de cosas como consultar por términos. Es un poco diferente. Así que, por ejemplo, tengo estos cinco documentos aquí. Ya fueron vectorizados, así que en realidad tengo diez documentos. Y luego, cuando consulto por algo, obtendrá un resultado semántico. Así que, por ejemplo, ¿cómo maneja Node.js la concurrencia con un solo hilo? Bien. Node.js es un bucle de eventos para manejar cuál es el documento principal para esto. Y tengo estos otros. Así que, como puedes ver, está funcionando bien. Aquí tenemos una distribución más normal aquí. Aquí también es bastante interesante. Obtuvo una buena coincidencia. Así que esto, todo aquí se hace con Transform.js. ¿De acuerdo? Todo el embedding, toda la consulta. Así que todo el código está aquí, y podremos encontrar este código en mi GitHub.

Compartiré el enlace al final de la presentación. Pero es genial ver que funciona de maravilla. Y si solo quieres incrustar algo, puedes simplemente hacer esto. ¿Sabes? Obtienes un pipeline, extracción de características, obtienes un texto, lo incrustas, y YouTube te produce este array. Que será un array que representa ese contenido de texto, ese documento, en ese espacio vectorial.

¿De acuerdo? Y nuestro tercer desafío aquí es muy interesante. Porque, quiero decir, he estado diciendo que no necesitas un LLM, pero a veces necesitas un LLM. A veces necesitas producir texto, y los LLM son geniales para esto porque son predictores del siguiente token. Así que incluso cuando necesitas texto, tal vez necesites un LLM, pero probablemente no necesites llamar a una API. Dependiendo de tu desafío, puedes hacer esto fácilmente en tu aplicación de Node.

js o incluso en tu navegador. ¿De acuerdo? Así que para esto, es muy simple también. Así que en el pipeline, obtén el nombre de la tarea, prueba la generación de texto, dale un modelo. En este caso, estoy usando el modelo LLMA hecho por Meta. Así que este es el mismo modelo hecho por Meta, pero solo convertido a O y NX como discutimos. Luego le doy un streamer. Producirá texto, y el streamer recibirá cada token, y luego simplemente lo imprimirá en la salida estándar. La ejecución de esto sería como esta. Así que es la demo tres. Si cargas el modelo LLMA de la misma manera que hicimos con los otros, y como puedes ver en esta animación, estoy apagando la conexión. Necesita funcionar. ¿De acuerdo? Así que esto es lo básico que haces al llamar a APIs externas. Así que el historial del chat, puedes hacerlo con modelos locales también. Bien, así que en este caso, esto es lo que está sucediendo. Y este es el modelo. Puedes ver que es hugging face, por supuesto, y como puedes ver, es básicamente el Meta LLMA, los modelos muy famosos de Meta, convertidos a O y NX.

¿De acuerdo? Y por supuesto, esto es genial, pero hay algunas compensaciones de las que deberías ser consciente. En primer lugar, está esta. Así que se necesita algo de uso de disco para descargar el modelo. Así que necesitamos alojar esto. Y la forma en que implementamos esto en estas demostraciones, por supuesto, no es óptima porque cuando el modelo se está ejecutando, el hilo principal está bloqueado. Así que necesitarás aislar eso, no sé, usando un hilo de trabajo o algo así, para que puedas atender más solicitudes mientras está funcionando. Y por supuesto, la primera carga toma algo de tiempo, así que estas son cosas de las que deberías ser consciente, ¿de acuerdo?

Pero para muchas aplicaciones que se ejecutan localmente, estos modelos, esta inferencia local, puede ser muy, muy útil, y es bastante simple de hacer. Como vimos, solo instalamos la dependencia, y funciona de maravilla. ¿De acuerdo? Todas las demostraciones aquí y todo lo que te mostré aquí, estaba funcionando en CPU, pero sabemos que esto no es ideal. Queremos aprovechar la GPU porque tienen mejores capacidades para manejar los modelos, especialmente modelos que involucran NLP.

De hecho, muchos, muchos modelos de redes neuronales aprovechan la GPU, así que queremos usar eso también, y puedes, de hecho. Así que el transformer.js ya funciona bien con la API WebGPU, así que si estás ejecutando un navegador, solo configura el dispositivo a WebGPU y esto va a funcionar. Y si estás trabajando en Node.js, esto va a funcionar, pero aún es inestable, así que necesitas instalar los transformers para Next, y luego obtienes esta capacidad, como las características de vista previa de esto, y luego podrás ejecutar en GPU. Así que, por ejemplo, si hice esa misma tarea de generación de texto, puedo hacer que se ejecute en GPU. La ejecución se verá igual, pero ahora necesitamos ejecutar en un chip diferente, así que será mucho mejor para ello. Así que, como puedes ver aquí en la demostración, a la izquierda tengo la ejecución del LLM, y a la derecha tengo el historial de GPU que muestra cómo está creciendo.

Así que puedes hacer eso bastante fácilmente en tu código si obtienes la vista previa. Así que si voy aquí, oh, déjame... Me equivoqué con algo aquí. Está bien. Si voy aquí en mi terminal, y ejecuto esto, y te muestro este código aquí... Bien, algo malo está sucediendo aquí. ¿No puedo ejecutar en mi terminal o algo? Bien, ahora puedo. Si vamos aquí a la demo tres... En realidad, demo cuatro, porque cambié. Tendrá el dispositivo aquí, y el dispositivo, justo así, ¿de acuerdo? Si es GPU, simplemente pasemos este WebGPU y esto va a funcionar, incluso en Node.js. Solo asegúrate de que para esta característica específicamente, estás usando esta versión y obtienes eso funcionando en tu aplicación Node.js, ¿de acuerdo? Así que volvamos a las diapositivas.

Bien, volvamos a las diapositivas. Bien. Sí, lo hicimos, de acuerdo. Así que la pregunta podría surgir, y ya lo discutimos un poco. Entonces, ¿deberías siempre ir localmente? Depende mucho de tu aplicación, de lo que quieres hacer. Así que digamos que estás haciendo un CLI que debería ejecutarse localmente y hacer análisis sobre un montón de reseñas. ¿Por qué no? Pero por supuesto, si necesitas algo que sea masivo y quieres servir muchas, muchas solicitudes y no puedes manejar esto, no tienes hardware para esto, por supuesto no hay nada que puedas hacer al respecto. Y tienes que usar un servicio externo como todos los demás.

Esto es más sobre posibilidades. No se trata de reemplazar. Esto no está destinado a reemplazar lo que la gente hace con estos modelos de proveedores como Entropic y Chattopadhyay. Es más sobre posibilidades. A veces tienes un buen modelo que hace algo muy, muy útil para ti, muy específico, y viste eso en el Hugging Face, escuchaste sobre ello, y quieres ver eso en acción, puedes ir y hacer esto. Así que esto es más sobre posibilidades y experimentación también. Y por supuesto, esto puede resolver problemas reales y la gente lo está usando para resolver problemas reales, por supuesto.