IA a demanda: IA sin servidor

Rate this content
Bookmark

En esta masterclass, discutimos los méritos de la arquitectura sin servidor y cómo se puede aplicar al espacio de la IA. Exploraremos opciones para construir aplicaciones RAG sin servidor para un enfoque más lambda-esque a la IA. A continuación, nos pondremos manos a la obra y construiremos una aplicación CRUD de muestra que te permite almacenar información y consultarla utilizando un LLM con Workers AI, Vectorize, D1 y Cloudflare Workers.

This workshop has been presented at DevOps.js Conf 2024, check out the latest edition of this JavaScript Conference.

Nathan Disidore
Nathan Disidore
163 min
14 Feb, 2024

Comments

Sign in or register to post your comment.
  • Volodymyr Huzar
    Volodymyr Huzar
    Maersk
    It was nice workshop but it's sad that it cannot be reproducible without a special Cloudflare account which was available only during an online session

Video Summary and Transcription

La masterclass explora la intersección de sin servidor e IA, discutiendo los conceptos básicos, beneficios, escalabilidad y desafíos de sin servidor. También se adentra en los componentes de la arquitectura de IA, bases de datos vectoriales y el uso del contexto en las consultas. La masterclass demuestra el proceso de construcción utilizando HonoJS y Linkchain, configurando Cloudflare Workers y Wrangler, y cargando datos en una base de datos vectorial. También cubre la creación de un chatbot con Cloudflare Workers AI y el uso de tokens de API y variables de entorno. La masterclass concluye con información sobre precios y recomendaciones para preguntas adicionales.
Available in English: AI on Demand: Serverless AI

1. Introducción a Serverless y AI

Short description:

¡Bienvenidos a la masterclass! Soy Nathan Visidor de CloudFlare, y hoy exploraremos la intersección de serverless y AI. Cubriremos los conceptos básicos de serverless y AI, discutiremos cómo pueden trabajar juntos y realizaremos un ejercicio práctico. La masterclass está programada para durar tres horas, y tomaremos descansos. Para participar, necesitarás una gorra de pensar, un editor para codificar en JavaScript, Node instalado y una cuenta gratuita de CloudFlare. Rellena el formulario que proporciono para acceder a la cuenta compartida. ¡Empecemos!

Bienvenidos, bienvenidos a todos. Y gracias por uniros a nosotros. Y en caso de que nadie os lo haya dicho todavía, feliz día de San Valentín, si eso es lo que celebráis, y celebradlo dondequiera que estéis. Estamos encantados de teneros hoy, y vamos a divertirnos un poco con el tema del día de San Valentín. Podemos ver incluso desde el principio, nuestro pequeño amigo robot nos está dando un poco de amor de entrada. Así que sí, de nuevo, gracias por uniros. Si estás buscando la masterclass o el curso sobre AI bajo demanda, entonces estás en el lugar correcto. Y vamos a empezar esta fiesta. Una pequeña introducción sobre quién soy y qué hago y por qué deberías prestar atención a lo que digo en primer lugar. Mi nombre es Nathan Visidor. Soy uno de los ingenieros aquí en CloudFlare, que trabaja en nuestro espacio de AI, de hecho. Estoy trabajando en la base de datos vectorial DB que tenemos. Y si no sabes qué es eso, entraremos en detalles de qué es eso en unos pocos minutos. Pero sí, he estado en CloudFlare durante un poco más de cuatro años ahora. He desempeñado una variedad de roles en la empresa, trabajando, de nuevo, más recientemente en AI, pero en nuestras ofertas de serverless antes de eso, y antes de eso, en un rol más tradicional de back-end donde estamos lidiando con cosas como clusters de Kafka, que procesan, ya sabes, un par de terabytes, un par de billones y valen, billones de mensajes cada día, servicios de notificación de alertas, ese tipo de cosas internas de tooling. Estamos encantados de teneros. Y sí, hablemos un poco sobre qué esperar aquí para empezar. Vamos a establecer el escenario o daros el programa básico, por así decirlo. Así que, esto es, básicamente lo que vamos a hacer para empezar es repasar algunas diapositivas. Definitivamente quiero que esto sea interactivo. Y de nuevo, entraremos en eso en un minuto. No quiero estar hablando a vosotros. Haremos esto más un diálogo. Pero sí, repasaremos algunos conceptos básicos para establecer el escenario para lo que vamos a hacer, ya sabes, en la parte más práctica de todo esto. Y una vez que hayamos hecho eso, entraremos en la parte práctica de esto. Y todos podréis construir algo por vuestra cuenta para probar estas cosas en el mundo real. Aquí está cómo se ve nuestra agenda. Ya sabes, los puntos que vamos a tocar son primero vamos a hablar de qué es serverless. Hay bastantes de vosotros probablemente ya familiarizados con los conceptos allí. Pero sólo un pequeño repaso para las personas que no están tan familiarizadas o que nunca lo han usado antes por sí mismas. Hablaremos sobre AI, que imagino que un poco más de gente no está familiarizada con. Pero sí, saltando eso haremos un pequeño pulso aquí en un segundo para ver cómo se ve eso. Y luego veremos cómo se ve para unir esos conceptos en cómo serverless y AI pueden trabajar juntos. Y no es fácil hacer que eso suceda. Pero creo que al final de esto discutiremos qué... Oh, hola, Christina espectadores de todo el mundo aquí. Sí, hablaremos de cómo, ya sabes, somos capaces de unir estos dos conceptos en algo que funciona juntos. Y luego nos pondremos manos a la obra y realmente nos pondremos manos a la obra. Así que, espero que hoy, la conclusión será de nuevo, uno, si no has aprendido sobre cuáles son los bloques de construcción de una aplicación de AI architecture, te llevarás eso. Pero más importante, para ya sabes, la esencia de esta charla es que, ya sabes, cómo vamos a ser capaces de aplicar algunos de los conceptos de serverless a la tradicional AI architecture, y la búsqueda semántica, y serverless específicamente. Así que de nuevo, si no estás familiarizado con la búsqueda semántica, lo cubriremos en la sección de AI de nuestros repasos aquí. Pero esto es lo que espero que te lleves de lo que vamos a hablar aquí, las próximas tres horas. Y sí, tal vez eso es algo bueno para señalar. Así que es un buen punto de partida, donde esta masterclass está programada para durar tres horas. Eso es mucho tiempo, vamos a estar aquí durante bastante tiempo. Así que, ya sabes, definitivamente por tu bien y por el mío, definitivamente voy a ser consciente del tiempo. Y, ya sabes, tenemos un par de descansos incorporados para asegurarnos de que somos capaces de estirarnos y usar las instalaciones y tal vez conseguir aperitivos o algo así. Porque, ya sabes, definitivamente queremos mantenernos hidratados y, ya sabes, mantenernos sanos y alimentados y todo eso también. Aquí hay algunas cosas que vamos a necesitar para hacer que esta masterclass sea un éxito. Definitivamente queremos que tengas tu gorra de pensar puesta para que puedas estar en una actitud y espíritu de aprendizaje para recoger lo que estamos lanzando. Y para la parte en vivo, definitivamente vamos a querer algún editor que seamos capaces de usar para hacer la parte de codificación en vivo de esto. Vamos a estar codificando en JavaScript. Si no lo entiendes completamente, estos conceptos no son exclusivos de JavaScript en absoluto. Es sólo lo que hace las cosas un poco más fáciles. Y sí, también necesitaremos una cuenta de CloudFlare lo siento, necesitaremos Node instalado porque vamos a estar codificando en JavaScript y una cuenta de CloudFlare. Veo una pregunta, ¿qué tipo de cuenta necesitamos? Es una gran pregunta. Todo lo que necesitas es una cuenta de nivel gratuito. Y hay un formulario que te voy a dar en un segundo también. Eso me dará la información que necesito para añadirte a una necesitamos algunos privilegios especiales para hacer que esto funcione. Así que si vas aquí y rellenas esto configura una cuenta y rellena este formulario de Google con la dirección de correo electrónico que utilizaste para configurar la cuenta, entonces puedo añadirte a una cuenta compartida que todos vamos a usar para este ejercicio y tendrás los privilegios que necesitas para hacer que esto funcione. Déjame copiar y pegar eso en el chat también porque eso probablemente será más fácil para todos seguir. Pero el código QR code está ahí si puedes escanear eso también. Puedes trabajar en eso en segundo plano. No tiene que suceder ahora mismo. Tenemos un poco de tiempo para cubrir bastante antes de llegar allí. Pero si puedes tener todas estas cosas listas para cuando lleguemos a la parte interactiva, realmente ayudará a acelerar las cosas aquí. Y me doy cuenta de que envié eso como un mensaje directo.

2. Entendiendo Serverless y sus Beneficios

Short description:

Comencemos con una encuesta para entender el trasfondo de todos. Parece que la mayoría de las personas se sienten cómodas con JavaScript, lo cual es genial para lo que estamos haciendo. No muchos están usando Serverless actualmente, pero eso es de esperar. Las personas son positivas hacia la IA. Ahora, profundicemos en Serverless. Es un término controvertido, pero desde la perspectiva del cliente, se refiere a implementaciones sin infraestructura que están altamente distribuidas. A menudo se basa en microservicios y función como servicio. Los beneficios incluyen facilidad de implementación y escalabilidad. AWS Lambda es una plataforma serverless popular.

Permíteme intentarlo de nuevo. Ahí vamos. Excelente. Genial. Así que comencemos aquí. Y de nuevo, quiero animarte. Esto es, de nuevo, una masterclass de tres horas. Así que eres 100% bienvenido a hacer preguntas. No estoy tan familiarizado con Zoom, pero supongo que es como un levantar la mano o algo así. Quiero hacer esto interactivo. Estamos teniendo un diálogo aquí. Y tal vez eso sea una buena transición para iniciar una rápida encuesta. Me gustaría saber un poco sobre los antecedentes de todos aquí. Así que estoy lanzando una encuesta. No estoy exactamente seguro de cómo esto aparece en su lado, pero deberían poder ver algunas preguntas que simplemente dan una sensación general de cuál es su brecha de conocimiento actual. Veamos. Veremos dónde se sitúan las personas aquí. Muy bien. Veamos qué tenían que decir las personas. Vaya, tuvimos suerte. Muchas personas se sienten cómodas con JavaScript aquí. Así que eso es excelente para lo que estamos tratando de hacer. De nuevo, nada aquí es exclusivo de JavaScript. Es simplemente la pila con la que vamos a trabajar hoy. Lo bueno de incluso algunos de las APIs que estamos usando es que son bastante agnósticas al lenguaje, especialmente en el espacio de la AI. Python parece ser uno de los standards de facto al menos para prototipos y cosas así. Así que definitivamente hay opciones allí. Pero parece que todos están bastante cómodos con JavaScript. Me encanta ver eso. Sí, esto va a ser lo interesante, creo, porque me doy cuenta de que esta es la conferencia de DevOps, y Serverless está tratando de abstraer mucho de ese aspecto operativo, pero no de una mala manera en absoluto. Así que parece que la mayoría de las personas no están actualmente usando Serverless. Y eso es honestamente lo que esperaba, especialmente en esta conferencia. No soy un defensor de una forma u otra, pero sí, sí, es la herramienta correcta para el trabajo correcto. Una de esas situaciones. Las personas son bastante positivas hacia la AI. No te culparía en absoluto si no lo fueras. Siempre hay, definitivamente hay conversaciones que tener en ambos lados allí. Pero hay, de nuevo, tiempo y lugar, y vale la pena. Esta es una conferencia de AI, o masterclass de AI. Así que supuse que la gente sería un poco más positiva hacia ella. Pero pero no voy a abogar de una forma u otra, os dejaré hacer eso a vosotros mismos. Y creo que eso está bien para mí. Lo daremos por bueno. Esto es un Sí, esto es eso es un buen, un buen ahora sabemos cuál es la común comunalidad y qué son los antecedentes de las personas. Es establecerá un poco el escenario para a dónde vamos a llegar aquí. Vamos a entrar en Serverless. Así que sí, eso sería increíble. ¿Qué es Serverless? Y resulta que esto es bastante controvertido. Para llegar a una definición aquí. Pregunté a un par de compañeros de trabajo, les mostré estas diapositivas, y ellos tenían sus propias opiniones. Y supongo que también depende un poco, ya sabes, si estás mirando desde el punto de vista de la plataforma o del cliente. Pero al menos en mis ojos, esta definición parece encajar, donde básicamente, ya sabes, implementaciones sin infraestructura de cualquier aplicación que estás tratando de sacar casi siempre de una manera altamente distribuida. Puse infraestructura en un asterisco y le di el viejo. Dale el viejo Oh, seguro, lo que tú digas sobre un regalo aquí de Jennifer Lawrence, porque, ya sabes, sin infraestructura, es...es una mentira. Siempre es la computadora de otra persona al final del día en la que estás ejecutando. Pero es sin infraestructura desde el punto de vista del cliente. Casi siempre es algún micro o micro tiempo de ejecución que vive en una plataforma como servicio. Eso también se ejecuta en cualquier red que esa plataforma posee. Destaqué el micro aquí, especialmente porque uno porque es divertido decir tiempo de ejecución suena como suena digno de mención. Pero muchas veces estás ejecutando microservices en estos despliegues de serverless. Así que realmente estás haciendo función como servicio es lo más a menudo lo que estás haciendo más a menudo allí. Cuando estás apuntando a un estilo de despliegue serverless allí. ¿Por qué querrías hacer algo así? Esa es una buena pregunta. Especialmente la parte abstraída. Bueno, creo que uno de los beneficios definitivos es la facilidad de despliegue. Podemos darle un diagrama de lo que se ve un despliegue tradicional especialmente de AI un poco. Y veremos que es bastante complicado. serverless en general elimina gran parte de la carga cognitiva allí, simplemente haciéndolo normalmente como una operación de una línea para hacer un comando de terminal de despliegue y sacar las cosas. La scalability está integrada en la definición de serverless, ya sabes, especialmente la parte de la red distribuida. Sí, realmente te aseguras de que lo siento, realmente maltrato los nombres aquí. patrón nueva función como servicio de tierra esto es exactamente eso. Sí. AWS Lambda es una muy popular plataforma serverless para ejecutar en la parte superior, pero la función como servicio es definitivamente lo que estás

Watch more workshops on topic

Aprovechando LLMs para Construir Experiencias de IA Intuitivas con JavaScript
JSNation 2024JSNation 2024
108 min
Aprovechando LLMs para Construir Experiencias de IA Intuitivas con JavaScript
Featured Workshop
Roy Derks
Shivay Lamba
2 authors
Hoy en día, todos los desarrolladores están utilizando LLMs en diferentes formas y variantes, desde ChatGPT hasta asistentes de código como GitHub CoPilot. Siguiendo esto, muchos productos han introducido capacidades de IA integradas, y en este masterclass haremos que los LLMs sean comprensibles para los desarrolladores web. Y nos adentraremos en la codificación de tu propia aplicación impulsada por IA. No se necesita experiencia previa en trabajar con LLMs o aprendizaje automático. En su lugar, utilizaremos tecnologías web como JavaScript, React que ya conoces y amas, al mismo tiempo que aprendemos sobre algunas nuevas bibliotecas como OpenAI, Transformers.js
Masterclass: Qué son y cómo aprovechar los LLMs
React Summit 2024React Summit 2024
66 min
Masterclass: Qué son y cómo aprovechar los LLMs
Featured Workshop
Nathan Marrs
Haris Rozajac
2 authors
Únete a Nathan en esta sesión práctica donde primero aprenderás a alto nivel qué son los modelos de lenguaje grandes (LLMs) y cómo funcionan. Luego sumérgete en un ejercicio de codificación interactivo donde implementarás la funcionalidad de LLM en una aplicación de ejemplo básica. Durante este ejercicio, adquirirás habilidades clave para trabajar con LLMs en tus propias aplicaciones, como la ingeniería de indicaciones y la exposición a la API de OpenAI.
Después de esta sesión, tendrás una idea de qué son los LLMs y cómo se pueden utilizar prácticamente para mejorar tus propias aplicaciones.
Tabla de contenidos:- Demostración interactiva de la implementación de funciones básicas impulsadas por LLM en una aplicación de demostración- Discutir cómo decidir dónde aprovechar los LLMs en un producto- Lecciones aprendidas sobre la integración con OpenAI / descripción general de la API de OpenAI- Mejores prácticas para la ingeniería de indicaciones- Desafíos comunes específicos de React (gestión de estado :D / buenas prácticas de UX)
Trabajando con OpenAI y la Ingeniería de Prompts para Desarrolladores de React
React Advanced Conference 2023React Advanced Conference 2023
98 min
Trabajando con OpenAI y la Ingeniería de Prompts para Desarrolladores de React
Top Content
Workshop
Richard Moss
Richard Moss
En esta masterclass daremos un recorrido por la IA aplicada desde la perspectiva de los desarrolladores de front end, enfocándonos en las mejores prácticas emergentes cuando se trata de trabajar con LLMs para construir grandes productos. Esta masterclass se basa en los aprendizajes obtenidos al trabajar con la API de OpenAI desde su debut en noviembre pasado para construir un MVP funcional que se convirtió en PowerModeAI (una herramienta de creación de ideas y presentaciones orientada al cliente).
En la masterclass habrá una mezcla de presentación y ejercicios prácticos para cubrir temas que incluyen:
- Fundamentos de GPT- Trampas de los LLMs- Mejores prácticas y técnicas de ingeniería de prompts- Uso efectivo del playground- Instalación y configuración del SDK de OpenAI- Enfoques para trabajar con la API y la gestión de prompts- Implementación de la API para construir una aplicación orientada al cliente potenciada por IA- Ajuste fino y embeddings- Mejores prácticas emergentes en LLMOps
Construyendo Aplicaciones AI para la Web
React Day Berlin 2023React Day Berlin 2023
98 min
Construyendo Aplicaciones AI para la Web
Workshop
Roy Derks
Roy Derks
Hoy en día, cada desarrollador está utilizando LLMs en diferentes formas y figuras. Muchos productos han introducido capacidades AI incorporadas, y en esta masterclass aprenderás cómo construir tu propia aplicación AI. No se necesita experiencia en la construcción de LLMs o en el aprendizaje automático. En cambio, utilizaremos tecnologías web como JavaScript, React y GraphQL que ya conoces y amas.
Construyendo tu Aplicación de IA Generativa
React Summit 2024React Summit 2024
82 min
Construyendo tu Aplicación de IA Generativa
WorkshopFree
Dieter Flick
Dieter Flick
La IA generativa está emocionando a los entusiastas de la tecnología y a las empresas con su vasto potencial. En esta sesión, presentaremos Retrieval Augmented Generation (RAG), un marco que proporciona contexto a los Modelos de Lenguaje Grande (LLMs) sin necesidad de volver a entrenarlos. Te guiaremos paso a paso en la construcción de tu propia aplicación RAG, culminando en un chatbot completamente funcional.
Conceptos Clave: IA Generativa, Retrieval Augmented Generation
Tecnologías: OpenAI, LangChain, AstraDB Vector Store, Streamlit, Langflow
Masterclass de alto rendimiento Next.js
React Summit 2022React Summit 2022
50 min
Masterclass de alto rendimiento Next.js
Workshop
Michele Riva
Michele Riva
Next.js es un marco convincente que facilita muchas tareas al proporcionar muchas soluciones listas para usar. Pero tan pronto como nuestra aplicación necesita escalar, es esencial mantener un alto rendimiento sin comprometer el mantenimiento y los costos del servidor. En este masterclass, veremos cómo analizar el rendimiento de Next.js, el uso de recursos, cómo escalarlo y cómo tomar las decisiones correctas al escribir la arquitectura de la aplicación.

Check out more articles and videos

We constantly think of articles and videos that might spark Git people interest / skill us up or help building a stellar career

Escalando con Remix y Micro Frontends
Remix Conf Europe 2022Remix Conf Europe 2022
23 min
Escalando con Remix y Micro Frontends
Top Content
This talk discusses the usage of Microfrontends in Remix and introduces the Tiny Frontend library. Kazoo, a used car buying platform, follows a domain-driven design approach and encountered issues with granular slicing. Tiny Frontend aims to solve the slicing problem and promotes type safety and compatibility of shared dependencies. The speaker demonstrates how Tiny Frontend works with server-side rendering and how Remix can consume and update components without redeploying the app. The talk also explores the usage of micro frontends and the future support for Webpack Module Federation in Remix.
Componentes de Full Stack
Remix Conf Europe 2022Remix Conf Europe 2022
37 min
Componentes de Full Stack
Top Content
RemixConf EU discussed full stack components and their benefits, such as marrying the backend and UI in the same file. The talk demonstrated the implementation of a combo box with search functionality using Remix and the Downshift library. It also highlighted the ease of creating resource routes in Remix and the importance of code organization and maintainability in full stack components. The speaker expressed gratitude towards the audience and discussed the future of Remix, including its acquisition by Shopify and the potential for collaboration with Hydrogen.
Entendiendo la Arquitectura Fiber de React
React Advanced Conference 2022React Advanced Conference 2022
29 min
Entendiendo la Arquitectura Fiber de React
Top Content
This Talk explores React's internal jargon, specifically fiber, which is an internal unit of work for rendering and committing. Fibers facilitate efficient updates to elements and play a crucial role in the reconciliation process. The work loop, complete work, and commit phase are essential steps in the rendering process. Understanding React's internals can help with optimizing code and pull request reviews. React 18 introduces the work loop sync and async functions for concurrent features and prioritization. Fiber brings benefits like async rendering and the ability to discard work-in-progress trees, improving user experience.
Construyendo un Asistente AI Activado por Voz con Javascript
JSNation 2023JSNation 2023
21 min
Construyendo un Asistente AI Activado por Voz con Javascript
Top Content
This Talk discusses building a voice-activated AI assistant using web APIs and JavaScript. It covers using the Web Speech API for speech recognition and the speech synthesis API for text to speech. The speaker demonstrates how to communicate with the Open AI API and handle the response. The Talk also explores enabling speech recognition and addressing the user. The speaker concludes by mentioning the possibility of creating a product out of the project and using Tauri for native desktop-like experiences.
IA y Desarrollo Web: ¿Exageración o Realidad?
JSNation 2023JSNation 2023
24 min
IA y Desarrollo Web: ¿Exageración o Realidad?
Top Content
This talk explores the use of AI in web development, including tools like GitHub Copilot and Fig for CLI commands. AI can generate boilerplate code, provide context-aware solutions, and generate dummy data. It can also assist with CSS selectors and regexes, and be integrated into applications. AI is used to enhance the podcast experience by transcribing episodes and providing JSON data. The talk also discusses formatting AI output, crafting requests, and analyzing embeddings for similarity.
El Ascenso del Ingeniero de IA
React Summit US 2023React Summit US 2023
30 min
El Ascenso del Ingeniero de IA
The rise of AI engineers is driven by the demand for AI and the emergence of ML research and engineering organizations. Start-ups are leveraging AI through APIs, resulting in a time-to-market advantage. The future of AI engineering holds promising results, with a focus on AI UX and the role of AI agents. Equity in AI and the central problems of AI engineering require collective efforts to address. The day-to-day life of an AI engineer involves working on products or infrastructure and dealing with specialties and tools specific to the field.