Herramientas para una mejor Observabilidad en Aplicaciones IoT Serverless de NodeJS

This ad is not shown to multipass and full ticket holders
React Summit US
React Summit US 2025
November 18 - 21, 2025
New York, US & Online
The biggest React conference in the US
Learn More
In partnership with Focus Reactive
Upcoming event
React Summit US 2025
React Summit US 2025
November 18 - 21, 2025. New York, US & Online
Learn more
Bookmark
Rate this content

La observabilidad es crucial para operar con éxito flotas grandes de IoT. IoT incorpora diferentes componentes, incluyendo hardware, red, software en el dispositivo y la nube. Los dispositivos operan en condiciones y restricciones poco confiables, y necesitan ser monitoreados de forma remota. Las aplicaciones en la nube se vuelven complejas y costosas, ya que están diseñadas para manejar la actividad de los dispositivos a gran escala. Responder preguntas como:
- ¿Tengo un problema en mi aplicación IoT?
- ¿Dónde está el problema?
- ¿Qué está causando el problema?
- ¿Cuántos de mis dispositivos se ven afectados?
- ¿Mi código es costoso de ejecutar y, de ser así, cómo puedo solucionarlo?,
puede ser un desafío. El registro, monitoreo y trazado son pilares fundamentales de la observabilidad. Sin embargo, a menudo se consideran no funcionales en las aplicaciones IoT y pueden pasar desapercibidos o no estandarizarse durante el desarrollo.

Esta sesión mostrará cómo aprovechar herramientas de código abierto, como AWS Lambda PowerTools, en una aplicación IoT Serverless completamente funcional, para facilitar la adopción de las mejores prácticas para el desarrollo de aplicaciones modernas e integrar servicios como Amazon X-Ray, Amazon CloudWatch y las características de AWS IoT Core, para lograr una observabilidad de extremo a extremo.

This talk has been presented at Node Congress 2023, check out the latest edition of this JavaScript Conference.

FAQ

Al pasar a producción, es común enfrentar problemas como dispositivos desconectados de repente, pérdida de datos a pesar de usar protocolos y almacenamiento adecuados, y métricas que tardan demasiado en cargar, lo que hace que el proceso sea bastante complicado y requiera atención constante a la resolución de problemas.

Es crucial reconocer que trabajar en IoT implica ser parte de un ecosistema que incluye el trabajo con dispositivos, backend en la nube y equipos de datos, lo que puede ser complejo y requiere una gestión cuidadosa y estrategias efectivas de monitoreo y mantenimiento.

La construcción de observabilidad en aplicaciones IoT es vital, incluyendo la implementación de métricas, registros y trazas de manera estandarizada para que los equipos de operaciones puedan revisar y entender fácilmente lo que está sucediendo en el sistema.

Se recomienda utilizar herramientas como Lambda Power Tools, que ofrecen utilidades para integrar registro estructurado, crear métricas y ver trazas en servicios como AWS X-Ray. Estas herramientas ayudan a monitorear y diagnosticar eficazmente las operaciones de las funciones Lambda.

MQTT es un protocolo de mensajería ligero que se utiliza en IoT para el envío de datos entre dispositivos y el backend en la nube. Proporciona un método eficiente para la comunicación de datos en escenarios de IoT donde los recursos de red y de dispositivo pueden ser limitados.

Las excepciones en las funciones Lambda se manejan de manera asíncrona; cuando una función Lambda arroja una excepción, esta se registra y puede revisarse posteriormente en los archivos de registro, facilitando la gestión de errores en un entorno de ejecución asíncrono.

Alina Dima
Alina Dima
8 min
14 Apr, 2023

Comments

Sign in or register to post your comment.
Video Summary and Transcription
La charla aborda los desafíos del desarrollo de IoT, incluyendo problemas con flotas sin conexión, datos faltantes, alertas que no funcionan, datos inconsistentes y paneles de control de carga lenta. Explora cómo construir observabilidad en aplicaciones IoT utilizando métricas, registro y trazado. Se explica la integración entre el motor de reglas y Lambda, destacando el uso de herramientas como Lambda Power Tools y X-Ray para el registro, monitoreo y trazado. También se menciona el proceso de invocación de Lambda y las capacidades de trazado de X-Ray.

1. Introducción a los desafíos de IoT

Short description:

Todo el mundo comienza en el espacio de IoT pensando que todo es sol y mariposas, pero cuando pasas a producción, se convierte en un laberinto. La prototipación y las pruebas en el laboratorio pueden ir bien, pero luego surgen problemas. Flota sin conexión, datos faltantes, alertas que no funcionan, datos inconsistentes y paneles de control que cargan lentamente.

Muy bien, así que todos los que comienzan en el espacio de IoT piensan que así es como se ve el viaje de IoT. Sabes, todo es sol y mariposas, y trabajas con dispositivos y son muy geniales. Prototipas con dispositivos. Aprendes nuevos protocolos y así sucesivamente, por lo que piensas que se ve así.

Pero en realidad, no se ve así. Cuando pasas a producción con una solución de IoT, se parece más a esto. Así que constantemente estás apagando incendios de una forma u otra. Entonces, ¿qué está pasando realmente? Cuando trabajas en IoT, en realidad eres parte de un ecosistema. Estás trabajando en el lado del dispositivo, o estás trabajando con equipos que trabajan en el lado del dispositivo. Tienes backend en el lado de la nube. Estás trabajando con equipos de la nube. Estás trabajando con equipos de datos. Así que todo es realmente relativamente loco, y puede volverse aún más loco muy rápido. Así que es un laberinto.

De repente estás haciendo prototipos o pruebas con tus dispositivos en el laboratorio, y todo funciona, y todo está bien, todos están felices. Y luego pasas a producción, y de repente el 50% de tu flota está sin conexión de un día para otro. Y tratas de investigar por qué, y no sabes por qué. Luego tienes datos faltantes. Estás enviando datos. Estás usando MQTT. Has hecho todas las cosas correctas. Idealmente, has utilizado calidad de servicio uno. Idealmente, también has utilizado almacenamiento local en el borde, pero aún así los datos han desaparecido. Así que tu equipo de datos se queja. No sabes dónde está el problema. ¿Qué pasa con las alertas que construiste? Bueno, no estás viendo ninguna de ellas. ¿Las has construido realmente? Bueno, no lo sé. Sería una buena idea si lo hicieras. Los datos son inconsistentes. Tus usuarios básicamente se quejan de que cargar un panel de control para, no sé, 50 dispositivos como un agregado, para ver métricas agregadas, simplemente lleva demasiado tiempo.

2. Construyendo Observabilidad en IoT

Short description:

Para construir observabilidad en una aplicación de IoT, necesitas métricas, registro y trazado de una manera estandarizada. Vamos a explorar cómo lograr esto en un escenario de backend sin servidor, donde un dispositivo IoT envía datos a través de MQTT, recogidos por una regla de AWS IoT y enviados a una función Lambda.

Así que todo es una locura. Entonces, ¿qué haces con todo esto? Claramente, necesitas construir observabilidad en tu aplicación. Necesitas métricas. Necesitas registro. Necesitas trazado. Y, idealmente, necesitas todo esto de una manera estandarizada, para que un equipo de operaciones que realmente esté revisando estas cosas, revisando estos datos, pueda entender lo que está sucediendo. Así que veamos cómo podemos construir observabilidad en una aplicación de IoT.

Voy a asumir que el backend aquí es principalmente sin servidor. Así que me imagino una situación en la que tienes un dispositivo IoT que envía algunos datos a través de MQTT y tienes una regla de IoT, ya sabes, una regla de AWS IoT, que recoge estos datos y los envía a una función Lambda. Estás utilizando esta increíble y genial integración que AWS IoT tiene con el motor de reglas. Y piensas que todo es perfecto, ¿verdad? Si escaneas ese código QR, puedes ver el código de lo que voy a mostrarte. Puedes hacer eso. También lo tengo enlazado al final. Así que daré, como, dos segundos para que la gente lo vea.

3. Integración entre el Motor de Reglas y Lambda

Short description:

La integración entre el motor de reglas y Lambda funciona de forma asíncrona, con la función Lambda siendo colocada en una cola y ejecutándose de forma asíncrona. Para habilitar el registro y monitoreo en tus aplicaciones, puedes utilizar herramientas como Lambda Power Tools, una biblioteca de código abierto que proporciona utilidades para el registro estructurado, métricas y trazado. Lambda Power Tools se puede instalar utilizando capas de Lambda o NPM, y se puede instrumentar utilizando bibliotecas de middleware como MIDI. Al inyectar el trazador y el registrador en tu función Lambda, puedes enviar trazas a X-ray para la observabilidad. En este caso, un simulador de dispositivo IoT envía un mensaje al motor de reglas, que interactúa con la función Lambda a través del servicio Lambda.

Muy bien, lo que voy a mostrarte ahora es algo que quizás no esperes sobre la integración entre el motor de reglas y Lambda. Entonces, la función Lambda, omitamos esto por ahora. La función Lambda que estoy utilizando se ve un poco así, ¿verdad? Así que estás configurando, tienes una biblioteca de trazado. Te mostraré qué es la biblioteca de trazado y hablaré de ella más adelante. Pero en realidad, tu función Lambda simplemente hace algo y lanza una excepción, ¿verdad? Y eso es básicamente todo. Y si miras esto, ya sabes, si miras esta architecture aquí, esperarías ver la excepción de inmediato.

Bueno, lo curioso es que la forma en que el motor de reglas se integra con Lambda es de forma asíncrona, ¿verdad? Entonces, el motor de reglas envía el mensaje al servicio Lambda. El servicio Lambda dice, genial, lo tengo, 202. Y luego tu función Lambda se coloca en una cola y se ejecuta de forma asíncrona. Y solo entonces, cuando esa ejecución se completa, en algún lugar, idealmente en algún archivo de registro, verás el resultado de la ejecución de tu función Lambda, ¿verdad? Por eso, por supuesto, cuando esto sucede con un dispositivo, ya sabes, piensas, sí, lo tengo bajo control. Puedo ir al registro de la función Lambda y puedo mirar allí y puedo ver que en realidad la función Lambda falló. Pero idealmente, en realidad usarías algunas herramientas de trazado y, ya sabes, algunas herramientas que te permitan habilitar el registro y monitoreo en tus aplicaciones, para que puedas ver estas cosas relativamente fácilmente.

Y una de estas herramientas es Lambda Power Tools, y Lambda Power Tools es en realidad una biblioteca de código abierto. Está disponible para Typescript. También está disponible para otros lenguajes como Python, por ejemplo. Y lo que hace es proporcionarte un conjunto de utilidades que puedes integrar en tu aplicación de JavaScript, para que puedas crear fácilmente registro estructurado, puedes crear métricas, incluso puedes construir tus propias métricas, y también de alguna manera, ya sabes, ver las trazas en un servicio que se llama X-ray, ¿verdad? Entonces, quiero decir, por supuesto, esto funciona si estás integrando con servicios de AWS. Si estás integrando con otros tipos de servicios, es posible que desees identificar diferentes herramientas de observabilidad que puedes utilizar, ¿verdad?

La forma en que instalarías Lambda Power Tools es básicamente utilizando capas de Lambda o puedes usar NPM. Y puedes instrumentar usando MIDI, que es una biblioteca de middleware muy famosa para Lambda, o puedes hacerlo con decoradores o puedes hacerlo manualmente. Entonces, en realidad se ve bastante bien si miras el código de TypeScript, ¿verdad? Aquí solo estoy usando módulos de Node. No voy a entrar en detalles sobre eso. Pero luego puedes crear tu trazador y registrador, y luego simplemente puedes usar MIDI para literalmente inyectarlos en tu función Lambda. ¿Verdad? Entonces, con lo que tengo aquí, básicamente todas tus trazas van a ir desde la invocación de tu función Lambda hasta X-ray, ¿verdad? Veamos. Esto en realidad no se ve muy bien. Así que tal vez simplemente voy a cambiar y mostrártelo rápidamente. Todavía me quedan 56 minutos. Eso sería bueno. De acuerdo. Entonces, básicamente lo que he hecho aquí, he enviado un mensaje desde un simulador de dispositivo IoT, que está utilizando MQTT.js como biblioteca. Así que esta es mi aplicación cliente y esto es el... En este caso, es el motor de reglas, y este es el contexto de Lambda del servicio Lambda.

4. Invocación de Lambda y X-Ray

Short description:

Esta es la invocación de Lambda. El servicio Lambda aceptó la función pero la ejecutó dos veces debido a la configuración de reintento predeterminada en AWS Lambda. X-Ray proporciona capacidades de trazado. Consulta los repositorios de GitHub para obtener más información sobre las herramientas de potencia de Lambda y X-Ray.

Y esto es en realidad la invocación de Lambda. Entonces, cuando lo ves a alto nivel, esto se ve realmente bien, ¿verdad? Entonces, en realidad no ves ningún error. Pero cuando miras aquí abajo, en realidad ves que el servicio Lambda aceptó la función Lambda, pero luego ves que en realidad la ejecutó o intentó ejecutarla dos veces. Así que eso es interesante. Y esa es la configuración predeterminada de AWS Lambda. Va a reintentar por defecto si es en modo asíncrono. Entonces, cuando usas SAM y creas tus funciones Lambda, el valor predeterminado siempre es dos veces. Así que piénsalo. Ya sabes, invocación asíncrona dos veces. Correcto.

Así es como se ve X-Ray, y aquí puedes ver el trazado y demás. Hoy no tenemos más tiempo, pero siempre puedes echar un vistazo a los repositorios de GitHub que he enlazado y aprender un poco más sobre las herramientas de potencia de Lambda y sobre X-Ray y demás. Muchas gracias. Esto fui yo.

Check out more articles and videos

We constantly think of articles and videos that might spark Git people interest / skill us up or help building a stellar career

No sabes cómo hacer SSR
DevOps.js Conf 2024DevOps.js Conf 2024
23 min
No sabes cómo hacer SSR
The Talk covers the speaker's personal journey into server-side rendering (SSR) and the evolution of web development frameworks. It explores the use of jQuery for animations in SSR, the challenges faced in integrating React with Umbraco, and the creation of a custom SSR framework. The Talk also discusses the benefits of Next.js and the use of serverless artifacts for deployment. Finally, it highlights the features of Astro, including its function per route capability.
AWS Lambda bajo el capó
Node Congress 2023Node Congress 2023
22 min
AWS Lambda bajo el capó
Top Content
In this Talk, key characteristics of AWS Lambda functions are covered, including service architecture, composition, and optimization of Node.js code. The two operational models of Lambda, asynchronous and synchronous invocation, are explained, highlighting the scalability and availability of the service. The features of Lambda functions, such as retries and event source mapping, are discussed, along with the micro VM lifecycle and the three stages of a Lambda function. Code optimization techniques, including reducing bundle size and using caching options, are explained, and tools like webpack and Lambda Power Tuning are recommended for optimization. Overall, Lambda is a powerful service for handling scalability and traffic spikes while enabling developers to focus on business logic.
AWS Lambda Performance Tuning
Node Congress 2024Node Congress 2024
25 min
AWS Lambda Performance Tuning
Top Content
This Talk covers various optimization techniques for Lambda functions, including parameter fetching, code minification and bundling, observability with Power Tools and X-Ray, baseline testing with load testing tools, caching with Elastic Cache and Redis, and optimizing code size and memory usage. The importance of library choices, power tuning for cost and performance, leveraging subprocesses and sandboxes, and adjusting concurrency limits are also discussed. Overall, these techniques can significantly improve Lambda function performance.
Arquitecturas Avanzadas de GraphQL: Event Sourcing y CQRS sin servidor
React Summit 2023React Summit 2023
28 min
Arquitecturas Avanzadas de GraphQL: Event Sourcing y CQRS sin servidor
GraphQL is a strongly typed, version-free query language that allows you to ask for specific data and get it in JSON format. It simplifies data retrieval and modification by allowing the server to handle all necessary operations. Serverless architectures, such as AWS Lambda, are scalable, cost-effective, and good for event-driven applications. Event sourcing and CQRS are techniques that ensure consistency and separate reading and writing parts of an application. Building a GraphQL API with commands and queries can be achieved using AWS AppSync and DynamoDB. This approach offers low latency, scalability, and supports multiple languages. Challenges include application complexity, data modeling, and tracing, but starting with simplicity and making something work first can lead to success.
Desmitificar la DX para funciones Lambda
DevOps.js Conf 2024DevOps.js Conf 2024
30 min
Desmitificar la DX para funciones Lambda
Premium
Welcome to this session on Lambda Developer Experience. Learn about using AWS Cloud Development Kit (CDK) to write code in your favorite language and automatically generate CloudFormation templates. Test locally with the SAM CLI and deploy with CDK. Accelerate testing and updates with CDK flags. Use the AWS Toolkit to invoke Lambda functions, analyze logs, and generate code with Application Composer.
Construyendo Dapps con React
React Advanced 2021React Advanced 2021
30 min
Construyendo Dapps con React
The Talk discusses building decentralized applications (DApps) with React and explores the benefits of smart contract technology. It highlights the characteristics and infrastructure of Web 3 applications, including decentralized indexing, off-chain data storage, and decentralized file storage. The Talk also covers identity in Web 3, with a focus on self-sovereign identity and the use of blockchain for identity verification. The process of building a DApp with React and Hard Hat is explained, along with deploying contracts and interacting with them. Overall, the Talk provides insights into the world of DApps and the technologies involved.

Workshops on related topic

IA a demanda: IA sin servidor
DevOps.js Conf 2024DevOps.js Conf 2024
163 min
IA a demanda: IA sin servidor
Top Content
Featured WorkshopFree
Nathan Disidore
Nathan Disidore
En esta masterclass, discutimos los méritos de la arquitectura sin servidor y cómo se puede aplicar al espacio de la IA. Exploraremos opciones para construir aplicaciones RAG sin servidor para un enfoque más lambda-esque a la IA. A continuación, nos pondremos manos a la obra y construiremos una aplicación CRUD de muestra que te permite almacenar información y consultarla utilizando un LLM con Workers AI, Vectorize, D1 y Cloudflare Workers.
Construyendo Aplicaciones Serverless en AWS con TypeScript
Node Congress 2021Node Congress 2021
245 min
Construyendo Aplicaciones Serverless en AWS con TypeScript
Workshop
Slobodan Stojanović
Slobodan Stojanović
Este masterclass te enseña los conceptos básicos del desarrollo de aplicaciones serverless con TypeScript. Comenzaremos con una función Lambda simple, configuraremos el proyecto y la infraestructura como código (AWS CDK) y aprenderemos cómo organizar, probar y depurar una aplicación serverless más compleja.
Tabla de contenidos:        - Cómo configurar un proyecto serverless con TypeScript y CDK        - Cómo escribir una función Lambda testeable con arquitectura hexagonal        - Cómo conectar una función a una tabla DynamoDB        - Cómo crear una API serverless        - Cómo depurar y probar una función serverless        - Cómo organizar y hacer crecer una aplicación serverless


Materiales mencionados en el masterclass:
https://excalidraw.com/#room=57b84e0df9bdb7ea5675,HYgVepLIpfxrK4EQNclQ9w
Blog de DynamoDB de Alex DeBrie: https://www.dynamodbguide.com/
Excelente libro para DynamoDB: https://www.dynamodbbook.com/
https://slobodan.me/workshops/nodecongress/prerequisites.html
Masterclass de Serverless para Desarrolladores de React
React Summit 2022React Summit 2022
107 min
Masterclass de Serverless para Desarrolladores de React
Workshop
Tejas Kumar
Tejas Kumar
Introducción a serverlessAntecedentes: Docker, Contenedores y KubernetesActividad: Construir una aplicación con Docker y desplegarla en un proveedor de nubeAnálisis: ¿Qué es bueno/malo de este enfoque?Por qué se necesita/mejora ServerlessActividad: Construir la misma aplicación con serverlessAnálisis: ¿Qué es bueno/malo de este enfoque?
Masterclass de Frontend en la Nube Hecho Fácil - Un Taller de ReactJS + AWS
DevOps.js Conf 2024DevOps.js Conf 2024
59 min
Masterclass de Frontend en la Nube Hecho Fácil - Un Taller de ReactJS + AWS
Workshop
Eyal Keren
Eyal Keren
Este taller te permite aprender cómo desarrollar aplicaciones React y luego desplegarlas en la nube (o construirlas en la consola) junto con un backend completamente abstracto, sin una configuración de backend compleja, simplificando la construcción y el despliegue de aplicaciones frontend y web en la nube.
Construyendo un backend serverless nativo de GraphQL con Fauna
GraphQL Galaxy 2021GraphQL Galaxy 2021
143 min
Construyendo un backend serverless nativo de GraphQL con Fauna
Workshop
Rob Sutter
Shadid Haque
2 authors
¡Bienvenido a Fauna! Este masterclass ayuda a los desarrolladores de GraphQL a construir aplicaciones de alto rendimiento con Fauna que se escalan a cualquier tamaño de base de usuarios. Comienzas con lo básico, utilizando solo el playground de GraphQL en el panel de Fauna, luego construyes una aplicación completa de pila completa con Next.js, agregando funcionalidad a medida que avanzas.

En la primera sección, Comenzando con Fauna, aprendes cómo Fauna crea automáticamente consultas, mutaciones y otros recursos basados en tu esquema de GraphQL. Aprendes cómo realizar tareas comunes con GraphQL, cómo usar el lenguaje de consulta de Fauna (FQL) para realizar tareas más avanzadas.

En la segunda sección, Construyendo con Fauna, aprendes cómo Fauna crea automáticamente consultas, mutaciones y otros recursos basados en tu esquema de GraphQL. Aprendes cómo realizar tareas comunes con GraphQL, cómo usar el lenguaje de consulta de Fauna (FQL) para realizar tareas más avanzadas.