Evolución del cliente HTTP de Node con undici

Rate this content
Bookmark

¿Cuáles son algunos de los problemas del cliente HTTP del núcleo de Node actual y cómo podemos superarlos? Una charla sobre cómo undici intenta llevar el siguiente paso en el HTTP del lado del cliente en Node. Incluye algunos consejos prácticos para usar undici y trampas comunes con algunos comentarios en cuanto a decisiones de diseño de API y planes futuros con un extra de bonificación de la API Fetch.

This talk has been presented at Node Congress 2022, check out the latest edition of this Tech Conference.

FAQ

Robert Nagy es el desarrollador principal en Next Edition, un colaborador frecuente a Node.js y miembro del TSC.

Bitchy es una biblioteca creada por Robert Nagy y su equipo para mejorar el cliente HTTP en Node.js.

Los problemas incluyen la falta de un verdadero soporte de flujo de Node en el objeto de respuesta, no soporte para canalizado HTTP, y dependencias de la API con detalles de implementación internos que limitan el rendimiento.

Indichy es una biblioteca creada por Matteo Macalina para revisar la funcionalidad HTTP en Node.js. Persigue objetivos como eliminar dependencias nativas, mejorar el rendimiento usando WebAssembly y soportar características como Keepalive y canalización.

Indichy utiliza WebAssembly y técnicas de optimización para lograr un rendimiento hasta 10 veces mejor en comparación con el cliente HTTP de Node Core.

Keepalive permite reutilizar la misma conexión para múltiples solicitudes, ahorrando el coste de establecer nuevas conexiones. Indichy maneja mejor esta funcionalidad para evitar cierres de conexión inesperados.

Fetch ha sido implementado sobre Indichy en Node.js y está disponible de manera experimental bajo la bandera experimental fetch en Node 17.

Robert Nagy
Robert Nagy
35 min
18 Feb, 2022

Comments

Sign in or register to post your comment.

Video Summary and Transcription

La charla discute el estado actual del cliente HTTP de Node y los problemas que enfrenta, incluyendo la falta de soporte para el canalizado HTTP y el vínculo intrínseco entre los objetos de solicitud y respuesta. El orador introduce la biblioteca Indichy, que tiene como objetivo proporcionar una API más amigable para el usuario para HTTP en Node. La charla destaca las ventajas de rendimiento de usar WebAssembly en el cliente HTTP de Umidigi y los planes para incluirlo en Node Core. El orador también menciona el soporte para señales y la capacidad de publicar solicitudes en Umidigi. Además, la charla cubre las opciones de personalización en Undici, los diferentes tipos de despachadores disponibles, y la posible inclusión de Indichy en Node Core. Los planes futuros incluyen soporte para HTTP 2 y 3, mejoras en la búsqueda de DNS, y mejoras en la programación de fetch y pool. La charla concluye discutiendo las diferencias en las implementaciones de TCP a través de los sistemas operativos y las consideraciones para agregar APIs web y estándares a Node Core.

1. Introducción al cliente HTTP de Node e Indichy

Short description:

Hola a todos. Mi nombre es Robert Nagy. Soy el desarrollador principal en Next Edition y un colaborador frecuente de Node.js y también miembro del TSC. Voy a hablar sobre el estado actual del cliente HTTP de Node y los problemas que vemos. El objeto de respuesta no es realmente un flujo de Node, carece de soporte para el canalizado HTTP, y los objetos de solicitud y respuesta están intrínsecamente vinculados. Hemos intentado solucionar estos problemas varias veces, pero es difícil sin causar perturbaciones. Hace unos años, Matteo Macalina creó la biblioteca Indichy, que tiene como objetivo proporcionar una API más amigable para el usuario para HTTP en Node.

Hola a todos. Mi nombre es Robert Nagy. Soy el desarrollador principal en Next Edition y un colaborador frecuente a Node.js y también miembro del TSC. Y voy a hablar un poco sobre algunos trabajos que hemos estado haciendo en el cliente HTTP en Node usando una biblioteca que creamos llamada Bitchy.

Entonces, primero que nada, hablemos un poco sobre el estado actual del cliente HTTP de Node. Creo que la mayoría de las personas están familiarizadas con la API de solicitud HTTP. Y las personas que están usando las bibliotecas de NPM como Got y Axios, etc., estas son generalmente solo envoltorios alrededor de la llamada de solicitud HTTP que proporciona Node Core. Ahora, esto tiene una larga historia y ha funcionado durante mucho tiempo. Pero aquellos de nosotros que hemos estado trabajando en el mantenimiento de esta API sentimos que hemos llegado al final de lo que podemos hacer con un esfuerzo razonable con esta API. Entonces, ¿cuáles son algunos de los problemas que vemos aquí? Entonces, en primer lugar, el objeto de respuesta que recibe de la API de solicitud no es realmente un flujo de Node. Solo pretende ser un flujo de Node. Hay varias razones, tanto de compatibilidad como de rendimiento para eso. Pero hay ligeras diferencias que pueden causar problemas extraños si tienes mala suerte. Especialmente si estás usando APIs que esperan flujos, y querías usarlo de manera fluida. No tiene soporte para el canalizado HTTP. El canalizado es una característica del protocolo HTTP que puede proporcionar algunas ventajas significativas de rendimiento. Además, el objeto de solicitud y el objeto de respuesta en esta API están intrínsecamente vinculados. Entonces, si destruyes, por ejemplo, la solicitud, incluso si ha completado, también matará la respuesta. Y este enlace es muy difícil de arreglar o eliminar sin romper todo el ecosistema. Está completamente basado en flujos, lo que causa algunas limitaciones de lo que podemos lograr en términos de rendimiento. Y muchos de los internos en la API son de acceso público, y tenemos módulos del ecosistema que dependen de los detalles de implementación internos. En aquel entonces, no teníamos símbolos por lo que no era posible ocultar cosas a los usuarios. Y todas estas cosas causan problemas que creemos que son muy difíciles de solucionar sin causar perturbaciones indebidas en todo el ecosistema. Entonces, hace unos años, Matteo o en realidad, otro punto aquí es que hemos intentado solucionar estos problemas varias veces, y eso ha causado problemas y hemos tenido que revertirlos. Soy una de las personas que ha pasado mucho tiempo tratando de resolver estos problemas. Y es bastante decepcionante cuando te ves obligado a revertirlos debido a regresiones de compatibilidad o rendimiento, etc. Entonces, aquí hay algunas solicitudes de extracción que simplemente revierten el trabajo que se ha hecho hacia esto. Entonces, hace unos años, Matteo Macalina creó esta biblioteca llamada Indichy, que es una nueva visión de lo que HTTP puede y podría, ser en Node. Y me involucré hace un año o así, y he hecho mucho trabajo para hacer esto listo para producción. Entonces, ¿cuáles son nuestros objetivos? ¿Qué es lo que estamos logrando o tratando de lograr dentro de Indichy? Entonces, queremos una API un poco más amigable para el usuario para que las personas no tengan que ir a un tercero

2. Cliente HTTP de Node y Umidigi

Short description:

Hemos logrado reemplazar todo el cliente HTTP fuera del núcleo de Node utilizando WebAssembly, que ofrece ventajas de rendimiento. Umidigi soporta Keepalive y canalización, abordando problemas en Node Core. Hemos resuelto el problema con Keepalive en Umidigi, y hemos logrado un rendimiento casi 10 veces mejor en comparación con el cliente de Node Core. Estamos desarrollando Umidigi fuera del núcleo para su inclusión posterior y hemos ocultado todos los detalles internos detrás de los símbolos. También estamos considerando implementar fetch en Umidigi. Es importante consumir o destruir el cuerpo para liberar la conexión, y proporcionamos una función de ayuda llamada dump. Tenemos soporte para señales.

biblioteca por defecto. No queremos tener ninguna dependencia nativa. Así que esto es realmente necesario para nosotros, para poder reemplazar todo el cliente HTTP fuera del núcleo de Node, necesitamos dependencias nativas. Y el análisis HTTP en Node es HTTP, que es una biblioteca nativa. Pero hemos logrado sortear esto utilizando WebAssembly, y está funcionando muy bien, y de hecho vemos algunas ventajas de rendimiento al usar WebAssembly. Especialmente ahora, también, que WebAssembly tiene soporte limitado para SIMD. Otra cosa importante es que queremos soportar Keepalive y canalización, así que voy a explicar rápidamente eso. Keepalive es en realidad algo que el cliente de Node Core soporta, pero no está habilitado por defecto. Y hay algunas cosas que tienes que tener en cuenta en Node Core que Umidigi intenta manejar por ti. Así que sin canalización, cada solicitud que haces en realidad crea una nueva conexión y la cierra. Con Keepalive, puedes reutilizar la conexión para solicitudes posteriores. Así que te ahorras el sobrecoste de cerrar y establecer una nueva conexión. Y con la canalización, es posible enviar varias solicitudes antes de que el servidor haya respondido. Y así, puedes reducir algo de la latencia de tus solicitudes. Y hemos dedicado mucho tiempo a asegurarnos de que Umidigi soporta esto de forma nativa.

Y como mencioné, hay un problema con Keepalive que Nord Core no maneja, es que una vez que se establece una conexión, hay un tiempo de espera que el servidor mantendrá esa conexión viva, esperando más solicitudes antes de cerrar la conexión. Ahora, si tienes mala suerte, podrías enviar una solicitud en el momento exacto en que se produce el tiempo de espera del servidor y por lo tanto el servidor cerrará la conexión mientras tu solicitud está llegando. Ahora, algunos servidores proporcionan una pista de Keepalive en sus respuestas para que puedas averiguar durante cuánto tiempo el servidor espera mantener la conexión abierta, y por lo tanto, el cliente puede hacer cosas para evitar este cierre inesperado. Así que eso es algo que hemos solucionado en Umidigi. También hemos mirado el rendimiento así que con Umidigi fuimos capaces de lograr un rendimiento casi 10 veces mejor en comparación con el cliente de Node Core, lo cual tengo que decir que es un resultado bastante bueno. Lo estamos desarrollando fuera del núcleo en este momento para su inclusión posterior. Hay algunas ventajas de esto especialmente en términos de la velocidad de implementación y hemos ocultado todos los detalles internos detrás de los símbolos para que no tengamos una repetición de bibliotecas de terceros, dependiendo de los detalles de implementación. Y también estamos considerando implementar fetch en Umidigi. Así que la API más básica de Umidigi es la solicitud de Umidigi y básicamente haces un await Umidigi request donde obtienes un cuerpo, un código de estado y encabezados y el cuerpo es un flujo de nodo pero también hemos implementado algunas funciones de ayuda inspiradas en las especificaciones del cuerpo de fetch mixing así que tienes body.text.json.array buffer y puedes simplemente esperar a esos pero de lo contrario el cuerpo es un flujo normal de node.js. Así que esto es bastante simple. Una nota importante que he notado que algunas personas pasan por alto es que es muy importante, incluso si no te importa el cuerpo, debes consumirlo o destruirlo para liberar la conexión porque la forma en que funciona con el keep-alive es que a menos que la solicitud anterior haya terminado no puedes procesar la siguiente así que es importante destruir el cuerpo o volcarlo o consumirlo. Proporcionamos una ayuda llamada dump, que la desventaja de destruir el cuerpo es que eso en realidad causará la destrucción del socket. Tenemos una función de ayuda aquí llamada dump que en realidad intentará leer todo el cuerpo para que la conexión pueda ser reutilizada pero si el cuerpo o la respuesta del servidor excede un cierto umbral entonces elige eventualmente cerrar la conexión. Así que no tienes que descargar un gigabyte de datos antes de poder reutilizar la conexión. Y sí, si no haces esto entonces la conexión no será liberada para la próxima solicitud.

QnA

Check out more articles and videos

We constantly think of articles and videos that might spark Git people interest / skill us up or help building a stellar career

Es una jungla ahí fuera: ¿Qué está pasando realmente dentro de tu carpeta Node_Modules?
Node Congress 2022Node Congress 2022
26 min
Es una jungla ahí fuera: ¿Qué está pasando realmente dentro de tu carpeta Node_Modules?
Top Content
The talk discusses the importance of supply chain security in the open source ecosystem, highlighting the risks of relying on open source code without proper code review. It explores the trend of supply chain attacks and the need for a new approach to detect and block malicious dependencies. The talk also introduces Socket, a tool that assesses the security of packages and provides automation and analysis to protect against malware and supply chain attacks. It emphasizes the need to prioritize security in software development and offers insights into potential solutions such as realms and Deno's command line flags.
Hacia una Biblioteca Estándar para Runtimes de JavaScript
Node Congress 2022Node Congress 2022
34 min
Hacia una Biblioteca Estándar para Runtimes de JavaScript
Top Content
There is a need for a standard library of APIs for JavaScript runtimes, as there are currently multiple ways to perform fundamental tasks like base64 encoding. JavaScript runtimes have historically lacked a standard library, causing friction and difficulty for developers. The idea of a small core has both benefits and drawbacks, with some runtimes abusing it to limit innovation. There is a misalignment between Node and web browsers in terms of functionality and API standards. The proposal is to involve browser developers in conversations about API standardization and to create a common standard library for JavaScript runtimes.
ESM Loaders: Mejorando la carga de módulos en Node.js
JSNation 2023JSNation 2023
22 min
ESM Loaders: Mejorando la carga de módulos en Node.js
ESM Loaders enhance module loading in Node.js by resolving URLs and reading files from the disk. Module loaders can override modules and change how they are found. Enhancing the loading phase involves loading directly from HTTP and loading TypeScript code without building it. The loader in the module URL handles URL resolution and uses fetch to fetch the source code. Loaders can be chained together to load from different sources, transform source code, and resolve URLs differently. The future of module loading enhancements is promising and simple to use.
Diagnostics de Node.js listos para usar
Node Congress 2022Node Congress 2022
34 min
Diagnostics de Node.js listos para usar
This talk covers various techniques for getting diagnostics information out of Node.js, including debugging with environment variables, handling warnings and deprecations, tracing uncaught exceptions and process exit, using the v8 inspector and dev tools, and generating diagnostic reports. The speaker also mentions areas for improvement in Node.js diagnostics and provides resources for learning and contributing. Additionally, the responsibilities of the Technical Steering Committee in the TS community are discussed.
Compatibilidad con Node.js en Deno
Node Congress 2022Node Congress 2022
34 min
Compatibilidad con Node.js en Deno
Deno aims to provide Node.js compatibility to make migration smoother and easier. While Deno can run apps and libraries offered for Node.js, not all are supported yet. There are trade-offs to consider, such as incompatible APIs and a less ideal developer experience. Deno is working on improving compatibility and the transition process. Efforts include porting Node.js modules, exploring a superset approach, and transparent package installation from npm.
Registro Multihilo con Pino
JSNation Live 2021JSNation Live 2021
19 min
Registro Multihilo con Pino
Top Content
Today's Talk is about logging with Pino, one of the fastest loggers for Node.js. Pino's speed and performance are achieved by avoiding expensive logging and optimizing event loop processing. It offers advanced features like async mode and distributed logging. The use of Worker Threads and Threadstream allows for efficient data processing. Pino.Transport enables log processing in a worker thread with various options for log destinations. The Talk concludes with a demonstration of logging output and an invitation to reach out for job opportunities.

Workshops on related topic

Masterclass de Node.js
Node Congress 2023Node Congress 2023
109 min
Masterclass de Node.js
Top Content
Workshop
Matteo Collina
Matteo Collina
¿Alguna vez has tenido dificultades para diseñar y estructurar tus aplicaciones Node.js? Construir aplicaciones que estén bien organizadas, sean probables y extensibles no siempre es fácil. A menudo puede resultar ser mucho más complicado de lo que esperas. En este evento en vivo, Matteo te mostrará cómo construye aplicaciones Node.js desde cero. Aprenderás cómo aborda el diseño de aplicaciones y las filosofías que aplica para crear aplicaciones modulares, mantenibles y efectivas.

Nivel: intermedio
Construye y Despliega un Backend con Fastify y Platformatic
JSNation 2023JSNation 2023
104 min
Construye y Despliega un Backend con Fastify y Platformatic
WorkshopFree
Matteo Collina
Matteo Collina
Platformatic te permite desarrollar rápidamente APIs GraphQL y REST con un esfuerzo mínimo. La mejor parte es que también te permite aprovechar todo el potencial de Node.js y Fastify cuando lo necesites. Puedes personalizar completamente una aplicación de Platformatic escribiendo tus propias características y complementos adicionales. En el masterclass, cubriremos tanto nuestros módulos de código abierto como nuestra oferta en la nube:- Platformatic OSS (open-source software) — Herramientas y bibliotecas para construir rápidamente aplicaciones robustas con Node.js (https://oss.platformatic.dev/).- Platformatic Cloud (actualmente en beta) — Nuestra plataforma de alojamiento que incluye características como aplicaciones de vista previa, métricas integradas e integración con tu flujo de Git (https://platformatic.dev/).
En este masterclass aprenderás cómo desarrollar APIs con Fastify y desplegarlas en la nube de Platformatic.
Construyendo un Servidor Web Hiper Rápido con Deno
JSNation Live 2021JSNation Live 2021
156 min
Construyendo un Servidor Web Hiper Rápido con Deno
WorkshopFree
Matt Landers
Will Johnston
2 authors
Deno 1.9 introdujo una nueva API de servidor web que aprovecha Hyper, una implementación rápida y correcta de HTTP para Rust. El uso de esta API en lugar de la implementación std/http aumenta el rendimiento y proporciona soporte para HTTP2. En este masterclass, aprende cómo crear un servidor web utilizando Hyper en el fondo y mejorar el rendimiento de tus aplicaciones web.
0 a Auth en una Hora Usando NodeJS SDK
Node Congress 2023Node Congress 2023
63 min
0 a Auth en una Hora Usando NodeJS SDK
WorkshopFree
Asaf Shen
Asaf Shen
La autenticación sin contraseña puede parecer compleja, pero es fácil de agregar a cualquier aplicación utilizando la herramienta adecuada.
Mejoraremos una aplicación JS de pila completa (backend de Node.JS + frontend de React) para autenticar usuarios con OAuth (inicio de sesión social) y contraseñas de un solo uso (correo electrónico), incluyendo:- Autenticación de usuario - Administrar interacciones de usuario, devolver JWT de sesión / actualización- Gestión y validación de sesiones - Almacenar la sesión para solicitudes de cliente posteriores, validar / actualizar sesiones
Al final del masterclass, también tocaremos otro enfoque para la autenticación de código utilizando Flujos Descope en el frontend (flujos de arrastrar y soltar), manteniendo solo la validación de sesión en el backend. Con esto, también mostraremos lo fácil que es habilitar la biometría y otros métodos de autenticación sin contraseña.
Tabla de contenidos- Una breve introducción a los conceptos básicos de autenticación- Codificación- Por qué importa la autenticación sin contraseña
Requisitos previos- IDE de tu elección- Node 18 o superior
GraphQL: De Cero a Héroe en 3 horas
React Summit 2022React Summit 2022
164 min
GraphQL: De Cero a Héroe en 3 horas
Workshop
Pawel Sawicki
Pawel Sawicki
Cómo construir una aplicación GraphQL fullstack (Postgres + NestJs + React) en el menor tiempo posible.
Todos los comienzos son difíciles. Incluso más difícil que elegir la tecnología es desarrollar una arquitectura adecuada. Especialmente cuando se trata de GraphQL.
En este masterclass, obtendrás una variedad de mejores prácticas que normalmente tendrías que trabajar en varios proyectos, todo en solo tres horas.
Siempre has querido participar en un hackathon para poner algo en funcionamiento en el menor tiempo posible, entonces participa activamente en este masterclass y únete a los procesos de pensamiento del instructor.
Dominando Node.js Test Runner
TestJS Summit 2023TestJS Summit 2023
78 min
Dominando Node.js Test Runner
Workshop
Marco Ippolito
Marco Ippolito
Node.js test runner es moderno, rápido y no requiere bibliotecas adicionales, pero entenderlo y usarlo bien puede ser complicado. Aprenderás a utilizar Node.js test runner a su máximo potencial. Te mostraremos cómo se compara con otras herramientas, cómo configurarlo y cómo ejecutar tus pruebas de manera efectiva. Durante la masterclass, haremos ejercicios para ayudarte a sentirte cómodo con el filtrado, el uso de afirmaciones nativas, la ejecución de pruebas en paralelo, el uso de CLI y más. También hablaremos sobre trabajar con TypeScript, hacer informes personalizados y la cobertura de código.