Usando Feature Flags para Habilitar Pruebas en Producción

Rate this content
Bookmark

¿Cómo sabes si tu función está funcionando perfectamente en producción? Si algo se rompe en producción, ¿cómo lo sabrás? ¿Esperarás a que un usuario te lo informe? ¿Qué haces cuando los resultados de tus pruebas de preparación no reflejan el comportamiento actual de producción? ¡Para probar de manera proactiva en lugar de reactiva, prueba en producción! Tendrás una mayor precisión en los resultados de las pruebas, tus pruebas se ejecutarán más rápido debido a la eliminación de datos incorrectos y tendrás más confianza antes de los lanzamientos. Esto se puede lograr a través de la implementación de flags de características, lanzamientos canarios, configuración de un pipeline de CI/CD adecuado y limpieza de datos. Saldrás de esta charla con estrategias para mitigar riesgos, mejorar tu comprensión de los pasos necesarios y cambiar la cultura de pruebas de tu empresa, para poder brindar la mejor experiencia posible a tus usuarios. Al final del día, no nos importa si tus funciones funcionan en preparación, nos importa si funcionan en producción.

This talk has been presented at Node Congress 2021, check out the latest edition of this JavaScript Conference.

FAQ

Para mitigar riesgos, se pueden utilizar lanzamientos canarios, que implican lanzar características a pequeños grupos de usuarios antes de un despliegue más amplio, y pruebas AA, que garantizan la equivalencia de experiencias dentro de pruebas controladas antes de activar completamente nuevas funciones.

Probar en producción se refiere a realizar pruebas de software en el entorno real en que las funcionalidades serán utilizadas por los usuarios finales, en lugar de hacerlo en entornos ficticios como los de preparación. Esto ayuda a asegurar que las funciones funcionen correctamente bajo condiciones reales antes de su lanzamiento oficial.

Los principales problemas incluyen la falta de coincidencia de datos entre los entornos de preparación y producción, la deriva de configuración debido a cambios en producción que no se replican en preparación, y la lentitud en la ejecución de pruebas en preparación, lo que puede no reflejar la experiencia real del usuario.

Las banderas de características son herramientas que permiten separar la implementación de código del lanzamiento de funciones en un entorno de producción. Esto significa que el código puede ser desplegado y probado detrás de estas banderas sin afectar a los usuarios finales hasta que la función esté libre de errores.

La automatización en producción puede realizarse utilizando banderas de características para dirigir pruebas a usuarios específicos, y mediante herramientas de automatización que simulan diferentes estados de activación de las banderas, garantizando así pruebas eficientes y continuas sin afectar a los usuarios reales.

Para la gestión de banderas de características se recomienda Split, y para la automatización de pruebas el Robot Framework o Cypress, debido a su eficacia en configurar y ejecutar pruebas automáticas. Para la gestión de ejecuciones de pruebas se recomiendan Jenkins o CircleCI, y para alertas, PagerDuty o Slack.

Talia Nassi
Talia Nassi
29 min
02 Jul, 2021

Comments

Sign in or register to post your comment.
Video Summary and Transcription
La charla de hoy trata sobre habilitar pruebas en producción, incluyendo los desafíos con los entornos de preparación, el uso de flags de características para pruebas y la automatización de las pruebas de flags de características. También se aborda la ejecución de pruebas en producción asegurando que no haya impacto en los usuarios reales, determinando qué probar en producción, herramientas y dependencias recomendadas, y mitigando riesgos. Se enfatiza la importancia de las pruebas en producción y el cambio de la cultura de pruebas, junto con la necesidad de un marco de automatización sólido y la gestión de dependencias de flags de características.

1. Habilitar pruebas en producción

Short description:

Hola a todos. Hoy discutiremos cómo habilitar pruebas en producción, incluyendo qué es, cómo configurarlo y los problemas comunes. Como ex ingeniero de pruebas, me enfrenté a desafíos con los entornos de preparación que diferían de la producción. La falta de coincidencia de datos y la deriva de configuración causaron problemas, y la preparación fue lenta y con un rendimiento deficiente. El tiempo de inactividad de preparación obstaculizó las correcciones críticas de errores. Vamos a explorar estos problemas y su impacto en las pruebas.

y mi correo electrónico, en caso de que tengan preguntas más adelante. Pero un poco sobre mí. Soy una defensora del desarrollo en Split. Y solía ser ingeniera de pruebas, y trabajé en QA y automation y testing durante un tiempo antes de unirme a Split. Y ser ingeniera de pruebas fue realmente difícil para mí, porque la mayoría de los problemas que tuve giraban en torno a la preparación y el uso de este entorno ficticio, y la preparación no es lo mismo que la producción. Así que tenía muchos problemas, y estos son algunos de los problemas con los que lidié y estoy segura de que muchos de ustedes también han lidiado. Si han trabajado con algún tipo de entorno de pruebas, algún tipo de entorno de QA, cualquier cosa que no sea producción, estos son algunos de los aspectos que dificultaron mucho mi trabajo. Así que el primer problema fue la falta de coincidencia de data. Entonces, los data en la preparación no coinciden con la producción, lo que significa que los resultados de las pruebas no siempre coinciden. Así que solía trabajar muy duro para asegurarme de probar cada requisito del producto, y revisaba la documentación con el propietario del producto, y trabajaba con mis desarrolladores para solucionar todos los errores, asegurarme de que mis pruebas de extremo a extremo pasaran, y luego firmaba la función, y tan pronto como se lanzaba a producción, había un error. Es una sensación horrible cuando hay tanta presión sobre ti para asegurarte de que tu función funcione en un entorno ficticio. Y luego, lo siguiente con la falta de coincidencia de data que me sucedió fue algo llamado deriva de configuración, y lo que esto significa es que digamos que te llaman una noche porque hay un incidente en tu aplicación, y miras los registros e identificas los problemas, pero para solucionarlo, debes actualizar una configuración específica en producción, así que haces el cambio en producción y vuelves a dormir. Y aunque solucionaste el problema, acabas de crear una brecha aún mayor entre tus entornos de preparación y producción. Esta brecha se llama deriva de configuración, y muchas veces, los entornos de preparación no son iguales a la producción debido a los cambios realizados durante la gestión de incidentes, lo que solo agrega una mayor deriva de configuración. Y sentí que, ¿cuál es el punto de testing en preparación si no me va a dar los mismos resultados que la producción?

El siguiente problema que tuve fue que la preparación era muy lenta. Había un rendimiento realmente malo. Y muchas veces, cuando estás escribiendo pruebas en preparación, a menudo tienes que agregar esperas y pausas porque las cosas tardan más en cargarse. Por ejemplo, hacer clic en un botón, esperar 10 segundos a que suceda algo, realizar esta acción, esperar otros 10 segundos a que suceda algo. Tu usuario no va a esperar 10 segundos a que aparezca algo. Sabes, en tiempo tecnológico, eso es una locura. Entonces, ¿por qué hacerlo diferente en preparación?

A nadie le importa si la preparación está caída. Esta es otra razón, otra cosa con la que tuve que lidiar es que me asignaban probar diferentes problemas, probar diferentes tickets de corrección inmediata. Y estos eran simplemente correcciones críticas de errores que necesitaban ser lanzadas de inmediato a producción. Así que iniciaba sesión en preparación para probarlo, pero la preparación estaba caída. Así que tenía que contactar al chico de DevOps. Pero el chico de DevOps decía que tenía que abrir un ticket de TI y luego el ticket de TI tenía que ser escalado por mi gerente.

2. Testing in Production and Feature Flags

Short description:

Mientras tanto, todo lo que estoy tratando de hacer es probar este ticket para nuestro producto. Mis usuarios finales no van a iniciar sesión en preparación para usar mi aplicación. Así que hice mucha investigación y averigüé qué están haciendo otras empresas. Lo primero es que es normal que las empresas usen entornos de preparación. La mayoría de las empresas utilizan más de un entorno de preparación. Grandes empresas como Google, Facebook, Netflix, Twitter, todas prueban en producción. Probar en producción significa probar tus funciones y el entorno en el que vivirán tus funciones. También aprendí que probar en producción no significa que solo pruebes en producción. Aún utilizarás la preparación para datos relacionados con GDPR y SOX y problemas de privacidad. La respuesta fueron las banderas de funciones. Una bandera de función es básicamente una forma de separar la implementación de código del lanzamiento de funciones. ¿Cómo funciona? Nuestros desarrolladores crearían una bandera de función desde la interfaz de usuario y luego apuntarían a todos nuestros compañeros internos.

Mientras tanto, todo lo que estoy tratando de hacer es probar este ticket para nuestro producto. Y a nadie parece importarle. No es una prioridad para nadie. Nadie va a recibir una llamada en medio de la cena de Acción de Gracias porque la preparación está caída. Estaba tan cansada de lidiar con un entorno de preparación realmente malo y una experiencia de pruebas realmente mala y ser culpada cuando las cosas no funcionaban. Pensé que tenía que haber una mejor manera de probar software.

Mis usuarios finales no van a iniciar sesión en preparación para usar mi aplicación. Van a iniciar sesión en producción. Así que hice mucha investigación y averigüé qué están haciendo otras empresas. Esto es lo que aprendí. Lo primero es que es normal que las empresas usen entornos de preparación, especialmente las empresas que todavía siguen el modelo en cascada. Lo siguiente es que la mayoría de las empresas utilizan más de un entorno de preparación. Entonces, preparación, pre-producción, beta. La mayoría de las empresas tienen más de uno. Y grandes empresas como Google, Facebook, Netflix, Twitter, todas prueban en producción. Cuando leí eso, pensé, ¿qué es probar en producción? ¿Cómo es eso posible? ¿Qué quieres decir con probar en producción? Probar en producción significa probar tus funciones y el entorno en el que vivirán tus funciones, no utilizar un entorno ficticio como la preparación. Y pensé, wow, esto es perfecto. Esto resolverá todos mis problemas. También aprendí que probar en producción no significa que solo pruebes en producción. Aún utilizarás la preparación para datos relacionados con GDPR y SOX y problemas de privacidad, y pensé, esto es perfecto porque lo que no puedo probar en producción, simplemente lo probaré en preparación. Pero esos flujos de usuarios críticos, puedo ejecutarlos en producción. Pensé, esto es genial. ¿Cómo lo hago? ¿Cuáles son los pasos para llegar allí? Y la respuesta fueron las banderas de funciones. Una bandera de función es básicamente una forma de separar la implementación de código del lanzamiento de funciones. La idea aquí es implementar tu código en producción detrás de una bandera de función, probarlo en producción y luego lanzar la función con un clic de un botón tan pronto como esté libre de errores. ¿Cómo funciona? Esto es más o menos cómo se ve. Nuestros desarrolladores crearían una bandera de función desde la interfaz de usuario y luego apuntarían a todos nuestros compañeros internos. Lo que significa es que solo los usuarios que están dentro de la bandera de función mientras la bandera está desactivada podrán acceder a la función. Aquí puedes ver a los desarrolladores, probadores, diseñadores de productos, solo ellos tendrán acceso a esta nueva función mientras la bandera de función esté desactivada porque son los únicos a los que se dirige, estas personas a la derecha, estos usuarios finales reales, no pueden ver nada relacionado con la función porque no están dentro de la bandera de función.

Check out more articles and videos

We constantly think of articles and videos that might spark Git people interest / skill us up or help building a stellar career

Solicitudes de Red con Cypress
TestJS Summit 2021TestJS Summit 2021
33 min
Solicitudes de Red con Cypress
Top Content
Cecilia Martinez, a technical account manager at Cypress, discusses network requests in Cypress and demonstrates commands like cydot request and SCI.INTERCEPT. She also explains dynamic matching and aliasing, network stubbing, and the pros and cons of using real server responses versus stubbing. The talk covers logging request responses, testing front-end and backend API, handling list length and DOM traversal, lazy loading, and provides resources for beginners to learn Cypress.
Es una jungla ahí fuera: ¿Qué está pasando realmente dentro de tu carpeta Node_Modules?
Node Congress 2022Node Congress 2022
26 min
Es una jungla ahí fuera: ¿Qué está pasando realmente dentro de tu carpeta Node_Modules?
Top Content
The talk discusses the importance of supply chain security in the open source ecosystem, highlighting the risks of relying on open source code without proper code review. It explores the trend of supply chain attacks and the need for a new approach to detect and block malicious dependencies. The talk also introduces Socket, a tool that assesses the security of packages and provides automation and analysis to protect against malware and supply chain attacks. It emphasizes the need to prioritize security in software development and offers insights into potential solutions such as realms and Deno's command line flags.
Pruebas de ciclo completo con Cypress
TestJS Summit 2022TestJS Summit 2022
27 min
Pruebas de ciclo completo con Cypress
Top Content
Cypress is a powerful tool for end-to-end testing and API testing. It provides instant feedback on test errors and allows tests to be run inside the browser. Cypress enables testing at both the application and network layers, making it easier to reach different edge cases. With features like AppActions and component testing, Cypress allows for comprehensive testing of individual components and the entire application. Join the workshops to learn more about full circle testing with Cypress.
Desarrollo Efectivo de Pruebas
TestJS Summit 2021TestJS Summit 2021
31 min
Desarrollo Efectivo de Pruebas
Top Content
This Talk introduces Test Effective Development, a new approach to testing that aims to make companies more cost-effective. The speaker shares their personal journey of improving code quality and reducing bugs through smarter testing strategies. They discuss the importance of finding a balance between testing confidence and efficiency and introduce the concepts of isolated and integrated testing. The speaker also suggests different testing strategies based on the size of the application and emphasizes the need to choose cost-effective testing approaches based on the specific project requirements.
Playwright Test Runner
TestJS Summit 2021TestJS Summit 2021
25 min
Playwright Test Runner
Top Content
The Playwright Test Runner is a cross-browser web testing framework that allows you to write tests using just a few lines of code. It supports features like parallel test execution, device emulation, and different reporters for customized output. Code-Gen is a new feature that generates code to interact with web pages. Playwright Tracing provides a powerful tool for debugging and analyzing test actions, with the ability to explore trace files using TraceViewer. Overall, Playwright Test offers installation, test authoring, debugging, and post-mortem debugging capabilities.

Workshops on related topic

Diseñando Pruebas Efectivas con la Biblioteca de Pruebas de React
React Summit 2023React Summit 2023
151 min
Diseñando Pruebas Efectivas con la Biblioteca de Pruebas de React
Top Content
Featured Workshop
Josh Justice
Josh Justice
La Biblioteca de Pruebas de React es un gran marco para las pruebas de componentes de React porque responde muchas preguntas por ti, por lo que no necesitas preocuparte por esas preguntas. Pero eso no significa que las pruebas sean fáciles. Todavía hay muchas preguntas que tienes que resolver por ti mismo: ¿Cuántas pruebas de componentes debes escribir vs pruebas de extremo a extremo o pruebas de unidad de nivel inferior? ¿Cómo puedes probar una cierta línea de código que es difícil de probar? ¿Y qué se supone que debes hacer con esa persistente advertencia de act()?
En esta masterclass de tres horas, presentaremos la Biblioteca de Pruebas de React junto con un modelo mental de cómo pensar en el diseño de tus pruebas de componentes. Este modelo mental te ayudará a ver cómo probar cada bit de lógica, si debes o no simular dependencias, y ayudará a mejorar el diseño de tus componentes. Te irás con las herramientas, técnicas y principios que necesitas para implementar pruebas de componentes de bajo costo y alto valor.
Tabla de contenidos- Los diferentes tipos de pruebas de aplicaciones de React, y dónde encajan las pruebas de componentes- Un modelo mental para pensar en las entradas y salidas de los componentes que pruebas- Opciones para seleccionar elementos DOM para verificar e interactuar con ellos- El valor de los mocks y por qué no deben evitarse- Los desafíos con la asincronía en las pruebas de RTL y cómo manejarlos
Requisitos previos- Familiaridad con la construcción de aplicaciones con React- Experiencia básica escribiendo pruebas automatizadas con Jest u otro marco de pruebas unitarias- No necesitas ninguna experiencia con la Biblioteca de Pruebas de React- Configuración de la máquina: Node LTS, Yarn
Cómo empezar con Cypress
TestJS Summit 2022TestJS Summit 2022
146 min
Cómo empezar con Cypress
Featured WorkshopFree
Filip Hric
Filip Hric
La web ha evolucionado. Finalmente, también lo ha hecho el testing. Cypress es una herramienta de testing moderna que responde a las necesidades de testing de las aplicaciones web modernas. Ha ganado mucha popularidad en los últimos años, obteniendo reconocimiento a nivel mundial. Si has estado esperando aprender Cypress, ¡no esperes más! Filip Hric te guiará a través de los primeros pasos sobre cómo empezar a usar Cypress y configurar tu propio proyecto. La buena noticia es que aprender Cypress es increíblemente fácil. Escribirás tu primer test en poco tiempo y luego descubrirás cómo escribir un test de extremo a extremo completo para una aplicación web moderna. Aprenderás conceptos fundamentales como la capacidad de reintentar. Descubre cómo trabajar e interactuar con tu aplicación y aprende cómo combinar pruebas de API y de UI. A lo largo de todo este masterclass, escribiremos código y realizaremos ejercicios prácticos. Saldrás con una experiencia práctica que podrás aplicar a tu propio proyecto.
Detox 101: Cómo escribir pruebas de extremo a extremo estables para su aplicación React Native
React Summit 2022React Summit 2022
117 min
Detox 101: Cómo escribir pruebas de extremo a extremo estables para su aplicación React Native
Top Content
WorkshopFree
Yevheniia Hlovatska
Yevheniia Hlovatska
A diferencia de las pruebas unitarias, las pruebas de extremo a extremo buscan interactuar con su aplicación tal como lo haría un usuario real. Y como todos sabemos, puede ser bastante desafiante. Especialmente cuando hablamos de aplicaciones móviles.
Las pruebas dependen de muchas condiciones y se consideran lentas e inestables. Por otro lado, las pruebas de extremo a extremo pueden dar la mayor confianza de que su aplicación está funcionando. Y si se hace correctamente, puede convertirse en una herramienta increíble para aumentar la velocidad del desarrollador.
Detox es un marco de pruebas de extremo a extremo en caja gris para aplicaciones móviles. Desarrollado por Wix para resolver el problema de la lentitud e inestabilidad y utilizado por React Native en sí como su herramienta de pruebas E2E.
Únete a mí en esta masterclass para aprender cómo hacer que tus pruebas de extremo a extremo móviles con Detox sean excelentes.
Prerrequisitos- iOS/Android: MacOS Catalina o más reciente- Solo Android: Linux- Instalar antes de la masterclass
Masterclass de Pruebas de API con Postman
TestJS Summit 2023TestJS Summit 2023
48 min
Masterclass de Pruebas de API con Postman
Top Content
WorkshopFree
Pooja Mistry
Pooja Mistry
En el panorama siempre en evolución del desarrollo de software, garantizar la fiabilidad y funcionalidad de las API se ha vuelto primordial. "Pruebas de API con Postman" es una masterclass completa diseñada para equipar a los participantes con los conocimientos y habilidades necesarios para sobresalir en las pruebas de API utilizando Postman, una herramienta poderosa ampliamente adoptada por profesionales en el campo. Esta masterclass profundiza en los fundamentos de las pruebas de API, avanza a técnicas de prueba avanzadas y explora la automatización, las pruebas de rendimiento y el soporte multiprotocolo, proporcionando a los asistentes una comprensión holística de las pruebas de API con Postman.
Únete a nosotros para esta masterclass para desbloquear todo el potencial de Postman para las pruebas de API, agilizar tus procesos de prueba y mejorar la calidad y fiabilidad de tu software. Ya seas un principiante o un probador experimentado, esta masterclass te equipará con las habilidades necesarias para sobresalir en las pruebas de API con Postman.
Monitoreo 101 para Desarrolladores de React
React Summit US 2023React Summit US 2023
107 min
Monitoreo 101 para Desarrolladores de React
Top Content
WorkshopFree
Lazar Nikolov
Sarah Guthals
2 authors
Si encontrar errores en tu proyecto frontend es como buscar una aguja en un pajar de código, entonces el monitoreo de errores de Sentry puede ser tu detector de metales. Aprende los conceptos básicos del monitoreo de errores con Sentry. Ya sea que estés ejecutando un proyecto de React, Angular, Vue, o simplemente JavaScript “vainilla”, mira cómo Sentry puede ayudarte a encontrar el quién, qué, cuándo y dónde detrás de los errores en tu proyecto frontend.
Nivel de la masterclass: Intermedio
Masterclass de Node.js
Node Congress 2023Node Congress 2023
109 min
Masterclass de Node.js
Top Content
Workshop
Matteo Collina
Matteo Collina
¿Alguna vez has tenido dificultades para diseñar y estructurar tus aplicaciones Node.js? Construir aplicaciones que estén bien organizadas, sean probables y extensibles no siempre es fácil. A menudo puede resultar ser mucho más complicado de lo que esperas. En este evento en vivo, Matteo te mostrará cómo construye aplicaciones Node.js desde cero. Aprenderás cómo aborda el diseño de aplicaciones y las filosofías que aplica para crear aplicaciones modulares, mantenibles y efectivas.

Nivel: intermedio