Pruebas en Producción

Rate this content
Bookmark

FAQ

Hacer pruebas en producción significa evaluar las características directamente en el ambiente en el que operarán, no usando un entorno ficticio como la preparación. Esto permite verificar el desempeño y la funcionalidad de las características en condiciones reales y identificar errores antes de que afecten a los usuarios finales.

Los flags de características permiten separar la implementación del código del lanzamiento de las características. Esto significa que puedes probar nuevas características en producción sin exponerlas a todos los usuarios, minimizando el impacto de los errores y permitiendo ajustes antes de su lanzamiento general.

La automatización en las pruebas en producción se puede lograr de dos maneras principales: dirigirse a usuarios de prueba y automatizar los flujos con ellos o anular los flags de características para probar diferentes escenarios. Esta automatización ayuda a mantener la integridad y el rendimiento del software en el entorno de producción.

Talia recomienda el uso de Split para la segmentación de usuarios, el marco de robot para la automatización, y Jenkins o Circle CI para la programación de trabajos. Para las alertas, sugiere herramientas como Pager Duty y Slack, que se integran bien con los sistemas de programación.

Probar en producción es crucial porque es la única manera de asegurar que las características del software funcionan correctamente en el entorno live. Esto permite a las empresas lanzar actualizaciones con confianza, reduciendo los riesgos y maximizando la satisfacción del usuario.

Talia Nassi
Talia Nassi
29 min
24 Jun, 2021

Comments

Sign in or register to post your comment.

Video Summary and Transcription

La charla de hoy discute el concepto de pruebas en producción, incluyendo los desafíos con los entornos de preparación y la falta de coincidencia de datos. Se destaca el uso de banderas de características como solución para habilitar las pruebas en producción. Se enfatiza la automatización como componente clave para las pruebas eficientes de banderas de características. Los beneficios de las pruebas en producción son el aumento de la velocidad y la confianza del desarrollador. También se abordan los requisitos organizativos y la resistencia a las pruebas en producción. La charla concluye discutiendo la gestión de banderas de características y la segmentación de usuarios en los servicios de banderas de características.
Available in English: Testing in Production

1. Introducción a las pruebas en producción

Short description:

Hoy vamos a hablar sobre cómo habilitar las pruebas en producción, incluyendo qué es la prueba en producción, cómo configurarla y los problemas comunes. Como antigua ingeniera de pruebas, me enfrenté a desafíos con los entornos de preparación y la falta de coincidencia de datos. Los datos en el entorno de preparación no siempre coinciden con la producción, lo que lleva a resultados de prueba que no se alinean. Además, la desviación de configuración crea una brecha entre la preparación y la producción, lo que hace que las pruebas en preparación sean menos confiables. Además, los entornos de preparación a menudo tienen un rendimiento lento, lo que no refleja con precisión las interacciones del usuario en producción.

Hola a todos, soy Talia y hoy vamos a hablar sobre cómo habilitar las pruebas en producción. Vamos a hablar sobre qué es la prueba en producción, cómo configurarla y los problemas comunes con los que generalmente nos encontramos. Esta es mi información de contacto, mi Twitter y mi correo electrónico, en caso de que tengan preguntas más adelante.

Pero un poco sobre mí, soy una defensora del desarrollo en Split y solía ser ingeniera de pruebas. Trabajé en QA y automatización de pruebas durante un tiempo antes de unirme a Split. Ser ingeniera de pruebas fue realmente difícil para mí porque la mayoría de los problemas con los que me encontré giraban en torno a la preparación y el uso de este entorno ficticio. La preparación no es lo mismo que la producción. Tenía tantos problemas y estos son algunos de los problemas con los que lidié que estoy segura de que la mayoría de ustedes también han lidiado. Si han trabajado con algún tipo de entorno de prueba, cualquier tipo de entorno de QA, cualquier cosa que no sea producción. Estos son algunos de los aspectos que me dificultaron mucho hacer mi trabajo. El primer problema fue la falta de coincidencia de datos. Los datos en la preparación no coinciden con la producción, lo que significa que los resultados de las pruebas no siempre coinciden. Solía trabajar muy duro para asegurarme de probar cada requisito del producto y revisaba la documentación con el donante del producto y trabajaba con mis desarrolladores para solucionar todos los errores, asegurarme de que mis pruebas de extremo a extremo pasaran y luego firmaba la función. Y tan pronto como se lanzaba a producción, había un error. Y es una sensación horrible cuando hay tanta presión sobre ti para asegurarte de que tu función funcione en un entorno ficticio.

Y luego, lo siguiente con la falta de coincidencia de datos que me sucedió fue algo llamado desviación de configuración. Y lo que esto significa es que supongamos que te llaman una noche porque hay un incidente en tu aplicación y miras los registros e identificas los problemas, pero para solucionarlo, debes actualizar una configuración específica en producción. Entonces haces el cambio en producción y vuelves a dormir. Y aunque solucionaste el problema, acabas de crear una brecha aún mayor entre tus entornos de preparación y producción. Esta brecha se llama desviación de configuración. Y muchas veces los entornos de preparación no son iguales que la producción debido a los cambios realizados durante la gestión de incidentes, lo que solo agrava la desviación de configuración. Y sentí que, ¿cuál es el punto de las pruebas en preparación si no me va a dar los mismos resultados que la producción? El siguiente problema que tuve fue que la preparación era muy lenta. Tenía un rendimiento muy malo. Y muchas veces, cuando estás escribiendo pruebas en preparación, a menudo tienes que agregar esperas porque las cosas tardan más en cargarse. Por ejemplo, haces clic en un botón. Espera 10 segundos a que suceda algo. Realiza esta acción. Espera otros 10 segundos a que suceda algo. Tu usuario no va a esperar 10 segundos para que aparezca algo a tiempo real. Eso es una locura. Entonces, ¿por qué hacer eso diferente en la preparación?

2. Desafíos de las pruebas y la solución: Feature Flags

Short description:

Me enfrenté a desafíos con un entorno de preparación deficiente y una mala experiencia de pruebas. Las pruebas en producción significan probar características y su entorno, no utilizar un entorno ficticio como la preparación. Grandes empresas como Google, Facebook, Netflix y Twitter están realizando pruebas en producción. Los feature flags separan la implementación del código del lanzamiento de características, lo que permite lanzamientos sin errores con solo hacer clic en un botón.

A nadie le importa si la preparación está caída. Otra cosa con la que tuve que lidiar es que me asignaban para probar diferentes problemas. Para probar diferentes tickets de corrección urgente, y estos eran solo correcciones críticas de errores que necesitaban ser lanzadas de inmediato a producción. Así que ingresaba a la preparación para probarlo, pero la preparación estaba caída. Así que tenía que contactar al chico de DevOps. Pero el chico de DevOps decía que tenía que abrir un ticket de TI. Y luego el ticket de TI tenía que ser escalado por mi gerente. Y mientras tanto, todo lo que intentaba hacer era probar este ticket para nuestro producto, y a nadie parecía importarle. No era una prioridad para nadie. Nadie va a recibir una llamada en medio de la cena de Acción de Gracias si la preparación está caída. Y estaba tan cansada de lidiar con un entorno de preparación realmente malo y una experiencia de pruebas realmente mala y ser ciega cuando las cosas no funcionaban. Y pensé que tenía que haber una mejor manera de probar software. Mis usuarios finales no van a ingresar a la preparación para usar mi aplicación. Van a ingresar a producción. Así que hice mucha investigación y averigüé qué están haciendo otras empresas. Y esto es lo que hacen las empresas. Es la norma que las empresas utilicen entornos de preparación, especialmente las empresas que todavía siguen el modelo en cascada. Lo siguiente es que la mayoría de las empresas utilizan más de un entorno de preparación. Entonces, preparación, preproducción, beta, la mayoría de las empresas tienen más de uno. Y empresas conocidas como Google, Facebook, Netflix, Twitter, todas están haciendo pruebas en producción. Y cuando leí eso, pensé, ¿qué es hacer pruebas en producción? ¿Cómo es posible eso? ¿Qué quieres decir con hacer pruebas en producción? Así que hacer pruebas en producción significa hacer pruebas de tus características y el entorno en el que vivirán tus características, no utilizando un entorno ficticio como la preparación y pensé, wow, esto es perfecto. Esto va a resolver todos mis problemas. Y también aprendí que hacer pruebas en prod no significa que solo hagas pruebas en prod, aún vas a utilizar la preparación para GDPR y temas relacionados con SOCKS y privacidad, y pensé, esto es perfecto porque lo que no puedo probar en producción, simplemente lo probaría en la preparación, pero esos flujos críticos de usuarios, los puedo ejecutar en producción y pensé que esto es genial. ¿Cómo lo hago? ¿Cuáles son los pasos para llegar allí? Y la respuesta fue los feature flags. Y un feature flag es básicamente una forma de separar la implementación del código del lanzamiento de características. Y la idea aquí es que implementas tu código en producción detrás de un feature flag, lo pruebas en prod y luego lanzas la característica con el clic de un botón tan pronto como esté libre de errores. Entonces, ¿cómo funciona? Así es más o menos cómo se ve esto. Nuestros desarrolladores crearían un feature flag desde la interfaz de usuario, y luego lo dirigirían a todos nuestros compañeros internos. Y lo que eso significa es que solo los usuarios que estén dentro del feature flag mientras el flag esté desactivado, podrán acceder a la característica. Entonces, aquí puedes ver a los desarrolladores, probadores, diseño de productos. Solo ellos podrán acceder a esta nueva característica mientras el feature flag esté desactivado.

QnA

Check out more articles and videos

We constantly think of articles and videos that might spark Git people interest / skill us up or help building a stellar career

Solicitudes de Red con Cypress
TestJS Summit 2021TestJS Summit 2021
33 min
Solicitudes de Red con Cypress
Top Content
Cecilia Martinez, a technical account manager at Cypress, discusses network requests in Cypress and demonstrates commands like cydot request and SCI.INTERCEPT. She also explains dynamic matching and aliasing, network stubbing, and the pros and cons of using real server responses versus stubbing. The talk covers logging request responses, testing front-end and backend API, handling list length and DOM traversal, lazy loading, and provides resources for beginners to learn Cypress.
Testing Pyramid Makes Little Sense, What We Can Use Instead
TestJS Summit 2021TestJS Summit 2021
38 min
Testing Pyramid Makes Little Sense, What We Can Use Instead
Top Content
Featured Video
Gleb Bahmutov
Roman Sandler
2 authors
The testing pyramid - the canonical shape of tests that defined what types of tests we need to write to make sure the app works - is ... obsolete. In this presentation, Roman Sandler and Gleb Bahmutov argue what the testing shape works better for today's web applications.
Es una jungla ahí fuera: ¿Qué está pasando realmente dentro de tu carpeta Node_Modules?
Node Congress 2022Node Congress 2022
26 min
Es una jungla ahí fuera: ¿Qué está pasando realmente dentro de tu carpeta Node_Modules?
Top Content
The talk discusses the importance of supply chain security in the open source ecosystem, highlighting the risks of relying on open source code without proper code review. It explores the trend of supply chain attacks and the need for a new approach to detect and block malicious dependencies. The talk also introduces Socket, a tool that assesses the security of packages and provides automation and analysis to protect against malware and supply chain attacks. It emphasizes the need to prioritize security in software development and offers insights into potential solutions such as realms and Deno's command line flags.
Pruebas de ciclo completo con Cypress
TestJS Summit 2022TestJS Summit 2022
27 min
Pruebas de ciclo completo con Cypress
Top Content
Cypress is a powerful tool for end-to-end testing and API testing. It provides instant feedback on test errors and allows tests to be run inside the browser. Cypress enables testing at both the application and network layers, making it easier to reach different edge cases. With features like AppActions and component testing, Cypress allows for comprehensive testing of individual components and the entire application. Join the workshops to learn more about full circle testing with Cypress.
Desarrollo Efectivo de Pruebas
TestJS Summit 2021TestJS Summit 2021
31 min
Desarrollo Efectivo de Pruebas
Top Content
This Talk introduces Test Effective Development, a new approach to testing that aims to make companies more cost-effective. The speaker shares their personal journey of improving code quality and reducing bugs through smarter testing strategies. They discuss the importance of finding a balance between testing confidence and efficiency and introduce the concepts of isolated and integrated testing. The speaker also suggests different testing strategies based on the size of the application and emphasizes the need to choose cost-effective testing approaches based on the specific project requirements.
Playwright Test Runner
TestJS Summit 2021TestJS Summit 2021
25 min
Playwright Test Runner
Top Content
The Playwright Test Runner is a cross-browser web testing framework that allows you to write tests using just a few lines of code. It supports features like parallel test execution, device emulation, and different reporters for customized output. Code-Gen is a new feature that generates code to interact with web pages. Playwright Tracing provides a powerful tool for debugging and analyzing test actions, with the ability to explore trace files using TraceViewer. Overall, Playwright Test offers installation, test authoring, debugging, and post-mortem debugging capabilities.

Workshops on related topic

Diseñando Pruebas Efectivas con la Biblioteca de Pruebas de React
React Summit 2023React Summit 2023
151 min
Diseñando Pruebas Efectivas con la Biblioteca de Pruebas de React
Top Content
Featured Workshop
Josh Justice
Josh Justice
La Biblioteca de Pruebas de React es un gran marco para las pruebas de componentes de React porque responde muchas preguntas por ti, por lo que no necesitas preocuparte por esas preguntas. Pero eso no significa que las pruebas sean fáciles. Todavía hay muchas preguntas que tienes que resolver por ti mismo: ¿Cuántas pruebas de componentes debes escribir vs pruebas de extremo a extremo o pruebas de unidad de nivel inferior? ¿Cómo puedes probar una cierta línea de código que es difícil de probar? ¿Y qué se supone que debes hacer con esa persistente advertencia de act()?
En esta masterclass de tres horas, presentaremos la Biblioteca de Pruebas de React junto con un modelo mental de cómo pensar en el diseño de tus pruebas de componentes. Este modelo mental te ayudará a ver cómo probar cada bit de lógica, si debes o no simular dependencias, y ayudará a mejorar el diseño de tus componentes. Te irás con las herramientas, técnicas y principios que necesitas para implementar pruebas de componentes de bajo costo y alto valor.
Tabla de contenidos- Los diferentes tipos de pruebas de aplicaciones de React, y dónde encajan las pruebas de componentes- Un modelo mental para pensar en las entradas y salidas de los componentes que pruebas- Opciones para seleccionar elementos DOM para verificar e interactuar con ellos- El valor de los mocks y por qué no deben evitarse- Los desafíos con la asincronía en las pruebas de RTL y cómo manejarlos
Requisitos previos- Familiaridad con la construcción de aplicaciones con React- Experiencia básica escribiendo pruebas automatizadas con Jest u otro marco de pruebas unitarias- No necesitas ninguna experiencia con la Biblioteca de Pruebas de React- Configuración de la máquina: Node LTS, Yarn
Cómo empezar con Cypress
TestJS Summit 2022TestJS Summit 2022
146 min
Cómo empezar con Cypress
Featured WorkshopFree
Filip Hric
Filip Hric
La web ha evolucionado. Finalmente, también lo ha hecho el testing. Cypress es una herramienta de testing moderna que responde a las necesidades de testing de las aplicaciones web modernas. Ha ganado mucha popularidad en los últimos años, obteniendo reconocimiento a nivel mundial. Si has estado esperando aprender Cypress, ¡no esperes más! Filip Hric te guiará a través de los primeros pasos sobre cómo empezar a usar Cypress y configurar tu propio proyecto. La buena noticia es que aprender Cypress es increíblemente fácil. Escribirás tu primer test en poco tiempo y luego descubrirás cómo escribir un test de extremo a extremo completo para una aplicación web moderna. Aprenderás conceptos fundamentales como la capacidad de reintentar. Descubre cómo trabajar e interactuar con tu aplicación y aprende cómo combinar pruebas de API y de UI. A lo largo de todo este masterclass, escribiremos código y realizaremos ejercicios prácticos. Saldrás con una experiencia práctica que podrás aplicar a tu propio proyecto.
Detox 101: Cómo escribir pruebas de extremo a extremo estables para su aplicación React Native
React Summit 2022React Summit 2022
117 min
Detox 101: Cómo escribir pruebas de extremo a extremo estables para su aplicación React Native
Top Content
WorkshopFree
Yevheniia Hlovatska
Yevheniia Hlovatska
A diferencia de las pruebas unitarias, las pruebas de extremo a extremo buscan interactuar con su aplicación tal como lo haría un usuario real. Y como todos sabemos, puede ser bastante desafiante. Especialmente cuando hablamos de aplicaciones móviles.
Las pruebas dependen de muchas condiciones y se consideran lentas e inestables. Por otro lado, las pruebas de extremo a extremo pueden dar la mayor confianza de que su aplicación está funcionando. Y si se hace correctamente, puede convertirse en una herramienta increíble para aumentar la velocidad del desarrollador.
Detox es un marco de pruebas de extremo a extremo en caja gris para aplicaciones móviles. Desarrollado por Wix para resolver el problema de la lentitud e inestabilidad y utilizado por React Native en sí como su herramienta de pruebas E2E.
Únete a mí en esta masterclass para aprender cómo hacer que tus pruebas de extremo a extremo móviles con Detox sean excelentes.
Prerrequisitos- iOS/Android: MacOS Catalina o más reciente- Solo Android: Linux- Instalar antes de la masterclass
Masterclass de Pruebas de API con Postman
TestJS Summit 2023TestJS Summit 2023
48 min
Masterclass de Pruebas de API con Postman
Top Content
WorkshopFree
Pooja Mistry
Pooja Mistry
En el panorama siempre en evolución del desarrollo de software, garantizar la fiabilidad y funcionalidad de las API se ha vuelto primordial. "Pruebas de API con Postman" es una masterclass completa diseñada para equipar a los participantes con los conocimientos y habilidades necesarios para sobresalir en las pruebas de API utilizando Postman, una herramienta poderosa ampliamente adoptada por profesionales en el campo. Esta masterclass profundiza en los fundamentos de las pruebas de API, avanza a técnicas de prueba avanzadas y explora la automatización, las pruebas de rendimiento y el soporte multiprotocolo, proporcionando a los asistentes una comprensión holística de las pruebas de API con Postman.
Únete a nosotros para esta masterclass para desbloquear todo el potencial de Postman para las pruebas de API, agilizar tus procesos de prueba y mejorar la calidad y fiabilidad de tu software. Ya seas un principiante o un probador experimentado, esta masterclass te equipará con las habilidades necesarias para sobresalir en las pruebas de API con Postman.
Monitoreo 101 para Desarrolladores de React
React Summit US 2023React Summit US 2023
107 min
Monitoreo 101 para Desarrolladores de React
Top Content
WorkshopFree
Lazar Nikolov
Sarah Guthals
2 authors
Si encontrar errores en tu proyecto frontend es como buscar una aguja en un pajar de código, entonces el monitoreo de errores de Sentry puede ser tu detector de metales. Aprende los conceptos básicos del monitoreo de errores con Sentry. Ya sea que estés ejecutando un proyecto de React, Angular, Vue, o simplemente JavaScript “vainilla”, mira cómo Sentry puede ayudarte a encontrar el quién, qué, cuándo y dónde detrás de los errores en tu proyecto frontend.
Nivel de la masterclass: Intermedio
Masterclass de Node.js
Node Congress 2023Node Congress 2023
109 min
Masterclass de Node.js
Top Content
Workshop
Matteo Collina
Matteo Collina
¿Alguna vez has tenido dificultades para diseñar y estructurar tus aplicaciones Node.js? Construir aplicaciones que estén bien organizadas, sean probables y extensibles no siempre es fácil. A menudo puede resultar ser mucho más complicado de lo que esperas. En este evento en vivo, Matteo te mostrará cómo construye aplicaciones Node.js desde cero. Aprenderás cómo aborda el diseño de aplicaciones y las filosofías que aplica para crear aplicaciones modulares, mantenibles y efectivas.

Nivel: intermedio