Cómo automatizar cambios de código para 100 repositorios: Introducción a los Codemods

¡Hola a todos! ¿Cómo va todo? ¿Están disfrutando de la conferencia? Bien, genial. ¿Cuántos desarrolladores hay aquí? Wow, bastantes. ¿Cuántos desarrolladores perezosos hay aquí? De acuerdo, permítanme reformular un poco, un poco menos. ¿Cuántos desarrolladores perezosos a los que les gusta automatizar las cosas? Wow, me gusta, ¡ahora estamos hablando! Bien, hoy compartiré cómo automatizar cambios de código para repositorios de Android. Mi nombre es Konstantin. Trabajo en Xebia en los Países Bajos como consultor de desarrollo de software, y también ayudo a Git Nation a organizar las conferencias. No duden en contactarme en Twitter o LinkedIn. Mi charla está relacionada con mi cliente actual, y para comprender mejor el problema y la solución, les daré algunos detalles sobre la escala del propio producto. Trabajo en MarkPlus.nl. Este es el mercado más grande de los Países Bajos. Tiene millones de visitantes diarios. Hoy en día, cuenta con 90 millones de anuncios en vivo. Cientos de miles de nuevos anuncios todos los días. Si eres de los Países Bajos, seguramente conoces este producto. Si eres de Alemania, puedes compararlo con eBay DE. Actualmente, ejecutamos 59 servicios BFF independientes en producción. En promedio, hay más de 15 lanzamientos diarios en producción. Y no hay límites para eso. Para admitir todas las características requeridas, tenemos más de 100 repositorios relacionados con el front-end con código JavaScript o TypeScript. Y para que funcione correctamente, la propiedad del código está distribuida en diferentes equipos de front-end. Sí, esos equipos de front-end son parte de equipos de dominio más grandes o equipos de pila completa, pueden llamarlos así. Y esos se centran únicamente en construir lógica empresarial. Entonces, idealmente, nada más. Y para respaldar a los equipos de productos, tenemos un equipo de plataforma de front-end. Este es el equipo en el que trabajo. Nuestro objetivo, básicamente, es permitir que otros ingenieros de front-end entreguen software seguro, confiable y eficiente. Entonces, mi equipo es responsable de muchas cosas para la plataforma de front-end en sí. Podemos decir que construye, las implementaciones, el motor de renderizado del lado del servidor de React, las bibliotecas del sistema de diseño, el rendimiento, la seguridad, el monitoreo, la observabilidad. Entonces, todos estos problemas son manejados por un equipo de plataforma de front-end.

De acuerdo. Centrémonos solo en el paso de modificación de código. Podemos actualizar el código de muchas formas automatizadas, pero la forma más poderosa se basa en el uso de Abstract Syntax Tree. Entonces, si no estás familiarizado con Abstract Syntax Tree, básicamente puedes pensar en él como una representación de objeto del código después de ser analizado. Entonces, por ejemplo, esta es una función llamada grid, ¿verdad? Esta función devuelve una cadena `Hola Berlín`. Este es el Abstract Syntax Tree que se ve como una matriz de nodos con atributos. La función definida corresponde a un nodo de declaración de función que tiene el identificador grid y no tiene ningún parámetro. Entonces, ¿qué es esta función? Es solo una matriz de declaraciones, pero nuestra función tiene solo una declaración de retorno, que es una cadena literal `Hola Berlín`. De acuerdo, podemos analizar el código de JavaScript o TypeScript en Abstract Syntax Tree, o básicamente solo un objeto. Puedes pensar en ello como un objeto. Pero eso nos da la posibilidad de actualizar fácilmente el árbol porque podemos manipular este objeto. Por ejemplo, podemos agregar, eliminar, reemplazar o incluso actualizar algunos nodos, y si generamos un nuevo código fuente a partir del Abstract Syntax Tree mutado, obtendremos un nuevo código fuente modificado. Básicamente, esto es... ¿conoces herramientas como Babel o ESLint? Básicamente, esto es lo que sucede allí bajo el capó.

Volvamos a nuestro ejemplo con Toast y el paquete del sistema de diseño. Podemos usar Babel u otro analizador para convertir el código fuente en Abstract Syntax Tree, pero ¿cómo mutar eficazmente los nodos? Podemos recorrer manualmente, buscar de alguna manera, pero hay mejores formas. Hay varias herramientas excelentes que podrían ayudarnos con eso, pero encuentro que JSCodeShift es una de las herramientas más poderosas para eso. Y realmente, creo que esta es una herramienta subutilizada y subestimada. Básicamente, es un conjunto de herramientas de cambio de código que fue lanzado como código abierto por Facebook en 2015.

Pero ¿cómo debemos manejar el elemento G6 del botón primario dentro del componente? Así que ya conocemos el concepto. Conocemos el enfoque. Estamos buscando todos los elementos G6 y estamos buscando específicamente un elemento de apertura de botón primario, porque no es un elemento de autocierre. Estamos buscando, por ejemplo, un elemento de apertura de botón primario aquí. Como nuestro componente básicamente puede utilizar varios elementos de botón primario, obtenemos una colección de esta respuesta de estos métodos. Para cada uno de estos elementos, necesitamos mutar el elemento heredado a uno nuevo. Así que para hacer esto, creemos un nuevo elemento GSX. Estamos utilizando el mismo enfoque de la API de JS Code Shift, creamos un nuevo elemento GSX, y aquí proporcionamos un botón como elemento de apertura. Y para nuestro elemento de apertura, también podemos agregar aquí un atributo kind del que hablamos antes. Proporcionamos un valor, primario. ¡No olvides copiar todos los atributos existentes del nodo heredado, ¿verdad? En nuestro caso, es la propiedad on click. Y, por supuesto, el elemento de cierre del botón. Y el último paso, necesitamos proporcionar todos los hijos para que podamos copiar todos los hijos del nodo heredado. En nuestro caso, es solo un texto de cierre. Bien, último paso. Todos estamos familiarizados con esta API.

Reemplazamos todos los nodos heredados con los recién creados. Y eso es todo. Acabamos de implementar el mod de código para actualizar el componente Tost6, ¿verdad? Ahora, podemos aplicar el mismo mod de código para todo el código base. Y, por ejemplo, no es J6CodeShift, no es solo una ruta de archivo. Acepta como la ruta a muchos archivos. Y este comando básicamente actualizará a todos los usuarios del botón primario dentro de un proyecto. Pero ¿cómo debemos manejar otros proyectos? Tenemos más de cientos de proyectos. Así que sí, recuerda, tenemos este pipeline automatizado, que mencioné antes. Así que podemos integrar el mod de código en este pipeline. Y sí, podemos actualizar con este enfoque todo el código base para todas las interfaces de usuario. Y sí, conclusiones. Automatizar tareas repetitivas. Utilizar el poder del árbol de sintaxis abstracto para cambios de código. Y si aún no lo has hecho, ve a casa y escribe tu primer mod de código si aún no lo has hecho. Gracias. Aplausos Muchas gracias. Por favor, únanse a mí aquí para algunas preguntas.

Wow, hemos tenido muchas preguntas. Muchas gracias a nuestros miembros de la audiencia por enviarlas. Vamos a responder tantas como podamos en los aproximadamente 12 minutos que tenemos.

La primera pregunta es si la transformación del código fuente del AST del código fuente mantiene el formato original del código fuente. Es una buena pregunta porque podemos utilizar diferentes analizadores y diferentes analizadores proporcionan diferentes resultados. Por ejemplo, tenemos el analizador de Babel, Recast o el analizador de TypeScript y algunos de ellos proporcionan las indentaciones originales o las ubicaciones de cada nodo. Por defecto, sí, pero también podemos proporcionar este parámetro de opción que es el tercero. Allí también podemos agregar algunas cosas adicionales como formatear el código de la manera que queramos, etc. Pero para responder a esta pregunta, sí. Excelente. Gracias.

Siguiente pregunta. Wow, tenemos muchas. ¿Crea usted estos transformadores o los equipos también están obligados a comprometerse con ellos? Bueno, originalmente introduje este enfoque para crear transformadores dentro de nuestro gremio o capítulo de frontend, diría yo. Ahora estoy advirtiendo a los equipos que utilicen los transformadores de la misma manera. Porque es realmente poderoso y hay algunos casos especiales en los que necesitamos actualizar el código en muchos lugares. Y sí, esto ya es utilizado por otros desarrolladores. Básicamente, tenemos una herramienta de línea de comandos o tenemos esta herramienta de línea de comandos integrada en nuestro pipeline. Así que simplemente podemos proporcionar una función de transformación y aplicará los cambios en todas partes. Por cierto, tienes esta función transform.js, que incluso puede ser una URL. Así que simplemente cost shift puede descargar desde algún lugar externo y aplicarlo a tus transformaciones. Interesante. Y creo que esto puede surgir nuevamente en algunas de las otras preguntas que se han hecho. Pero antes de llegar a eso, ¿qué tan bueno ha sido el soporte de TypeScript o TSX con JS code shift? Sí, está completamente soportado. Así que puedes usar el analizador adecuado para eso. También puedes actualizar los tipos de la misma manera que actualizas otros nodos. Así que sí, TypeScript también tiene todos los tipos de nodos utilizando el IST. Genial. Gracias.

Siguiente. Angular ya tiene herramientas agradables para esto.

Por ejemplo, ejecutar automáticamente las actualizaciones de código al actualizar bibliotecas usando ngUpdate. ¿Utilizas una automatización similar? Aún no. Porque nuestro caso no está realmente relacionado con la actualización de las bibliotecas. Esto es solo un ejemplo. Y es realmente raro. Pero, por ejemplo, Codeshift tiene una comunidad bastante grande. Y hay un sitio web llamado Codeshift Community algo. La construcción es una CLI que básicamente proporciona una API adicional sobre JSCodeshift. Y puedes proporcionar la configuración cuando puedes definir cómo se realiza la migración del sistema desde la versión 1 a la versión 2 del sistema de diseño. Y esta es la función de transformación a aplicar. Entonces, básicamente, puedes proporcionar esto en tus lanzamientos de la biblioteca. Función de transformación como lo hace ngUpdate. Genial.

Hay algunos que son similares. Haré la que está en la parte superior de mi lista aquí. ¿Cómo sugieres que otros integren culturalmente la escritura de code mods? ¿Existe un concepto de que quien escribe cambios rompedores debe proporcionar un code mod? Bueno, depende, por supuesto. Pero si quieres satisfacer a los consumidores de tu biblioteca o proyecto, simplemente hazlo con soporte para code mods, ¿verdad? Puedes lanzar cambios rompedores, pero nadie estará contento al respecto. Pero si puedes actualizar sin problemas, obtendrás más beneficios. Sí, eso es completamente justo. Me pregunto, sin embargo, si hay más procesos o modelos mentales o rituales culturales que construyas dentro de tu equipo de ingeniería que animen a las personas a construir code mods específicamente cuando realizan cambios rompedores. Sí. La cuestión es que no todos los proyectos o empresas necesitan code mods, ¿verdad? Porque es bastante código complicado y requiere algunas habilidades. Pero, por ejemplo, si tienes un caso específico, puedes solucionar estos code mods. Solo inténtalo una vez, muestra las sonrisas en las caras de otros desarrolladores, muéstrales mi presentación y estará bien.

Y solo un recordatorio para la audiencia, cuando terminemos con nuestras preguntas y respuestas, todavía tenemos algo de tiempo. Siempre podemos ir a la zona de preguntas y respuestas del orador y puedes hacerle preguntas directamente a Konstantin, porque hay tantas, no creo que podamos responderlas todas en ocho minutos. Creo que la siguiente, creo que actualmente la pregunta más votada es, ¿hay alguna buena herramienta para probar Codemods? O enfoques tal vez, no necesariamente solo herramientas. Bueno, sí, básicamente el enfoque es bastante simple. Simplemente puedes crear un archivo, como un archivo de entrada, como fixtures, y también puedes probar la salida. Y básicamente puedes proporcionar esas características para el marco de pruebas y ejecutar Codemods.

Entonces tomará este archivo original, lo comparará con el esperado y se probará. Genial. Oh, porque puedes generar nuevos archivos, puedes hacer una comparación fácil. Increíble. ¿Cuál es tu opinión sobre los mono-repos o, dicho de otra manera, prefieres ejecutar un codemod en un mono-repo o en muchos no mono-repos? Realmente no tiene sentido ejecutar Codemod en un mono-repo a menos que tengas algún caso excepcional. Pero por ejemplo, si estás exportando un botón, en el caso que acabo de mostrar, puedes usar las herramientas internas del IDE para cambiarle el nombre en todas partes, ¿verdad? Sí. Entonces realmente no importa. Pero si, por ejemplo, tienes código independiente que debe actualizarse en muchos lugares, tal vez, tal vez puedas usar Codemod. Pero no es tan relevante para los mono-repos. Sí, tiene sentido. Creo que esta es una pregunta eterna para los desarrolladores.

¿En qué punto, en tu opinión, vale la pena la automatización? ¿Has tenido algún ejemplo en el que llevaría más tiempo construir scripts de automatización que hacer el trabajo manual para actualizar instancias?

Bueno, esto está relacionado con el tema de la pereza y también con la curiosidad. Puedo hacer este trabajo infinitamente, cambiando aquí y allá todo el tiempo. Pero soy un desarrollador de software por naturaleza y me gusta construir estas cosas. Por supuesto, como consultor de desarrollo de software, tengo que vender a mis clientes este enfoque. Y construyo algunas pruebas de concepto, por ejemplo, y les muestro cómo funciona. Así que no pasé mucho tiempo. Para empezar, GS Code Shift es muy fácil, de verdad. Puedes probarlo y obtener beneficios en una hora. Se trata más de la integración en el proceso actual. Pero una vez que logré esto y traje esta CLI, ya se usó varias veces, y ya se recuperó la inversión.

Recientemente tuve un escenario en el que pasé todo un día escribiendo un script para hacer algo, y era una tarea aburrida y trivial. No quería hacerlo, pero solo me habría llevado una o dos horas hacerlo manualmente.

¿Cómo funcionan los codemods con la palabra clave 'as' para alias de importaciones? Estoy bastante seguro de que esto es parte de la estructura del AST. Entonces, si se analiza con Babel, por ejemplo, también será compatible con gscode-shift. Entonces, gscode-shift, una vez más, es una especie de abstracción por encima del AST que proporciona algunas funciones auxiliares para recorrer y modificar el árbol. Y el analizador puede ser diferente. Puede ser TypeScript. Puede ser Babel. Puede ser otro analizador. Entonces, si es compatible con JavaScript, si es compatible con Babel, también funcionará con gscode-shift.

¿Es posible parametrizar las funciones de transformación para crear acciones reutilizables comunes, por ejemplo, cambiar el nombre de component.js, cambiar props.js, y así sucesivamente? Exactamente. Esta es una opción de tercer parámetro, que es cuatro. Entonces puedes proporcionar parámetros adicionales, cualquier parámetro personalizado, y puedes obtenerlos del objeto. Genial. Es una forma muy flexible y extensible de realizar tareas como esta. Es la impresión que tengo. Cada pregunta es como, ¿funciona en este contexto? ¿Funciona en ese contexto? Y tú dices, sí. Sí, lo hace. Supongo que haré la pregunta inversa, que es, ¿en qué circunstancias has encontrado que las herramientas que presentas hoy no son necesariamente la forma más adecuada de realizar este tipo de cambios? ¿O hay alguna? Bueno, el primero que mencionamos recientemente es simplemente Monorepo. Así que tienes que pensarlo dos veces.

¿Necesitas codemod o no? El segundo, ni siquiera tienes Monorepo. Solo tienes un proyecto. Tampoco hay necesidad de un codemod. Entonces, si tienes algún trabajo que no es repetitivo, que no requiere automatización, entonces tal vez codemod no sea una buena opción. Sí, puede ser un enfoque un poco exagerado, tal vez.

A medida que estamos terminando y nos quedan solo unos minutos, voy a revisar las preguntas y encontrar aquellas que tienen más votos. Aquellas en las que más personas han pedido que se hagan.

¿Podrías usar codemod para migrar de enzyme a una biblioteca de pruebas? Bueno, probablemente podrías implementar uno. Si aún no existe, no lo he verificado, simplemente verifica primero, tal vez ya esté allí. Pero probablemente podrías, porque con codemod básicamente puedes hacer mucho. Por ejemplo, puedes encontrar el codemod que migra componentes de clase a componentes funcionales en la biblioteca codemod de React. No admite casos avanzados, pero realiza algunas migraciones básicas. Si necesitas utilizar análisis estático para comprender qué se debe hacer, puedes basar un algoritmo en eso. Así que básicamente puedes implementar este codemod.

Genial. Creo que tal vez tengamos tiempo para una más muy rápida, que es si puedes usar la diferencia del AST de dos versiones diferentes de bibliotecas para generar transformadores en lugar de escribirlos tú mismo. Bueno, no realmente, supongo, porque necesitas invertir el enfoque, ¿verdad? Tienes que crear una función de transformación a partir de estos dos códigos fuente. Es un poco complicado. Supongo que es hora de que la IA se encargue de eso. Sí, sí, absolutamente. Nos ahorra todo el tiempo de escribir código, tal vez cualquier código en absoluto, ¿y luego qué hacemos? Muchas gracias por la increíble charla. Muchas gracias por ser tan flexible al utilizar el tiempo que tenemos hoy cuando te pedimos que ocuparas este espacio. Gracias en nombre de toda la audiencia. Gracias a todos los que hicieron preguntas. Sé que no pudimos responder a todas. Puedes ir a la sección de preguntas y respuestas del orador y hacer esas preguntas ahora mismo.