Entrevistas en el Mundo Post-LLM

Bien, increíble. Gracias. Vamos. Comencemos. Te sorprendería ver cuántas empresas todavía están luchando por adaptar sus procesos de entrevista a este nuevo mundo post-LLM ¿verdad? Donde la diferencia entre humanos y máquinas se está acercando cada vez más y es difícil distinguirlos unos de otros. Se siente un poco como si estuviéramos atrapados en los años 2020, ¿verdad? Y habiendo tenido un cambio tan grande en la industria, se siente como si hubiéramos perdido algo. Hemos perdido la forma de hacer entrevistas como estábamos acostumbrados durante no sé cuántos años. Y es por eso que creo que muchas de estas empresas están pasando por las cinco etapas del duelo, ¿verdad? Y aquí tengo un par de ejemplos para que puedas identificar en qué parte de este viaje está tu empresa, digamos.

Entonces, ya sabes, la primera etapa es siempre la negación, ¿verdad? Y en la fase de negación, si ves una empresa en esta fase, a menudo las verás, ya sabes, intentarán prohibir la IA en sus procesos de entrevista o, ya sabes, podrían eliminar la tarea para llevar a casa porque saben que la IA lo hará en lugar del humano mismo, ¿verdad? O están obsesionados con tener todo en vivo. Te invitarán a la oficina y observarán todo lo que haces en el lugar, ¿verdad? Así que esa es la etapa de negación. Luego viene, por supuesto, la etapa de ira, ¿verdad? Donde las entrevistas de repente se vuelven irrealmente más difíciles. Comenzarás a recibir estas preguntas trampa repartidas por todo el proceso de entrevista para que te tomen desprevenido, ¿verdad? O incluso podrían, estas pruebas de repente se convierten en una especie de pruebas de pureza donde buscan un ingeniero unicornio que ni siquiera existe. Y luego intentan hacerte todas estas preguntas difíciles solo para ver si eres capaz de responderlas tú mismo o si es en realidad una especie de IA la que se quedará atascada en algún punto, ¿verdad?

Si lograste pasar la etapa de ira, estás en la etapa de negociación donde verás que, ya sabes, llegarás a una entrevista y podrían decirte que, ya sabes, podrían darte el LLM de su elección y no el tuyo. O podrían darte requisitos extraños que realmente no entiendes y así sucesivamente. Y eventualmente esto creará una especie de experiencia poco clara para la persona que está siendo entrevistada, entonces no entenderás qué están buscando y qué no están buscando. Y, y eventualmente, ya casi llegando. Ahora estamos en la fase de depresión donde las empresas están como rindiéndose en la forma en que hacen entrevistas. Realmente no saben qué funciona. Realmente no saben qué funciona y qué no funciona, ¿verdad? Y están tratando de cambiar constantemente su ciclo de entrevistas, lo que hace más difícil para las entrevistas así como para los entrevistados entender qué se espera de ellos, ¿verdad? Y eventualmente introducen más y más etapas, ¿verdad? Podría haber una nueva, una nueva etapa añadida como la etapa de verificación de IA o una etapa de uso de LLM o lo que sea. Todas estas nuevas etapas añadidas, lo que hace que la experiencia sea aún peor. Eventualmente, si finalmente, ya sabes, llegas al final y has aceptado que, que es un mundo diferente ahora, te encontrarás que, ya sabes, finalmente tienes un proceso claro de lo que vas a hacer, cómo vas a hacer preguntas y cuántas etapas tendrás y así sucesivamente. Definitivamente deberías fomentar el uso de LLM durante todas esas etapas de las entrevistas. Y con suerte a lo largo del viaje, te centrarás en sus, en sus habilidades de razonamiento en lugar de en la producción que se te ha dado, no en el código en sí, sino en cómo logran ese código. ¿Verdad? Soy Daniel. Soy un líder de equipo en remote.com. Soy coautor de la brújula de gerentes de ingeniería y soy blogger en incremental forgetting.tech y me encanta contratar. Y creo que en parte es porque he pasado bastante tiempo en un par de scale-ups donde tuve que hacer en algunos casos cuatro o cinco entrevistas al día durante años, años, ¿verdad? Y se acumuló, se acumuló. Y siempre traté de optimizarlo. Siempre traté de entender cómo podía hacer esto más eficientemente y, ya sabes, y eventualmente terminar con mejores resultados a largo plazo. ¿Verdad? Así que muchos de mis amigos me preguntan, ¿por qué, por qué te gusta tanto contratar? ¿Es porque te gusta hablar con la gente? ¿Es porque te gusta experimentar con preguntas de entrevista y así sucesivamente? Y en realidad la respuesta es mucho más simple que eso, ¿verdad? Es porque es lo más importante que hay en una empresa tecnológica y en realidad en cualquier empresa, yo argumentaría.

Aquí hay una cita de Laszlo Bock, quien es el ex SVBP de Google People Operations. Y él dice, ya sabes, las grandes personas son el activo más importante de una empresa. Contratar es lo más importante que haces. Y podría haber elegido fácilmente cualquier otra empresa que sea, ya sabes, significativamente grande e impresionante en esta época. Y yo podría encontrar fácilmente una cita muy similar de cualquier líder que verías. Definitivamente es lo más importante, ¿verdad? Pero antes de que avancemos y, ya sabes, pensemos en cómo vamos a cambiar nuestro proceso de entrevista, qué tipo de preguntas deberíamos hacer y demás, deberíamos dar un paso atrás y pensar en lo que estamos buscando. ¿Cuáles son las habilidades, las técnicas? ¿Qué es lo que realmente buscamos? E incluso cuando sabemos eso, ¿cómo hacemos la pregunta para realmente obtener eso, entender si esa habilidad está presente o no? Correcto. Y para hacer eso, ya sabes, tomemos un rol ficticio y, ya sabes, un rol que potencialmente es válido hoy, el rol de AI Native Engineer. Lo primero que creo que deberías hacer es sentarte y pensar en esa descripción del trabajo, ¿verdad? ¿Qué va a hacer esta persona en el día a día? ¿Con quién trabajará esta persona en el día a día? ¿Cuáles son los KPIs que se espera que mejoren? Y, ya sabes, el nivel de apoyo que van a recibir de la empresa. ¿Están respaldados por el CEO? ¿Se espera que florezcan por su cuenta? Todas estas cosas deben, creo, decidirse de antemano, ¿verdad? Realmente necesitas escribir estas cosas para que tengas una comprensión aproximada de lo que estás buscando, porque sin eso, no podrás encontrar eso, ¿verdad? Como necesitas adaptar tus preguntas en torno a esto. Cuando pensamos en el tipo de cosas que podríamos estar buscando en la izquierda, tenemos como el qué, ¿verdad? Podría ser una habilidad específica que buscas o una técnica específica, o, ya sabes, tal vez estás buscando un generalista o un especialista extremo, o tal vez son experiencias pasadas específicas que esperas que esta persona tenga y demás. Hay una lista enorme, enorme, enorme de cosas que podríamos estar buscando. Y una vez que sabes eso, también está el cómo obtienes, ya sabes, las respuestas a esas preguntas. Entonces, ya sabes, si esta persona tiene estas cosas que esperas que tengan, ¿verdad? Podría ser una tarea para llevar a casa o una cosa de lead code o un acertijo. Incluso he visto pruebas de CI enviadas durante entrevistas técnicas, ¿verdad? Hay muchas, muchas cosas diferentes que puedes hacer. Pero creo que antes de que te lances a este mar loco y trates de averiguar con qué te encontrarás, es inteligente dar un paso atrás y pensar en un marco, un sistema en el que puedas funcionar, porque eso hará tu trabajo un poco más fácil. Y el marco para nosotros hoy es CASAO. No tengo ni idea de cómo pronunciarlo, pero eso es lo mejor que pude hacer al respecto. CASAO significa conocimiento, habilidades, capacidades y otras cosas. Cuando hablamos de conocimiento, son cosas que el candidato sabe, ¿verdad? Una cierta tecnología, un cierto idioma, lo que sea que estés usando en tu empresa, ese es el conocimiento que estás buscando. El segundo tipo son las habilidades. Las habilidades son las cosas que esta persona es capaz de hacer, ¿verdad? Podrían ser, no sé, podrían ser un especialista en ROS y saben cómo hacer ciertas cosas de cierta manera. Tal vez han construido CLIs toda su vida y saben cómo construir CLIs perfectamente, ¿verdad? Como ese tipo de habilidades que podrías estar buscando. Las capacidades son muy similares a las habilidades, pero estas son cosas que son un poco más difíciles de enseñar, como la capacidad de razonar sobre un sistema complejo, la capacidad de descomponer tareas en tareas más pequeñas y demás. Estas son cosas que puedes, por supuesto, poco a poco, enseñar a un humano, etc. Pero generalmente las personas han crecido para tener estas cosas, ¿verdad? Así que las capacidades son un poco más difíciles de encontrar en comparación con el conocimiento o las habilidades. El conocimiento y las habilidades puedes enseñárselas a cualquiera en comparación con las capacidades, que es muy difícil de enseñar. Y por último, tenemos el otro, y el otro tiende a ser, ya sabes, tal vez estás buscando una motivación específica, o tal vez quieres que esta persona viva en un cierto país, ¿verdad? Como todas estas otras cosas externas adicionales que podrías esperar que esta persona tenga, todo eso cae bajo la categoría de otro. Así que nuevamente, para el AI Native Engineer que estamos buscando, intentemos hacer este ejercicio un poco para ver cómo funciona, ¿verdad? Así que sabemos cuál es la descripción del trabajo. Pensemos un poco sobre el conocimiento que esperamos que esta persona tenga, ¿verdad? Probablemente querríamos que esta persona entienda cómo funcionan un poco los LLMs. Deberían saber sus fortalezas, sus debilidades y todo eso, ¿verdad? También probablemente deberían tener un poco de comprensión sobre el riesgo de IA, la gobernanza de IA.

¿Cómo prevenirían la inyección de prompts o qué datos podrían potencialmente filtrar o no, verdad? Estas son habilidades muy concretas y en cierto modo habilidades en blanco y negro que sabemos que esta persona debería poseer ya desde el primer día. Luego tenemos las habilidades de tal rol, ¿verdad? Donde definitivamente esperaríamos que esta persona sea capaz de descomponer tareas complicadas, ¿verdad? Dado que ahora codificar es barato, esperamos que las personas operen a un nivel ligeramente más alto, ¿verdad? Así que estarán recibiendo tareas más grandes. Estarán recibiendo, ya sabes, proyectos de extremo a extremo y demás, y deberían ser capaces de dividirlo en tareas más pequeñas. Deberían ser capaces de escribir sus propias habilidades, inventar sus propios prompts o lo que sea.

Como todas estas cosas, estas son habilidades esperadas del rol. Y esperamos que puedan de alguna manera verificar el resultado de su IA para que puedan garantizarse a sí mismos, así como al resto de la empresa, que lo que están haciendo es seguro y sólido. Podríamos esperar definitivamente que los candidatos tengan ciertas habilidades, ¿verdad? La curiosidad es una. Creo que lo hemos escuchado múltiples veces hoy, pero en esta industria, en esta época donde todo sigue cambiando, ¿verdad? Si no tienes esa curiosidad innata en ti, te quedarás atrás. Siempre deberías estar preguntándote, siempre estar aprendiendo. Y eso es algo que es muy difícil de enseñar al ser humano y también, por lo tanto, muy difícil de evaluar durante una entrevista, ¿verdad? De manera similar, la agilidad para aprender. Cuando las cosas cambian, ¿son capaces de adaptarse? ¿Son capaces de actualizar sus herramientas, su forma de trabajar, todo esto?

Esto es lo que estaríamos buscando en tal rol. Y bajo otros, ya sabes, podríamos querer que esta persona tenga humildad intelectual, como en, ya sabes, cuando dependes de una herramienta para de alguna manera ayudar a darte respuestas de un sistema complejo, lo que sea, deberías saber que no sabes todo lo que esta máquina te da, ¿verdad? Podrías cometer errores. Podrías malinterpretar cosas tú mismo también. Y con suerte, tendrás a alguien que tenga la humildad intelectual para decir, en realidad lo hice. No, no esperaba que este resultado sucediera.

Es hacer que el candidato profundice. Ya sabes, la famosa pregunta donde les pides que elijan algo en lo que han trabajado, algo en lo que han pasado bastante tiempo, y que me lo expliquen y profundicen en ello, ¿verdad? Así que durante este proceso, realmente estás observando las habilidades de los candidatos. No se trata realmente de lo que han construido.

Se trata de si tienen esta capacidad de poder explicarte este sistema complejo, entrar en cada rincón, cada borde de él, y así sucesivamente, y demostrarte que no solo saben, no solo poseen el conocimiento de lo que se estaba construyendo, sino que son capaces de transmitir esa información compleja a ti. Estas son una de las mejores técnicas de entrevista que he visto. Todavía funciona incluso en esta época donde las personas pueden aprovechar LMs para hacer lo que puedan. Deberían ser capaces de profundizar, ¿verdad?

No debería ser una caja negra lo que han construido en el pasado para ellos. Deberían entender aproximadamente qué hay dentro de esa caja negra. La segunda técnica que realmente me gusta es leer código.

vez algún día los LLMs lo resolverán por nosotros y ni siquiera tendremos que preocuparnos por eso. Pero aún así, preferirías que alguien tuviera esa habilidad de lidiar con la ambigüedad, entender algo que es súper grande que existía allí, y tratar de profundizar y averiguar qué cambiar y cómo cambiar, ¿verdad? Así que una pregunta como ayudar a tus compañeros a entender qué hace esta gran base de código es una excelente manera de llegar al fondo de eso. Simplemente dales un proyecto de código abierto o dales un gran servicio que puedas tener en tu empresa. Haz que lo lleven a casa, ya sabes, podrían usar cualquier técnica que quieran. Podrían ejecutar sus LLMs en él, etcétera. Luego los traes al sitio y les dices, explícamelo. Y con suerte, te mostrarán lo que han entendido y con suerte, estarán presentando diagramas y podrán mostrarte secuencias de cosas y realmente, realmente asegurarse de que, ya sabes, la información te llegue.

Esa es una de las mejores maneras de identificar a las personas que tienen estas habilidades. Revisar código es una de ellas. Es casi muy, casi idéntico a leer código, pero tendría una ligera diferencia porque nuevamente, estás mirando no solo habilidades sino también capacidades en el sentido de que cuando estás revisando código, te enfocas en encontrar errores, encontrar lo que podría salir mal y así sucesivamente, ¿verdad? Así que es una mentalidad ligeramente diferente a tratar de entender qué está haciendo el código. Por lo tanto, con suerte, verás de repente qué le importa a esta persona, ¿verdad? ¿Les importa la calidad? ¿Les importa la escalabilidad?

Todas estas cosas de repente te saltarán a la vista si les pides que revisen código y obtienes su revisión. Y nuevamente, un proceso asíncrono, ¿verdad? Así que les das un gran MR. Podría ser como, ya sabes, un MR de 30,000 líneas y haz que lo resuelvan, ¿verdad? Haz que regresen a ti y digan, esto es todo lo que he encontrado. Esto es todo lo que encuentro importante.

No entiendo esta parte pero tampoco necesito entenderla porque aquí hay un diagrama que me explica qué hace, etcétera, ¿verdad? Entonces no solo estás viendo si realmente pueden usar todas estas herramientas para averiguar qué hace el código y dónde podría estar fallando, sino que también deberían poder explicártelo en palabras que, ya sabes, puedas tomar, entender, adaptar y cambiar, digamos.

Escribir RFC, esta es una nueva que he estado probando. No he tenido suficiente tiempo y datos para experimentar con esta idea pero, ya sabes, nuevamente, porque escribir código es ahora la parte barata, se trata de diseñar los sistemas. ¿Cómo se te ocurren estos, ya sabes, sistemas complejos? ¿Qué construyes? ¿Cómo lo construyes? ¿Cuándo lo construyes y así sucesivamente? Y los RFCs son una gran técnica para, ya sabes, hacer que los ingenieros hagan un plan aproximado, una idea, miren las diferentes opciones y te presenten los compromisos de lo que podría funcionar y lo que no podría funcionar y así sucesivamente.

Así que nuevamente, ya sabes, dales una tarea compleja, envíalos a casa, ya sabes, haz que escriban un RFC y regresen a ti y tengan esa discusión en torno a ese RFC, ¿verdad? ¿Consideraron los compromisos? Tal vez el LLM lo ha hecho pero ¿han entendido los compromisos, verdad? Así que entonces puedes tener esa conversación en persona. El diseño de sistemas es otro que he usado un par de veces. Todavía dudo si este es útil pero veo resultados extremadamente positivos así como resultados extremadamente negativos en algunos casos donde nuevamente, haces un ejercicio similar, les das una tarea compleja, ya sabes, los envías a casa, podrían usar cualquier técnica y sistema y, ya sabes, regresan a ti con un diseño de sistema. Y una vez que tienes el diseño y una vez que tienes a esa persona frente a ti, entonces comienzas a jugar con él.

que tienes a esa persona frente a ti, entonces comienzas a jugar con él. ¿Por qué tomaste esta decisión en lugar de esa decisión? ¿Qué pasaría si elimino esta caja? ¿Cómo reaccionaría tu sistema a eso, verdad? Así que todas estas preguntas te permiten ver si primero que todo entienden lo que se está produciendo, pero también qué pasaría, ya sabes, en caso de que las cosas cambien en ese sistema y así sucesivamente.

Esas son un par de técnicas y hay muchas más que puedes encontrar en mi blog. Pero también quiero dar un par de consejos para ayudarte a comenzar porque a veces, ya sabes, una técnica por sí sola realmente no significa mucho si no tienes realmente la forma correcta de ejecutarla, digamos. Así que un par de consejos de la bolsa es uno es, ya sabes, muchas veces veo a personas tratando de meter muchas preguntas en nuestra sesión, ¿verdad? Como que no se trata realmente de la cantidad que estás allí que puedes obtener lo mejor de una entrevista.

Se trata realmente de la calidad. Es mejor hacer solo una gran pregunta como para profundizar, que tener 10 preguntas, ya sabes, que están muy dispersas y nunca llegas a profundizar mucho con ellas, ¿verdad? Así que ve por calidad y no por cantidad. El segundo es no hagas cosas en vivo.

Como que no tiene sentido tener a una persona, ya sabes, unirse a una llamada y estás entrevistándolos y esperas que abran su LLM y estén escribiendo algo y ambos estén esperando cinco minutos para esto. Solo obtienes tal vez cuatro, en el mejor de los casos, ocho horas de tiempo de calidad con un candidato desde el principio hasta el final de tu proceso de entrevista. Y si estás desperdiciando 20 minutos de eso, estás desperdiciando una gran parte de ese tiempo solo esperando que sucedan cosas. Haz todo eso de manera asincrónica, ¿verdad? Solo déjalos hacer eso en casa. Luego vienen y entonces puedes tener esa conversación sobre el resultado que se generó en casa, ¿verdad? Esto es mucho mejor. No lo hagas en vivo. Fomenta el uso de LLM, ¿verdad? Como que puede haber casos en los que las personas asuman que no deberían estar usando.

Un día en las carreras sigue siendo uno en el que me siento bastante fuerte, aunque no creo que encaje con el tipo de mundo híbrido remoto en el que estamos hoy. Pero es tan revelador tener a un ingeniero venir a la oficina, tal vez pasar un día o medio día contigo. Puedes almorzar con esta persona. Puedes tener una pequeña charla. Podrías tener una programación en pareja con otro ingeniero que tengas para que puedas ver cómo la persona encaja en el equipo y demás. Es extremadamente valioso, pero por supuesto, es más difícil, ¿verdad? Estás tomando casi un día de la vida de esta persona. Y no todos pueden hacer eso, ¿verdad? Todos tenemos trabajos. Todos tenemos hijos o lo que sea, pero si puedes pagarles o de alguna manera devolver algo a esta persona para que no sientan que han pasado un día entero y al final, tal vez sean rechazados al final del proceso de entrevista, ¿verdad?

Extremistas es uno donde siento que pueden hacerlo o romperlo, ¿verdad? Si tienes una startup, es muy claro lo que quieres hacer. Consigue un extremista y avanzarás súper rápido, súper lejos. Mientras que si tienes una empresa de tamaño mediano, grande, muchos ingenieros diferentes, seniors, juniors, lo que sea, cuando consigues un extremista, serán muy, muy difíciles de manejar y de encajar en Lo que quiero decir con extremistas es, ya sabes, esas personas que son creyentes de tecnologías o metodologías o lo que sea. Y todos los han visto, ¿verdad? Todos han visto a ese tipo que viene y dice, Ross puede arreglar esto. Y por qué? Como, ¿por qué, Ross? No quieres a esos extremistas. Pueden ser muy, muy difíciles de mantener.

Y la forma en que los descubro durante las entrevistas es presentarles un dilema, ¿verdad? A menudo tengo esta técnica de entrevista escalar donde les digo, imaginemos que hay una escala donde en un lado tienes a un arquitecto que es muy lento pero muy meticuloso. Y en el otro lado, tienes a un hacker que es muy rápido, pero tal vez no tan cuidadoso con sus decisiones. ¿Dónde estás tú y por qué? Y entonces verás a esos extremistas saltar y decir, soy un hacker porque soy rápido. Y entonces dirás, OK, pero ¿por qué? Sabes, se trata de los compromisos, ¿verdad? Se trata de entender cuál es la ventaja de uno frente al otro. Y cuando ves a un extremista, creo que deberías tener mucho cuidado al considerar contratarlos o no. Tarjetas de puntuación. En última instancia, en una entrevista, es algo humano ¿verdad? Como nos sentamos, decidimos, tomamos una decisión.

En última instancia, en una entrevista, es algo humano, ¿verdad? Como nos sentamos, decidimos, tomamos una decisión. Por lo tanto, el sesgo siempre estará presente. Hagas lo que hagas, el sesgo estará presente. Y creo que las tarjetas de puntuación son una de las mejores maneras de eliminar un poco más el sesgo de lo que realmente es. Y por tarjeta de puntuación, quiero decir, ya sabes, probablemente todos han llenado esas, ya sabes, después de la entrevista, cómo las llamas, formularios, digamos. Ya sabes, que podrían decir un cuadro de texto, explíquenme qué les gustó. Otro cuadro de texto, explíquenme qué no les gustó. Bueno, eso es como abrir el campo para la interpretación, abrir el campo para el sesgo, ¿verdad?

Idealmente, quieres tener deslizadores. Idealmente, quieres tener casillas de verificación donde simplemente digas, ¿podría esta persona responder esto? Sí o no. ¿Cuál fue el nivel de experiencia de esta persona? Simplemente arrastras un deslizador. Por lo tanto, no permites que nadie introduzca ningún sesgo a través de su bonita redacción o, ya sabes, su forma elegante de vender a este ingeniero que realmente les gustó entrevistar en el proceso. Probar tus etapas. Uno, te sorprendería la cantidad de empresas que no lo hacen, ¿verdad? Estamos cambiando etapas. Estamos probando diferentes técnicas y demás. Y si no mides, si no pruebas lo que estás haciendo, nunca sabrás qué funciona y qué no funciona, ¿verdad?

Mide el tiempo que lleva pasar por estas cosas. Mide el tiempo que lleva incorporar a esta persona. ¿Cuánto tiempo permanecieron en la empresa? ¿Fue tan exitoso como esperabas que fueran antes de contratarlos y demás? Todos estos números importan. Y una vez que los tengas, entonces verás qué está funcionando y luego podrás adaptar el proceso según tus necesidades, ¿verdad? Así que ser un poco seudo-científico en este dominio ayuda mucho. Ayuda mucho. Y 10x, ¿verdad? No olvides ahora, todo es 10x. Hay 10x más código, 10x más revisiones, 10x más errores y demás. Así que no mantengas tus, ya sabes, tus asignaciones, tus asignaciones de revisión de código o asignaciones de revisión técnica, lo que sea. Espera el 10x. O cuando les pidas que revisen el código, dales 10x más código, ¿verdad? Porque eso es con lo que tendrán que lidiar en esta época.

Y si no son capaces de hacer eso, entonces probablemente no están a la altura de los nuevos desafíos de este nuevo mundo, ¿verdad? Así que para recapitular, escribe la descripción del trabajo, obtén tu SEO, prepara tus preguntas, pruébalo internamente, realiza experimentos, ¿verdad? Intenta medir y entender y eventualmente medir el éxito de tu proceso de entrevista. Y para cerrar, quiero dar un par de reconocimientos a las personas que me han dado esta idea y que de alguna manera han debatido conmigo sobre ella y demás que me ayudaron a mejorar. Este es el libro si estás interesado en aprender más sobre, ya sabes, el tipo de información tácita sobre la gestión de ingeniería, que estoy tratando de hacer un poco más explícita en el libro, junto con mi coautor Maxim. Aquí tienes. Y también proporcionaré un par de enlaces, que también, ya sabes, podrás ver una vez que comparta mis diapositivas después de la charla. Y si tienes más preguntas, ya sabes, ven y encuéntrame en el evento. Soy una persona accesible. No muerdo. Así que solo, ya sabes, ven y di hola y tendremos una discusión. Gracias. Tenemos un conjunto de preguntas aquí. Así que si no has puesto tu pregunta, dirígete a Slido, ponlas, vota por las que te gusten, ese tipo de cosas. Comenzaremos aquí. Así que primera pregunta, la mayoría de estas técnicas requieren bastante inversión de tiempo por parte del solicitante. Entonces, ¿cómo propones que recompensemos su tiempo y tal vez incluso los tokens? Esa es realmente buena. Creo que los tokens, definitivamente podrías ayudarles proporcionando un token de API que podrías estar creando temporalmente dado eso. Y creo que eso es factible. La compensación, creo, puede venir en varias formas y maneras, ¿verdad? Así que definitivamente podrías compensar por el tiempo, o podrías de alguna manera ayudarles a contribuir a algo. Así que he visto un par de veces, por ejemplo, que la asignación tenía un proyecto de código abierto bien conocido que se daba como un desafío. Al final del día, ya sabes, incluso si no fuiste aceptado, tenías un commit que fue a, no sé, Mozilla Firefox o algo así. Así que todavía te llevaste algo, ¿verdad? Así que puedo imaginar que puede haber varias otras formas y maneras en que puedes compensar eso. Pero quiero decir, al final del día, es un juego de dar y recibir, ¿verdad? Como que estás ahí para, con suerte, ser contratado, y estás ahí para, con suerte, obtener lo mejor de esta persona. Así que sí, no sé. Espero que eso ayude. Bien. Siguiente pregunta. Comienza con un cumplido. Gran charla. Cuando dices que has medido estas técnicas y preguntas de entrevista, ¿cómo has realizado una evaluación empírica de ellas? Esa es buena. Eso es realmente también hoy en día mucho más fácil, por cierto.

Pero soy bien conocido por medir todo lo que hago cada día, ya sabes, ya sea mi trabajo de ingeniería o mi trabajo de entrevistas. Así que me aseguraré de cronometrar todo, medir éxitos, hacer seguimiento, y así sucesivamente. Como muchos datos que tengo alrededor del reclutamiento. Y eso también, por cierto, ayuda a tus equipos de reclutamiento, porque tienden a no tener esas habilidades. Tienden a no medir estas cosas con tanto detalle, ¿verdad? Y una vez que tienes eso, hay muchas técnicas que puedes usar para, de alguna manera, visualizar, obtener un embudo, ver la velocidad del tiempo, ver el, ¿cómo lo llamas?, el retorno sobre el tiempo que has invertido en esta persona y así sucesivamente. Y los LLMs son realmente geniales. Una vez que tienes esos datos, literalmente puedes pedirle a un LLM que te ayude a descubrir qué mejorar, dónde mejorar y así sucesivamente.

Así que eso es bueno. Bien. Siguiente pregunta. ¿Cómo estás lidiando con las estrictas restricciones impuestas por la Ley de IA de la UE sobre el uso de IA en el proceso de reclutamiento y selección de candidatos? Esa es buena. Esa es buena.

Esa es una, creo, donde nuevamente, darles esa tarea para que vayan a casa y usen lo que tengan es, creo, un enfoque un poco mejor que abrir este caso donde les estás dando tu LLM y tal vez les estás dando parte de tu base de código, etcétera. Creo que realmente tienes que tener cuidado con cuál es esa tarea que les estás pidiendo que lean o revisen, etcétera, por lo cual a menudo prefiero un proyecto de código abierto que tomo y doy al candidato para que revise en lugar de entrar en este camino de averiguar qué hacer, cómo hacerlo, y así sucesivamente. Así que simplemente evitarlo, creo, es la respuesta correcta. Bien. Siguiente pregunta.

¿Cómo pueden los ingenieros junior prepararse para estas técnicas de las que has estado hablando? Creo que, quiero decir, a menudo me encuentro, así que cuando diseño este tipo de preguntas o técnicas o lo que sea, construiré varios ejemplos de tales preguntas, y tomaré diferentes proyectos, de diferentes tamaños, y así sucesivamente, y los revisaré yo mismo solo para tener una idea de ello porque no, ya sabes, deberías probar lo que estás haciendo, ¿verdad? Como que no vas a dar algo que no sabes cómo realmente funciona. Pero luego a menudo también conseguiré un par de personas de la empresa, así que conseguiré ingenieros junior y podría darles la tarea también, y veré cómo trabajan y funcionan, ¿verdad? Y si realmente están luchando con ello, podríamos añadir un par de, ya sabes, pistas de ayuda o lo que sea en el readme para ayudar a guiar a los ingenieros junior durante el proceso de entrevista, o tal vez simplemente funcione, ¿verdad? Y especialmente hoy en día, creo que he visto más sorpresas venir de juniors que, ya sabes, de seniors porque no esperas mucho de ellos, mientras que ellos vienen y con todas las herramientas y todo el conocimiento que tienen hoy en día, realmente pueden sorprenderte con lo que se les ocurre y demás. Así que, sí.

Muy bien, siguiente pregunta. ¿Tienes alguna idea sobre la experiencia del candidato con tu entrevista y técnicas del mundo LLM? ¿Son los candidatos positivos? Siempre les preguntamos al final del ciclo cómo se sintieron al respecto y demás, y en su mayoría obtenemos resultados positivos. Definitivamente hay personas que se sorprenden, supongo, porque no todos hacen estas cosas, y a veces son un poco sorprendentes, ¿verdad? Así que obtienes, cuando un candidato a menudo está molesto, cuando los rechazamos, y demás, podrían de repente recurrir a esa entrevista que tuvieron, y podrían decir, sí, me hiciste revisar código y eso fue, como, lo entendemos. Pero más a menudo que no, las personas están realmente más contentas con estas cosas porque se sienten libres. Pueden usar lo que quieran, y es más o menos lo que se espera de ellos en el día a día de todos modos. Así que no he tenido mucha retroalimentación negativa al respecto. Sí, también quiero opinar un poco sobre eso. Hacemos una entrevista de codificación enfocada en LLM. Es una entrevista de codificación en vivo, pero cuando les decimos a los candidatos sobre ello, es una bifurcación. Algunos candidatos son como, ¿por qué? Pero la mayoría son como, wow, porque están haciendo eso, así es como están codificando, ¿verdad? Y así ver, es lo que decías sobre las etapas del duelo, ¿verdad? Ver la aceptación de, oh sí, esto es lo que vamos a hacer, así que entrevistemos basándonos en ello. A muchos candidatos les encanta. La siguiente pregunta que tenemos es sobre el sesgo. Esta es una jugosa. ¿Es el sesgo tan malo? Donde en última instancia la pregunta es, ¿le gustaría al equipo trabajar con esa persona? Entonces, ¿cómo es la química? El sesgo, supongo, no es necesariamente malo. Es una pregunta muy difícil. Es una pregunta jugosa. Lo que en última instancia no quieres es, como cuando estás reclutando, estás tratando de hacer crecer una empresa, estás tratando de contratar a más y más personas, ¿verdad? Como que solo estás creciendo y no quieres diluir las habilidades y el conocimiento de la empresa y demás, ¿verdad? Como que no quieres contratar a más y más mediocres, por lo tanto, la empresa solo se convierte en una empresa más mediocre con el tiempo. Preferirías contratar a personas que sean mejores que tú, que puedan enseñarte y hacerte crecer y demás. Y a menudo no es el caso que obtienes estas cosas cuando dejas que las personas tengan ese sentimiento de que dicen, oh, realmente me gusta esta persona, podría trabajar con él. Podrías trabajar con él, eso está bien, pero en última instancia, ¿esa persona va a aportar algo a esta empresa? Esa es la pregunta que estás tratando de responder, ¿verdad? Pero dicho esto, por supuesto, no contrates a genios arrogantes, ¿verdad? No es el caso que estoy haciendo, pero el sesgo más a menudo que no te llevará hacia la mediocridad en lugar de la excelencia, diría yo. Sí, creo que entrevistar en ambos lados es una verdadera habilidad. Lo es. Y no todos los que están entrevistando candidatos saben qué buscar. Y así tener esa hoja de puntuación realmente puede ayudar a guiarlos en términos de, oh, pensé que esto solo estaba mirando el resultado, pero realmente estoy buscando cómo se ajustan a la controversia o ser empujados de esta manera o lo que sea.

¿Cómo sabes que las métricas de tu contratación, retención de desarrolladores, velocidad de incorporación, no están relacionadas con factores externos como relaciones tóxicas en el equipo o políticas de la empresa, etc.? ¿Durante la contratación? Creo que para interpretar, si estoy interpretando correctamente, mencionaste que mantenías métricas a lo largo de cómo las personas se retenían, y se preguntan cómo lo atribuyes al proceso de contratación en lugar de a qué equipo llegaron u otros factores? Esa es buena, de hecho. Esa es una en la que no había pensado. Intento, quiero decir, idealmente, supongo que en una empresa, tu objetivo es tratar de llevar a cada equipo a aproximadamente el mismo nivel, ¿verdad? Como que no quieres que un equipo sea malo y el otro sea el mejor. Y así, con suerte, estás trabajando duro para asegurarte de que esto, ya sabes, el conocimiento se difunda por toda la empresa, y todo esté más o menos equilibrado y demás. Así que, de hecho, con mis métricas, solo asumo que ese es el caso. Así que no voy a mirar dónde ha aterrizado esta persona y si eso ha tenido un efecto en ello, etc. Podría ser interesante considerarlo, pero personalmente no lo he considerado. Así que no lo sé.

Muy bien. Creo que estamos justo a tiempo. Así que gracias. Gracias.