Entonces, lo que queremos de la AI está formateado como JSON. Esto es realmente genial. Puedes decirlo. A veces requiere un poco de persuasión. Pero puedes decirle a estos modelos de AI—ChatGPT y lo que sea. Puedes decir, está bien, quiero estos data, pero dámelo formateado como X, Y y Z. Entonces puedes decir, dame la salida formateada como JSON. Y lo he llevado a un punto donde puedo analizar con confianza el JSON.parse de la entrada de la AI. Todavía tengo RapidTry catch alrededor, por si acaso. Pero probablemente después de ejecutarlo 300 veces, nunca me ha dado un JSON directo. Entonces tenemos la transcripción. Luego lo que hacemos es decir, resumir la transcripción del podcast en puntos muy concisos cada uno conteniendo unas pocas palabras. Entonces el indicador real para eso es mucho más largo, lleva un poco de tiempo, pero básicamente lo haces, le das la marca de tiempo, le das el hablante y le das como... Se llaman enunciados, cosas que se dijeron. Sin embargo, hay un problema en que estos modelos solo pueden tomar una cierta cantidad de entrada. Se llaman tokens. Y un token es algo así como una palabra, pero es un poco diferente y los períodos y las comillas también son tokens. Entonces un podcast de una hora son 15,000 tokens y eso está más allá del límite de la mayoría de las AI accesibles. Entonces GPT 3.5, tiene un límite de 4,000 tokens, cuatro son alrededor de 8,000 tokens. Luego hay un par de estos últimos tres que no son accesibles para la mayoría de los mortales en este momento. Anthropic está diciendo que te permitirán usar 100,000 tokens, lo cual va a ser salvaje porque literalmente podrías enviarle toda tu base de código, bueno, depende de cuán grande sea tu base de código, pero puedes enviarle bastante contexto para que realmente entienda cómo funciona. Pero aquí estamos, incluso si tenemos el dinero para GPT 4, solo tienes 8,000 tokens y eso incluye la respuesta que te está enviando. Entonces en realidad solo puedes enviarle 6,000, tenemos 15,000. Entonces la respuesta a que la AI no pueda encajar es la AI, lo cual es un poco aterrador que la respuesta a muchos problemas de la AI también sea la AI pero la forma en que funciona es que condensas o resumir lo que tienes. Entonces tomamos la transcripción de entrada que es como salió de mi boca y decimos, por favor condensa esto para que sea aproximadamente un 80% más corto o un 50% más corto o lo que sea, pero no renuncies a ningún detalle, ¿verdad? No renuncies a ningún detalle y sorprendentemente tengo muchas palabras de relleno que digo y puede hacer un muy buen trabajo reduciéndolo a un 50, 30% de la entrada real sin deshacerse de ella. Simplemente seguí leyéndolos, y pensé, sí, realmente no dejó nada fuera. En ese punto tienes la transcripción que ha sido condensada. Cada enunciado es más pequeño sin dejar de lado ninguna información y luego escribimos este indicador masivo que dice resumir la transcripción proporcionada en resúmenes concisos, blah, blah, blah. Además, por favor crea lo siguiente para el episodio, uno o dos envíos a la suscripción, tweets, blah, blah, blah, todo tipo de información. Devuelve cada uno de ellos en JSON para que parezca eso.
Comments