Explorando el Data Mesh impulsado por GraphQL

Rate this content
Bookmark

Se están explorando diferentes enfoques para construir un lago de datos operativo con una API de acceso a datos fácil, así como una API de acceso a datos federada, y GraphQL abre oportunidades para habilitar estas arquitecturas al sentar las bases para un data mesh.

This talk has been presented at GraphQL Galaxy 2022, check out the latest edition of this Tech Conference.

FAQ

GraphQL es una API que permite seleccionar exactamente los datos necesarios en una sola llamada, lo que reduce la carga en el sistema de datos y ahorra costos al obtener solo los datos requeridos. Ofrece un esquema bien estructurado que facilita la selección y estructuración de datos, mejorando el manejo de la complejidad en las consultas.

GraphQL permite crear una capa de API de datos que puede absorber datos de diversas fuentes, proporcionando una estandarización de la API y garantizando un rendimiento adecuado y cumplimiento de la seguridad. Esto facilita la gestión de datos provenientes de diferentes bases de datos y servicios.

GraphQL puede incrementar la complejidad en la estandarización del diseño de esquemas y en asegurar el rendimiento y la seguridad. Estos desafíos se abordan mejorando la planificación de consultas y integrando la lógica de autorización con la obtención de datos para optimizar el rendimiento y garantizar la seguridad.

La autorización en GraphQL involucra integrar la seguridad en la obtención de datos, permitiendo acceso solo a los datos permitidos bajo ciertas reglas. Los desafíos incluyen la complejidad de implementar reglas de autorización que se integren eficazmente con la obtención de datos, especialmente en sistemas federados.

GraphQL permite centralizar la gestión de autorizaciones, lo que ayuda a garantizar un mayor nivel de seguridad y cumplimiento. Esto se logra mediante una capa de API de datos que puede interactuar con diferentes tipos de fuentes de datos, aplicando las políticas de seguridad directamente en esta capa.

La optimización del rendimiento en GraphQL se puede lograr mediante una mejor planificación de consultas y la utilización de técnicas como la memorización para evitar llamadas duplicadas a la API en consultas que involucren múltiples fuentes de datos. Esto minimiza la repetición de datos y reduce la sobrecarga del servidor.

Tanmai Gopal
Tanmai Gopal
34 min
08 Dec, 2022

Comments

Sign in or register to post your comment.
Video Summary and Transcription
Esta Charla discute los desafíos de trabajar con APIs de datos y GraphQL, incluyendo la estandarización, el rendimiento y la seguridad. Se enfatiza la necesidad de optimizar las recuperaciones de datos y empujar la lógica de autorización hacia abajo. Se explora el concepto de externalizar la autorización y utilizar un motor de GraphQL. La Charla también cubre la generación de esquemas y APIs de GraphQL, así como la implementación de seguridad a nivel de nodo. En general, el enfoque se centra en diseñar y estandarizar GraphQL para APIs de datos mientras se abordan los desafíos de autorización.

1. Introducción a las API de datos y GraphQL

Short description:

En esta parte, Tanmay habla sobre la necesidad de una capa de API de datos para abordar los desafíos de trabajar con diferentes fuentes de datos y clientes. Destaca los beneficios de GraphQL en la selección y estructuración de datos, pero también reconoce los desafíos de estandarización, rendimiento y seguridad. Tanmay explica cómo la optimización del rendimiento puede variar según las fuentes de datos y comparte ejemplos de planes de consulta. También menciona la discusión en torno al problema N más uno en GraphQL.

Hola, amigos. Soy Tanmay, soy el cofundador y CEO de Hustler. Y voy a hablarles un poco sobre las API de datos impulsadas por GraphQL hoy. Entonces, cada vez más equipos de plataforma en diversas organizaciones están estableciendo una capa de API de datos para lidiar con este problema de tener tantas fuentes de datos diferentes y tantos tipos de clientes. Y necesitamos resolver problemas de rendimiento, estandarización y seguridad para permitir que estos clientes se muevan rápidamente. Tenemos que lidiar con el hecho de que estos datos, los datos del dominio, provienen de diferentes fuentes, bases de datos, servicios. Los clientes pueden ser internos o externos, pueden estar en el borde, pueden estar en la nube, pueden estar en las instalaciones, pueden estar dentro del mismo equipo, pueden estar en diferentes equipos. Y necesitamos una capa de API de datos que pueda absorber y resolver la estandarización de la API o proporcionar un cierto nivel de rendimiento o garantizar el cumplimiento de la seguridad. Como API de datos, GraphQL puede ser una gran opción y veremos algunos de los beneficios de GraphQL para abordar algunos de estos desafíos también. Entonces, GraphQL es una API agradable porque, como todos sabemos, nos permite seleccionar exactamente los datos que necesitamos en una sola llamada a la API. Esto tiene un impacto bastante grande si la cantidad de datos que estamos obteniendo son modelos que tienen cientos de atributos, donde podemos reducir drásticamente la carga en el sistema de datos subyacente. Cada vez más, a medida que nos movemos hacia centros sin servidor y centros de datos sin servidor, hay un impacto masivo en el ahorro de costos que también ocurre cuando podemos seleccionar exactamente los datos que necesitamos. Todos sabemos que GraphQL tiene un esquema realmente agradable y tenemos un tipo de gráfico que nos permite seleccionar exactamente la forma en que estamos obteniendo nuestra salida, pero también nos permite estructurar nuestra entrada y nuestros parámetros de manera bastante fácil. ¿Verdad? Y eso tiene un impacto en nuestra capacidad para manejar la creciente complejidad. Cuando pensamos en esta consulta aquí, cuando estoy obteniendo pedidos, estoy obteniendo pedidos donde el usuario es mayor que un valor particular en él, ordenado por el ID de usuario en orden ascendente. Proporcionar estos parámetros de entrada y argumentos es mucho más fácil con GraphQL en comparación con tratar de hacer esto con una API REST, por ejemplo. ¿Verdad? Y poder agregar esta complejidad se vuelve mucho más fácil. Cuando pensamos en tomar estas comodidades de GraphQL de las que todos somos conscientes y pensamos en estandarizar y escalar esto, nos encontramos con algunos desafíos en su núcleo. Es porque el costo de proporcionar esta flexibilidad aumentada significa que necesitamos hacer un poco más de trabajo para resolver la estandarización o el diseño del esquema y garantizar el rendimiento y resolver la autorización y la seguridad, ¿verdad? Echemos un vistazo al rendimiento, por ejemplo. Si pensamos en los tipos de fuentes de datos que tenemos y la forma en que ejecutamos una consulta en esas fuentes de datos, esa obtención óptima de datos que hacemos puede ser muy contextual. Si tomamos un ejemplo simple de obtener pedidos y el usuario para cada pedido, el nombre de usuario. Dependiendo de la topología de estos datos, podríamos tener planes de consulta variables. Por ejemplo, si proviene de la misma fuente de datos que admite la agregación JSON, si tuviera que implementar un controlador que resultara y respondiera solo con estos datos, podría hacer una sola consulta que realizaría la agregación JSON en la fuente de datos misma. Eso significa que ni siquiera estoy haciendo una unión que obtiene un producto cartesiano, estoy haciendo una consulta más eficiente que obtiene solo el pedido, el usuario está construyendo el envío, el JSON, y luego lo envía de vuelta al cliente. Digamos que proviene de dos bases de datos diferentes, en cuyo caso usaría algo como una consulta y realizaría una memorización, para no obtener entidades duplicadas en esta unión de bases de datos cruzadas. Si esto viniera de dos servicios diferentes, entonces tendría que hacer múltiples llamadas a la API, pero nuevamente, haría una forma de memorización para evitar que se obtengan entidades duplicadas dentro de la misma solicitud. Es una variación del patrón de datos. Pero la idea es que este plan de consulta depende del tipo de datos que tenemos y el mismo plan de consulta no funcionará en estas diferentes fuentes de datos. Hubo un hilo interesante que surgió en Twitter hace unas semanas, donde hablamos sobre cómo GraphQL no crea un problema N más uno, y Nick, uno de los creadores de GraphQL, comentó que, bueno, GraphQL no crea el problema N más uno. Pero debido a la forma en que normalmente pensamos en ejecutar una consulta de GraphQL, se vuelve más difícil abordar ese problema de manera

2. Desafíos de la obtención de datos y autorización

Short description:

En esta parte, Tanmay analiza los desafíos de integrar la reducción de predicados con la obtención de datos y la necesidad de empujar la lógica de autorización. Él enfatiza la importancia de optimizar la obtención de datos y explica los desafíos de hacer esto en diferentes fuentes de datos.

de manera sistemática. Y eso es más o menos lo que analizamos, y vemos cómo podemos abordar esos tipos de desafíos. Y pensamos en la autorización. Un desafío muy común es que tenemos que integrar la reducción de predicados junto con nuestra obtención de data. Nuevamente, si observamos la misma consulta donde estamos obteniendo pedidos de usuario, y digamos que esta consulta es realizada por un gerente regional que solo puede obtener pedidos realizados dentro de la región, dentro de su región. Y si hacemos una solicitud ingenua donde seleccionamos todos estos data, y luego filtramos por región, sería terrible. Obviamente no podemos hacer esto cuando tenemos millones o miles de millones de filas. Y lo que no queremos hacer es obtener esa data o seleccionar de pedidos, del modelo o tabla de pedidos o lo que sea, donde la región sea igual a la región actual. Este es el predicado y nuevamente, empujando ese predicado en nuestra obtención de data, ¿verdad? Y queremos poder empujar nuestra lógica de autorización con nuestra obtención de data tanto como sea posible. Hacer esto en diferentes fuentes de datos puede resultar desafiante, ¿verdad? Cuando pensamos en el diseño de la API, y a medida que comenzamos a aprender sobre cargas de trabajo más complicadas, quiero decir, piensa en la agregación o el filtrado complejo, o qué tipo de patrón queremos seguir para

Check out more articles and videos

We constantly think of articles and videos that might spark Git people interest / skill us up or help building a stellar career

De GraphQL Zero a GraphQL Hero con RedwoodJS
GraphQL Galaxy 2021GraphQL Galaxy 2021
32 min
De GraphQL Zero a GraphQL Hero con RedwoodJS
Top Content
Tom Pressenwurter introduces Redwood.js, a full stack app framework for building GraphQL APIs easily and maintainably. He demonstrates a Redwood.js application with a React-based front end and a Node.js API. Redwood.js offers a simplified folder structure and schema for organizing the application. It provides easy data manipulation and CRUD operations through GraphQL functions. Redwood.js allows for easy implementation of new queries and directives, including authentication and limiting access to data. It is a stable and production-ready framework that integrates well with other front-end technologies.
Estado Local y Caché del Servidor: Encontrando un Equilibrio
Vue.js London Live 2021Vue.js London Live 2021
24 min
Estado Local y Caché del Servidor: Encontrando un Equilibrio
Top Content
This Talk discusses handling local state in software development, particularly when dealing with asynchronous behavior and API requests. It explores the challenges of managing global state and the need for actions when handling server data. The Talk also highlights the issue of fetching data not in Vuex and the challenges of keeping data up-to-date in Vuex. It mentions alternative tools like Apollo Client and React Query for handling local state. The Talk concludes with a discussion on GitLab going public and the celebration that followed.
Despídete de tus esquemas de API con tRPC
React Day Berlin 2022React Day Berlin 2022
29 min
Despídete de tus esquemas de API con tRPC
Today's Talk introduces TRPC, a library that eliminates the need for code generation and provides type safety and better collaboration between front-end and back-end. TRPC is demonstrated in a Next JS application integrated with Prisma, allowing for easy implementation and interaction with the database. The library allows for seamless usage in the client, with automatic procedure renaming and the ability to call methods without generating types. TRPC's client-server interaction is based on HTTP requests and allows for easy debugging and tracing. The library also provides runtime type check and validation using Zod.
Baterías Incluidas Reimaginadas - El Resurgimiento de GraphQL Yoga
GraphQL Galaxy 2021GraphQL Galaxy 2021
33 min
Baterías Incluidas Reimaginadas - El Resurgimiento de GraphQL Yoga
Envelope is a powerful GraphQL plugin system that simplifies server development and allows for powerful plugin integration. It provides conformity for large corporations with multiple GraphQL servers and can be used with various frameworks. Envelope acts as the Babel of GraphQL, allowing the use of non-spec features. The Guild offers GraphQL Hive, a service similar to Apollo Studio, and encourages collaboration with other frameworks and languages.
Aplicaciones sólidas de React y GraphQL para personas con prisa
GraphQL Galaxy 2022GraphQL Galaxy 2022
29 min
Aplicaciones sólidas de React y GraphQL para personas con prisa
The Talk discusses the challenges and advancements in using GraphQL and React together. It introduces RedwoodJS, a framework that simplifies frontend-backend integration and provides features like code generation, scaffolding, and authentication. The Talk demonstrates how to set up a Redwood project, generate layouts and models, and perform CRUD operations. Redwood automates many GraphQL parts and provides an easy way for developers to get started with GraphQL. It also highlights the benefits of Redwood and suggests checking out RedwoodJS.com for more information.
Adoptando GraphQL en una Empresa
GraphQL Galaxy 2021GraphQL Galaxy 2021
32 min
Adoptando GraphQL en una Empresa
Today's Talk is about adopting GraphQL in an enterprise. It discusses the challenges of using REST APIs and the benefits of GraphQL. The Talk explores different approaches to adopting GraphQL, including coexistence with REST APIs. It emphasizes the power of GraphQL and provides tips for successful adoption. Overall, the Talk highlights the advantages of GraphQL in terms of efficiency, collaboration, and control over APIs.

Workshops on related topic

Construir con SvelteKit y GraphQL
GraphQL Galaxy 2021GraphQL Galaxy 2021
140 min
Construir con SvelteKit y GraphQL
Top Content
Featured WorkshopFree
Scott Spence
Scott Spence
¿Alguna vez has pensado en construir algo que no requiera mucho código de plantilla con un tamaño de paquete pequeño? En esta masterclass, Scott Spence irá desde el hola mundo hasta cubrir el enrutamiento y el uso de endpoints en SvelteKit. Configurarás una API de GraphQL en el backend y luego usarás consultas de GraphQL con SvelteKit para mostrar los datos de la API de GraphQL. Construirás un proyecto rápido y seguro que utiliza las características de SvelteKit, y luego lo desplegarás como un sitio completamente estático. Este curso es para los curiosos de Svelte que no han tenido una experiencia extensa con SvelteKit y quieren una comprensión más profunda de cómo usarlo en aplicaciones prácticas.

Tabla de contenidos:
- Inicio e introducción a Svelte
- Inicializar el proyecto frontend
- Recorrido por el proyecto esqueleto de SvelteKit
- Configurar el proyecto backend
- Consultar datos con GraphQL
- Recuperación de datos en el frontend con GraphQL
- Estilización
- Directivas de Svelte
- Enrutamiento en SvelteKit
- Endpoints en SvelteKit
- Despliegue en Netlify
- Navegación
- Mutaciones en GraphCMS
- Envío de mutaciones GraphQL a través de SvelteKit
- Preguntas y respuestas
Construye Aplicaciones Modernas Utilizando GraphQL y Javascript
Node Congress 2024Node Congress 2024
152 min
Construye Aplicaciones Modernas Utilizando GraphQL y Javascript
Featured Workshop
Emanuel Scirlet
Miguel Henriques
2 authors
Ven y aprende cómo puedes potenciar tus aplicaciones modernas y seguras utilizando GraphQL y Javascript. En este masterclass construiremos una API de GraphQL y demostraremos los beneficios del lenguaje de consulta para APIs y los casos de uso para los que es adecuado. Se requiere conocimiento básico de Javascript.
Seguridad de tipo de extremo a extremo con React, GraphQL y Prisma
React Advanced 2022React Advanced 2022
95 min
Seguridad de tipo de extremo a extremo con React, GraphQL y Prisma
Featured WorkshopFree
Sabin Adams
Sabin Adams
En este masterclass, obtendrás una visión de primera mano de lo que es la seguridad de tipo de extremo a extremo y por qué es importante. Para lograr esto, construirás una API de GraphQL utilizando herramientas modernas y relevantes que serán consumidas por un cliente de React.
Prerrequisitos: - Node.js instalado en tu máquina (12.2.X / 14.X)- Se recomienda (pero no es obligatorio) utilizar VS Code para las tareas prácticas- Un IDE instalado (se recomienda VSCode)- (Bueno tener) *Un conocimiento básico de Node.js, React y TypeScript
GraphQL para Desarrolladores de React
GraphQL Galaxy 2022GraphQL Galaxy 2022
112 min
GraphQL para Desarrolladores de React
Featured Workshop
Roy Derks
Roy Derks
Hay muchas ventajas en utilizar GraphQL como fuente de datos para el desarrollo frontend, en comparación con las API REST. Nosotros, los desarrolladores, por ejemplo, necesitamos escribir mucho código imperativo para recuperar datos y mostrarlos en nuestras aplicaciones y manejar el estado. Con GraphQL, no solo puedes reducir la cantidad de código necesario para la obtención de datos y la gestión del estado, sino que también obtendrás una mayor flexibilidad, mejor rendimiento y, sobre todo, una mejor experiencia de desarrollo. En este masterclass aprenderás cómo GraphQL puede mejorar tu trabajo como desarrollador frontend y cómo manejar GraphQL en tu aplicación frontend de React.
Construye una aplicación WordPress sin cabeza con Next.js y WPGraphQL
React Summit 2022React Summit 2022
173 min
Construye una aplicación WordPress sin cabeza con Next.js y WPGraphQL
Top Content
WorkshopFree
Kellen Mace
Kellen Mace
En esta masterclass, aprenderás cómo construir una aplicación Next.js que utiliza Apollo Client para obtener datos de un backend de WordPress sin cabeza y usarlo para renderizar las páginas de tu aplicación. Aprenderás cuándo debes considerar una arquitectura de WordPress sin cabeza, cómo convertir un backend de WordPress en un servidor GraphQL, cómo componer consultas usando el IDE GraphiQL, cómo colocar fragmentos GraphQL con tus componentes, y más.
Modelado de Bases de Datos Relacionales para GraphQL
GraphQL Galaxy 2020GraphQL Galaxy 2020
106 min
Modelado de Bases de Datos Relacionales para GraphQL
Top Content
WorkshopFree
Adron Hall
Adron Hall
En esta masterclass profundizaremos en el modelado de datos. Comenzaremos con una discusión sobre varios tipos de bases de datos y cómo se mapean a GraphQL. Una vez que se haya establecido esa base, el enfoque se desplazará a tipos específicos de bases de datos y cómo construir modelos de datos que funcionen mejor para GraphQL en varios escenarios.
Índice de contenidosParte 1 - Hora 1      a. Modelado de Datos de Bases de Datos Relacionales      b. Comparando Bases de Datos Relacionales y NoSQL      c. GraphQL con la Base de Datos en menteParte 2 - Hora 2      a. Diseño de Modelos de Datos Relacionales      b. Relación, Construcción de Tablas Multijoin      c. Complejidades de Consulta de Modelado de Datos Relacionales y GraphQL
Prerrequisitos      a. Herramienta de modelado de datos. El formador utilizará dbdiagram      b. Postgres, aunque no es necesario instalar esto localmente, ya que estaré utilizando una imagen de Dicker de Postgres, de Docker Hub para todos los ejemplos      c. Hasura