¿Qué es Lakehouse sin fronteras?

Lakehouse sin fronteras te permite crear data lakehouses abiertos en Google Cloud combinando el formato de tabla abierto de Apache Iceberg con el almacenamiento administrado. Esta arquitectura separa el almacenamiento del procesamiento para proporcionar una base unificada para las cargas de trabajo de análisis y de IA.

Para administrar los metadatos de las tablas abiertas, Lakehouse usa el catálogo de tiempo de ejecución de Lakehouse, un servicio de metadatos sin servidores que centraliza el descubrimiento y elimina la sincronización entre repositorios. Este diseño permite que varios motores, incluidos Managed Service para Apache Spark, Apache Flink, Apache Hive, Trino y BigQuery, accedan directamente a una fuente única de información sin duplicar los datos.

Ventajas clave

  • Arquitectura sin servidores: El Lakehouse de Google Cloud elimina la necesidad de administrar servidores o clústeres, lo que reduce la sobrecarga operativa y escala automáticamente según la demanda. Para las cargas de trabajo de procesamiento, las sesiones interactivas y por lotes sin servidores quitan la contención de recursos entre los trabajos y automatizan el mantenimiento de la infraestructura.
  • Interoperabilidad de lectura y escritura: Los motores de código abierto y BigQuery pueden leer y escribir las mismas tablas de Apache Iceberg (las escrituras de BigQuery están en versión preliminar), y la administración de tablas opcional (versión preliminar) automatiza la compactación, el vencimiento de las instantáneas y la recolección de elementos no utilizados.
  • Administración y administración de datos unificadas: La integración en Knowledge Catalog te ayuda a definir y aplicar de forma centralizada las políticas de administración en varios motores, y proporciona búsqueda semántica, linaje de datos y verificaciones de calidad.
  • Extensiones de almacenamiento: El lakehouse de Google Cloud extiende las capacidades de administración de Cloud Storage para incluir funciones como la organización en niveles de Autoclass y las claves de encriptación administradas por el cliente (CMEK).
  • Experiencia completamente administrada: Cuando se integra en BigQuery, Lakehouse de Google Cloud proporciona una experiencia de IA y estadísticas completamente administrada.
  • Alta disponibilidad y recuperación ante desastres: El lakehouse de Google Cloud ofrece opciones para la replicación entre regiones y la recuperación ante desastres (versión preliminar) para admitir la alta disponibilidad de tus datos.

Casos de uso

  • Lakehouse abierto: Usa Cloud Storage como la capa de almacenamiento, y Lakehouse de Google Cloud proporciona la interfaz de administración y control para los datos de Apache Iceberg.
  • Integración analítica y transaccional: Accede a las tablas analíticas de Apache Iceberg directamente en AlloyDB para PostgreSQL (versión preliminar) para combinar datos analíticos con cargas de trabajo transaccionales.
  • Acceso unificado: Permite que diferentes motores (Apache Spark, Apache Flink, BigQuery) interactúen con las mismas tablas de Apache Iceberg con metadatos coherentes.
  • Análisis y IA multinube: Accede a datos multinube en Databricks Unity Catalog, AWS Glue Data Catalog, Snowflake Horizon Catalog, Workday Data Lake y SAP Business Data Cloud (SAP BDC). Los catálogos federados sincronizan los metadatos de estos proveedores para que puedas consultar los datos con BigQuery o motores de código abierto sin migrarlos.
  • Exploración de conjuntos de datos públicos: Consulta conjuntos de datos públicos a través del extremo del catálogo de REST de Apache Iceberg sin administrar la infraestructura.
  • Metastore de Hive: Conecta motores de código abierto, como Apache Spark y Apache Hive, al catálogo de tiempo de ejecución de Lakehouse con el endpoint del catálogo de Apache Hive. Esto elimina la sobrecarga operativa de mantener un almacén de metadatos de Hive (HMS) autohospedado y, al mismo tiempo, te permite compartir datos y consultar tablas directamente en BigQuery.
  • Modernización del almacén de metadatos: Migra metadatos de Dataproc Metastore o de otros almacenes de metadatos externos al catálogo de tiempo de ejecución de Lakehouse sin copiar archivos de datos.

Interfaces y herramientas

Puedes interactuar con los recursos de Lakehouse de Google Cloud con las siguientes herramientas:

  • Consola deGoogle Cloud : Usa la consola para crear catálogos, ver las propiedades de los catálogos, ver los registros de auditoría y configurar los permisos.
  • SQL de BigQuery: Usa GoogleSQL para consultar tablas de Apache Iceberg en el catálogo de tiempo de ejecución de Lakehouse y tablas externas, y usa DDL y DML (versión preliminar) para crear y modificar tablas de Apache Iceberg en el catálogo de tiempo de ejecución de Lakehouse.
  • Google Cloud CLI, API de REST y Terraform: Crea y administra catálogos, espacios de nombres, tablas y políticas de acceso de forma programática.
  • Motores de código abierto: Usa motores como Apache Spark, Apache Flink, Trino y Apache Hive con el catálogo de tiempo de ejecución de Lakehouse para leer y escribir datos.
  • IDEs y notebooks: Usa notebooks interactivos de Apache Spark y extensiones de IDE, como la extensión de Data Agent Kit (DAK) para VS Code, para autenticarte en Google Cloud, crear código de forma interactiva y administrar sesiones de notebooks directamente en tu entorno de desarrollo.
  • Herramientas de organización y MLOps: Integra canalizaciones por lotes sin servidores y operaciones de catálogo con flujos de trabajo de organización con Managed Service para Apache Airflow (antes Cloud Composer) y Kubeflow Pipelines en Vertex AI.
  • API de catálogo de REST de Apache Iceberg: Usa el extremo del catálogo de REST de Apache Iceberg para interactuar con el servicio con herramientas que sean compatibles con la especificación de REST de Apache Iceberg abierta.
  • Compatibilidad con tablas de Apache Iceberg: Se admiten las tablas de Apache Iceberg V2 (disponibilidad general) y V3 (versión preliminar). No se admiten las tablas de Iceberg V1.

¿Qué sigue?