Hoy los datos adoptan muchos formatos, se envían por flujos en tiempo real y se almacenan en muchos centros de datos y nubes repartidos por todo el mundo. Desde el análisis hasta la ingeniería de datos, la IA, el aprendizaje automático y las aplicaciones basadas en datos, las formas en que los datos se utilizan y comparten no paran de crecer. Los datos ya han sobrepasado el ámbito de trabajo de los analistas para convertirse en herramientas de cada empleado, cada cliente y cada socio. El espectacular incremento en la cantidad y diversidad de los datos, las cargas de trabajo y los usuarios nos ha llevado a un punto de inflexión en el que las arquitecturas tradicionales, incluso cuando se implementan en la nube, no permiten aprovechar todo el potencial de los datos. El resultado es que la brecha del «data-to-value», es decir, entre los datos disponibles y el valor que podemos extraer de ellos, es cada vez mayor
Por Google Cloud
Para hacer frente a este problema, presentamos varias novedades de la nube que permitirán a nuestros clientes trabajar con datos sin límites, en todas las cargas de trabajo, y proporcionar su acceso a todos. Entre estas novedades destacan los flujos de cambios de BigLake y Spanner, que permiten unificar aún más los datos de los clientes y garantizar su envío en tiempo real. Otras novedades son Vertex AI Workbench y Model Registry, que mejoran la rentabilidad de la IA. Asimismo, para que los datos estén al alcance de todos, lanzamos una solución de inteligencia empresarial (BI) unificada que incluye una nueva integración de Workspace, además de nuevos programas que potenciarán aún más nuestro ecosistema de socios de nube de datos.
Suprimir todos los límites de los datos
Hoy anunciamos la versión preliminar de BigLake, un motor de almacenamiento de lagos de datos que permite suprimir los límites al unificar los lagos y los almacenes. Gestionar los datos entre lagos y almacenes dispares crea silos y aumenta los riesgos y los costes, sobre todo cuando hay que mover los datos. BigLake permite a las empresas unificar sus almacenes y ejecutar sus análisis sin preocuparse por el formato o el sistema de almacenamiento de los datos; de este modo se elimina la necesidad de duplicar o mover los datos desde una fuente, y se reducen los costes y las ineficiencias.
Con BigLake, los clientes consiguen un control de accesos más preciso, con una interfaz API que admite formatos de archivo de Google Cloud o abiertos, como Parquet, además de motores de procesamiento de código abierto como Apache Spark. Estas capacidades suponen incorporar a los lagos de datos de Google Cloud Storage las innovaciones realizadas en BigQuery durante una década, para crear una arquitectura lakehouse abierta, flexible y rentable.
Twitter ya utiliza las capacidades de almacenamiento de BigQuery para suprimir los límites de los datos al objeto de averiguar cómo los usuarios utilizan su plataforma y cuáles son los contenidos que les interesan. De este modo, pueden servir contenidos entre billones de eventos diarios con un pipeline de anuncios que ejecuta más de 3 millones de agregaciones por segundo.
Otra importante novedad que anunciamos hoy son los flujos de cambios de Spanner. Este nuevo producto, de próxima comercialización, contribuirá aún más a eliminar los límites entre los datos para nuestros clientes, permitiéndoles rastrear los cambios en sus bases de datos de Spanner en tiempo real y obtener un mayor data-to-value. Los flujos de cambios de Spanner rastrean las inserciones, las actualizaciones y las eliminaciones de datos en Spanner y transmiten en tiempo real esos cambios a toda la base de datos Spanner del cliente.
Gracias a ello, el cliente dispone en todo momento de los datos más recientes, al poder replicar fácilmente los cambios desde Spanner a BigQuery para ejecutar análisis en tiempo real, activar el comportamiento descendiente de la aplicación utilizando Pub/Sub, o almacenar los cambios en Google Cloud Storage (GCS) conforme a las normas. Gracias a la incorporación de los flujos de cambios, Spanner, que actualmente, en su pico de actividad, procesa más de 2 mil millones de solicitudes por segundo con una disponibilidad de hasta un 99,999%, ofrece ahora a los clientes infinitas posibilidades de procesamiento de datos.
Suprimir los límites de las cargas de trabajo
Nuestra cartera de IA está respaldada por Vertex AI, una plataforma administrada que contiene todas las herramientas de ML necesarias para crear, implementar y dimensionar modelos, y que está optimizada para funcionar de manera integrada con cargas de trabajo de BigQuery y otros almacenes. Hoy lanzamos nuevas soluciones de Vertex AI que permitirán al cliente poner en producción los modelos de IA de manera aún más sencilla y rápida, y facilitarán aún más su mantenimiento.
Vertex AI Workbench, ahora disponible para todos, reúne los datos y los sistemas de ML en una sola interfaz para que los empleados dispongan de herramientas comunes tanto para el análisis y la ciencia de datos, como para el aprendizaje automático. Con integraciones nativas en BigQuery, Serverless Spark y Dataproc, Vertex AI Workbench permite a los empleados construir, entrenar e implementar modelos de aprendizaje automático 5 veces más rápidamente que con los ordenadores portátiles tradicionales. De hecho, gracias a Vertex AI Workbench, una empresa comercial de nivel mundial ha conseguido ganar millones de dólares incrementando sus ventas y mejorar en un 15% su velocidad de comercialización.
Con Vertex AI los clientes tienen la posibilidad de actualizar regularmente sus modelos. Sin embargo, la gestión de tanta complejidad puede descontrolarse fácilmente. Así que, para simplificar la administración de los gastos de mantenimiento del modelo, hoy lanzamos unas nuevas capacidades de MLOps con Vertex AI Model Registry. Vertex AI Model Registry (de momento en versión preliminar) es un repositorio central para encontrar, usar y gobernar modelos de aprendizaje automático, como los de BigQuery ML. Gracias a esta herramienta, los científicos de datos pueden compartir modelos y los desarrolladores de aplicaciones pueden utilizarlos, lo que, en última instancia, permite a la empresa convertir los datos en decisiones tomadas en tiempo real y responder más rápidamente a los cambios del mercado.
Ampliar el alcance de los datos del cliente
Lanzamos Connected Sheets para Looker y la posibilidad de acceder a los modelos de datos de Looker en Data Studio. Los clientes ahora tienen la posibilidad de interactuar con los datos de la forma que ellos elijan, ya sea a través de Looker Explore, desde Hojas de cálculo de Google o mediante la interfaz de arrastrar y soltar de Data Studio. Así, todos podrán extraer fácilmente información de los datos para innovar y tomar decisiones fundamentadas gracias a esta nueva plataforma unificada de inteligencia empresarial (BI) de Google Cloud. Con esta BI unificada es fácil acceder a datos empresariales fiables y gobernados, incorporar nuevos conjuntos de datos y cálculos, y colaborar con los colegas.
Mercado Libre, el mayor sistema de pagos y comercio online de América Latina, ha sido uno de los primeros en adoptar Connected Sheets para Looker. Utilizando esta integración ha conseguido ampliar el acceso a los datos a través de una interfaz de hoja de cálculo con la que sus empleados ya estaban familiarizados. Al reducir las barreras de acceso han conseguido construir una cultura basada en los datos en la que todos pueden basar en estos sus decisiones.
Apostar por el ecosistema de socios de la nube de datos
Aprovechar todo el potencial económico de los datos gracias a estas nuevas soluciones no sería posible sin nuestro increíble ecosistema de socios. En la actualidad, más de 700 socios de software ejecutan sus aplicaciones utilizando la nube de datos de Google. Muchos de ellos, como Bloomreach, Equifax, Exabeam, Quantum Metric y ZoomInfo, empezaron a usar nuestras capacidades de nube con la iniciativa Built with BigQuery, que ofrece equipos de ingeniería especializados, marketing conjunto y asistencia para la comercialización.
Nuestros clientes demandan soluciones específicas que estén perfectamente integradas y optimizadas para productos como BigQuery. Por eso hoy lanzamos Google Cloud Ready – BigQuery, una nueva validación que reconoce soluciones específicas para socios como las de Fivetran, Informatica y Tableau, que satisfagan unos requisitos básicos de funcionamiento e interoperabilidad. En la actualidad, ya hay más de 25 socios en este nuevo programa Google Cloud Ready – BigQuery, que reduce los costes que supondría para el cliente la evaluación de nuevas herramientas, además de proporcionarle soporte para nuevas necesidades.
También lanzamos un nuevo Programa de migración de bases de datos que ayudará a nuestros clientes a migrar de forma rápida y fluida desde sus propias instalaciones y otras nubes a los servicios de bases de datos administradas de Google, los mejores del sector. El programa incluye herramientas y recursos, el know-how de socios de la talla de Deloitte e incentivos para compensar los costes derivados de la migración.
Nos mantenemos fieles a nuestro compromiso de seguir innovando con las mejores empresas de datos y análisis en las que nuestros clientes están invirtiendo. Esta semana, Databricks, Fivetran, MongoDB, Neo4j y Redis están anunciando nuevas e importantes capacidades para los clientes de Google Cloud.
No cabe duda de que el futuro de los datos en la nube encierra unas posibilidades ilimitadas y nosotros estamos entusiasmados con poder participar en este viaje tan emocionante.
Arriba, imagen de la entrada de Google en Dublin, Irlanda / Foto realizada por telecomkh
