Google Cloud анонсировала BigQuery tables for Apache Iceberg — полностью управляемый движок хранилища, совместимый с Apache Iceberg, от BigQuery. Это решение предлагает такие функции, как автономная оптимизация хранилища, кластеризация и высокопроизводительная потоковая загрузка. BigQuery tables for Apache Iceberg использует формат Apache Iceberg для хранения данных в принадлежащих клиентам облачных хранилищах, предоставляя при этом такой же удобный интерфейс и набор функций, как и собственные таблицы BigQuery.
Одним из интересных аспектов этого анонса является способность BigQuery tables for Apache Iceberg устранять ограничения форматов таблиц с открытым исходным кодом. Благодаря BigQuery tables for Apache Iceberg BigQuery самостоятельно выполняет задачи обслуживания таблиц, не требуя от клиента никаких усилий.
Например, оптимальные размеры файлов определяются адаптивно в зависимости от размера таблицы. BigQuery tables for Apache Iceberg использует более чем десятилетний опыт эффективной и экономичной работы автоматизированной оптимизации хранилища для собственных таблиц BigQuery.
Проще говоря, это новое решение представляет собой многообещающее решение для управления данными в среде lakehouse, предоставляя клиентам более эффективный и экономичный способ хранения и обработки своих данных.
