Google Cloud анонсировала новые возможности BigQuery, ориентированные на управление данными и ИИ, подчеркивая важность высококачественных, хорошо управляемых данных в эпоху генеративного ИИ. Хотя данные составляют основу для обучения моделей ИИ, их управление часто было второстепенной задачей. Однако с ростом популярности ИИ управление данными теперь находится в центре внимания стратегий работы с данными предприятий.
Dataplex от Google Cloud стремится решать задачи управления данными, предоставляя унифицированную платформу управления для всей платформы BigQuery. Dataplex предлагает такие функции, как автоматическое обнаружение, курирование и управление данными в больших масштабах, сводя к минимуму утомительные процессы ручного управления.
Одним из ключевых обновлений Dataplex является автоматическая каталогизация, которая теперь охватывает Vertex AI и операционные базы данных, такие как Cloud SQL, Spanner и Bigtable. Эта функция обеспечивает унифицированное представление данных и ресурсов ИИ. Кроме того, улучшенное отслеживание происхождения улучшает понимание пути данных благодаря интеграции с Vertex AI Pipelines и предоставлению отслеживания происхождения на уровне столбцов для BigQuery.
Dataplex также улучшает поиск данных с помощью семантического поиска, позволяя пользователям запрашивать данные, используя естественный язык. В ближайшее время в BigQuery появится функция полнотекстового поиска по каталогу, что обеспечит удобный поиск данных.
Кроме того, Dataplex предоставляет аналитические сведения на основе ИИ, автоматически генерируя предлагаемые вопросы и проверенные запросы SQL, помогая пользователям быстро получать ценную информацию из своих данных. Более того, новые правила управления обеспечивают соответствие политикам данных, позволяя пользователям определять правила на основе метаданных для BigQuery и Cloud Storage.
В заключение можно сказать, что новые обновления Dataplex позволяют организациям эффективно управлять сложностями управления данными, открывая путь к раскрытию всего потенциала генеративного ИИ. Предоставляя надежное решение для управления данными, Google Cloud позволяет организациям внедрять инновации на основе данных и принимать обоснованные решения.
