Google Cloud объявил об интеграции Layout Parser из Document AI с BigQuery, что упрощает создание мощных конвейеров RAG для разработчиков. Используя ML.PROCESS_DOCUMENT и другие функции машинного обучения BigQuery, вы можете оптимизировать предварительную обработку документов, генерировать встраивания и выполнять семантический поиск, все это в BigQuery с помощью SQL. Эта интеграция особенно интересна, поскольку она решает ключевую проблему в конвейерах RAG: анализ сложных документов, таких как финансовые отчеты. Разбивая документы на более мелкие, семантически связанные единицы, Layout Parser может улучшить релевантность извлекаемой информации, что приводит к более точным ответам от большой языковой модели (LLM). Кроме того, возможность генерировать метаданные, такие как источник документа, расположение фрагмента и структурная информация, наряду с фрагментами улучшает ваш конвейер RAG, позволяя вам фильтровать, уточнять результаты поиска и отлаживать код. Решение проблемы сложной обработки документов в конвейерах RAG — это большой шаг к тому, чтобы сделать технологию RAG более доступной и масштабируемой.