Google Cloud анонсировала важные обновления своего программного уровня AI Hypercomputer, направленные на повышение производительности обучения и вывода, повышение отказоустойчивости в больших масштабах и предоставление централизованного центра для ресурсов AI Hypercomputer.
Одним из ключевых обновлений является поддержка MaxText на виртуальных машинах A3 Mega, что обеспечивает более быстрое и эффективное обучение больших языковых моделей (LLM). Эти виртуальные машины, оснащенные графическими процессорами NVIDIA H100 Tensor Core, обеспечивают двукратное увеличение пропускной способности сети GPU-GPU по сравнению с виртуальными машинами A3.
Кроме того, Google Cloud представила SparseCore на Cloud TPU v5p, обеспечивающий аппаратное ускорение для операций встраивания, что приводит к повышению производительности систем рекомендаций.
Чтобы улучшить вывод LLM, Google Cloud также представила квантование кеша KV и нерегулярные ядра внимания в JetStream, повысив производительность вывода до 2 раз на Cloud TPU v5e.
Благодаря этим обновлениям Google Cloud продолжает предоставлять организациям возможность ускорить свои проекты в области искусственного интеллекта, предоставляя высокопроизводительную и экономичную инфраструктуру. Акцент на оптимизированном оборудовании и программном обеспечении, а также на комплексных ресурсах делает AI Hypercomputer привлекательным решением для компаний, стремящихся использовать возможности искусственного интеллекта.
