Google Cloud анонсировала мощные инновации в области инфраструктуры для будущего, ориентированного на ИИ, включая TPU шестого поколения Trillium, виртуальные машины A3 Ultra на базе графических процессоров NVIDIA H200 Tensor Core, кластер Hypercompute, виртуальные машины C4A на базе специализированных процессоров Axion, улучшения в сети центров обработки данных Jupiter и функции разгрузки хоста Titanium, а также службу хранения Hyperdisk ML. Эти усовершенствования направлены на повышение производительности инфраструктуры ИИ, удобства использования и экономичности для клиентов. Trillium обеспечивает значительное повышение производительности по сравнению с TPU v5e, включая более чем 4-кратное улучшение производительности обучения, до 3-кратное увеличение пропускной способности вывода и 67% повышение энергоэффективности. Виртуальные машины A3 Ultra разработаны для обеспечения значительного скачка в производительности по сравнению с предыдущими поколениями, с удвоенной пропускной способностью сети "GPU-GPU" и до 2 раз более высокой производительностью вывода LLM. Hypercompute Cluster упрощает управление кластерами ускорителей ИИ, обеспечивая надежное и повторяемое развертывание с помощью одного вызова API. Виртуальные машины C4A теперь общедоступны, предлагая улучшенную производительность и эффективность для широкого спектра рабочих нагрузок общего назначения. Titanium и сеть Jupiter были улучшены для поддержки рабочих нагрузок ИИ, причем новый сетевой адаптер Titanium ML обеспечивает пропускную способность 3,2 Тбит/с для трафика "GPU-GPU" через RoCE. Hyperdisk ML теперь общедоступен, предоставляя высокопроизводительное хранилище для рабочих нагрузок ИИ и HPC с более быстрым временем загрузки данных и большей экономичностью.