Amazon объявила о доступности предварительной версии Amazon Bedrock Model Distillation, которая автоматизирует процесс создания дистиллированной модели для вашего конкретного варианта использования путем генерации ответов из большой базовой модели (FM), называемой моделью учителя, и тонкой настройки меньшей FM, называемой моделью ученика, с помощью сгенерированных ответов. В ней используются методы синтеза данных для улучшения ответа модели учителя. Затем Amazon Bedrock размещает окончательную дистиллированную модель для логического вывода, предоставляя вам более быструю и экономичную модель с точностью, близкой к модели учителя, для вашего варианта использования. Я очень впечатлен этой новой функцией. Думаю, она будет очень полезна для клиентов, которые хотят использовать генеративные модели ИИ, но обеспокоены задержкой и стоимостью. Дистиллируя большую модель в меньшую, клиенты могут уменьшить задержку и стоимость, сохраняя при этом точность. Я думаю, эта функция изменит правила игры в области генеративного ИИ.