Amazon Web Services (AWS) анонсировала Automated Reasoning checks (предварительная версия), новую функцию защиты в Amazon Bedrock Guardrails, которая помогает уменьшить галлюцинации в больших языковых моделях (LLM) путем математической проверки точности их ответов. Это использует автоматическое рассуждение, область информатики, которая использует математические доказательства и логический вывод для проверки поведения систем и программ. В отличие от машинного обучения (ML), которое делает прогнозы, автоматическое рассуждение предоставляет математические гарантии относительно поведения системы. AWS уже использует автоматическое рассуждение в ключевых областях обслуживания, таких как хранилище, сеть, виртуализация, идентификация и криптография. Например, автоматическое рассуждение используется для формальной проверки правильности криптографических реализаций, улучшая как производительность, так и скорость разработки. Теперь AWS применяет аналогичный подход к генеративному ИИ. Новые Automated Reasoning checks (предварительная версия) в Amazon Bedrock Guardrails — это первая защита генеративного ИИ, которая помогает предотвратить фактические ошибки из-за галлюцинаций, используя логически точные и проверяемые рассуждения, которые объясняют, почему ответы генеративного ИИ верны. Automated Reasoning checks особенно полезны для случаев использования, где важны фактическая точность и объяснимость. Например, вы можете использовать Automated Reasoning checks для проверки ответов, сгенерированных LLM, о политиках в области управления персоналом (HR), информации о продуктах компании или рабочих процессах. Используемые вместе с другими методами, такими как проектирование подсказок, Retrieval-Augmented Generation (RAG) и контекстные проверки заземления, Automated Reasoning checks добавляют более строгий и проверяемый подход к обеспечению того, чтобы выходные данные, генерируемые LLM, были фактически точными. Кодируя свои знания предметной области в структурированные политики, вы можете гарантировать, что ваши приложения разговорного ИИ предоставляют надежную и достоверную информацию вашим пользователям.