Искусственный интеллект сегодня — это не просто алгоритмы и модели, а целая индустрия, в которой на смену дата-центрам приходят AI-фабрики — масштабируемые, высокоэффективные инфраструктуры, превращающие данные в ценные цифровые активы.
AI-фабрика — это системный подход, в котором сочетаются ускоренные вычисления, гибкое программное обеспечение и производственные мощности для инференса, то есть преобразования запросов в осмысленные ответы.
Ключевой единицей такого «производства» является токен — минимальный фрагмент данных, из которых состоят ответы ИИ. Чем быстрее фабрика создаёт токены, тем быстрее она приносит ценность — от исследований лекарств до автоматизации бизнес-решений.
Для оценки эффективности AI-фабрики важно рассчитать не только скорость отклика, но и соотношение между производительностью и полезностью.
Современные метрики включают: Throughput (пропускная способность) — сколько токенов создаётся в секунду Latency (задержка) — как быстро появляется первый токен ответа Goodput — сколько полезных токенов производится при соблюдении заданной задержки Эти параметры визуализируются с помощью границы Парето (оптимальный баланс между производительностью и качеством пользовательского опыта).
К примеру, AI-агент, отвечающий за 0,5 с, в разы ценнее, чем тот, который тратит 5 секунд, даже если итоговый объём ответа одинаков.
По данным NVIDIA, новые чипы Blackwell B300 демонстрируют в 10 раз более качественный пользовательский опыт и почти в 5 раз более высокую общую пропускную способность, чем H100.
Lockheed Martin построила собственную AI-фабрику на базе NVIDIA DGX SuperPOD, чтобы обрабатывать более 1 миллиарда токенов в неделю.
Это позволило компании отказаться от затратных облачных решений и централизовать все задачи — от обучения моделей до генерации и тонкой настройки.
«Мы обрабатываем весь цикл внутри компании (от токенизации до инференса).
Это повышает гибкость и снижает издержки», — заявил Грег Форрест (директор AI-направления в Lockheed Martin). AI-фабрика — это не просто дата-центр. Это новая модель создания цифровой ценности, где каждое решение масштабируемо, каждая задача автоматизируема, а каждый токен — источник прибыли.
Источник: TechPowerUpThe post AI-фабрика — это не дата-центр: новый взгляд на инфраструктуру ИИ first appeared on itndaily.
ru.
Рубрика: Интернет. Читать весь текст на itndaily.ru.