Компаниям, внедряющим технологии искусственного интеллекта, часто приходится сталкиваться с высоким технологическим барьером. Выбор подходящей модели, ее обучение и оптимизация, развертывание и обслуживание на целевых системах — все это требует наличия высококвалифицированных специалистов, специализированных наборов данных, больших вычислительных мощностей и огромного количества времени.
Компания NVIDIA, мировой лидер в области технологий искусственного интеллекта, на прошедшей 12-16 апреля этого года конференции GTC21 представила набор программных решений, помогающих решить эту проблему — NVIDIA TAO и Fleet Command.
NVIDIA TAO (сокр. от «Train, Adapt and Optimize» — «обучение, адаптация и оптимизация») — программный фреймворк, предназначенный для оптимизации рабочего процесса создания ИИ-приложений. TAO снижает технологический барьер, объединяя в себе такие ключевые технологии NVIDIA как облачный каталог NGC, инструментарий переноса обучения Transfer Learning Toolkit, технологии федеративного обучения и оптимизатор среды исполнения TensorRT.
-
Каталог NGC содержит готовые к скачиванию модели для решения различных классов задач, предварительно обученные на открытых наборах данных.
-
Transfer Learning Toolkit позволяет дополнительно обучить эти модели на пользовательских данных для достижения требуемого уровня точности, а также сократить их размер за счет исключения несущественных элементов.
-
TensorRT оптимизирует инференс на целевых устройствах, позволяя добиться кратного увеличения производительности моделей без снижения точности.
TAO объединяет все эти шаги в единый рабочий процесс в специализированном пользовательском интерфейсе, сокращая цикл подготовки моделей в десятки раз.
Модели, обученные и оптимизированные с помощью TAO, можно затем развертывать и обслуживать на парке целевых систем с помощью Fleet Command.
NVIDIA Fleet Command — гибридная облачная платформа для управления ИИ-приложениями на оконечных устройствах. С ее помощью можно из единого веб-интерфейса безопасно устанавливать и обновлять программное обеспечение целевых систем, а также наблюдать за их состоянием и обеспечивать восстановление в случае отказа. Fleet Command работает с любыми серверами под управлением платформы NVIDIA EGX, включая оконечные устройства на базе Jetson Xavier NX. Подробнее об этом читайте здесь.
В настоящий момент NVIDIA TAO и Fleet Command доступны на условиях программы раннего доступа. Зарегистрируйтесь сейчас, чтобы попробовать их в действии.
С полной линейкой встраиваемых ИИ-вычислителей NVIDIA Jetson можно ознакомиться в онлайн-каталоге Омега Индастриал.