После месяца разработки опубликован выпуск Python-фреймворка Savant 0.2.4, упрощающего использование NVIDIA DeepStream для решения задач, связанных с машинным обучением. Фреймворк берет на себя всю сложную работу с GStreamer или FFmpeg, позволяя сосредоточиться на построении оптимизированных конвейеров вывода с помощью декларативного синтаксиса (YAML) и функций Python. Savant позволяет создавать конвейеры (pipeline), которые одинаково работают как на ускорителях в датацентре (NVIDIA Turing, Ampere, Hopper), так и на edge-устройствах (NVIDIA Jetson NX, AGX Xavier, Orin NX, AGX Orin, New Nano). С помощью Savant можно легко обрабатывать несколько видеопотоков одновременно, быстро создавать готовые к рабочим применениям конвейеры видеоаналитики, использующие NVIDIA TensorRT. Код проекта распространяется под лицензией Apache 2.0.

Три новых примера использования:

• Предсказание возраста/пола, демонстрирующее использование YoloV5-Face, работу с пользовательской атрибутивной моделью, предсказывающей возраст и пол, и аффинные преобразования в GPU на основе лицевых лэндмарок с помощью OpenCV-CUDA и Python;
• Условное кодирование видео, демонстрирующие конвейер, который рисует на кадрах и кодирует видеопоток только по запросу (в примере - только при обнаружении объектов моделью); показывает, как избежать нерационального использования вычислительных ресурсов, когда кадры требуются по определённому внешнему условию;
• Обработка нескольких RTSP-потоков, демонстрирующая простой конвейер, обрабатывающий два RTSP-потока; поскольку Savant сильно отличается от ожиданий пользователей в отношении динамической обработки потоков, реализован простой конвейер, обрабатывающий несколько потоков одновременно, чтобы показать, как это работает.

Новые возможности

• Условная отрисовка и кодирование, позволяющие снизить трафик и рационально использовать ресурсы CPU/GPU;
• Новый адаптер источника RTSP на базе FFmpeg, который работает гораздо лучше, чем GStreamer, когда потоки включают B-кадры;
• Новый универсальный адаптер на базе FFmpeg, который может работать со всеми входными данными, поддерживаемыми FFmpeg.
• При разработке внедрена практика отслеживания возможных регрессий производительности при объединении каждого тикета.
• Продолжен перенос внутренних компонентов Savant с Python на Rust: реализована библиотека основной функциональности Savant-rs с тщательно тестируемым кодом; постепенно производится замена компонентов на основе Python на компоненты на основе Rust, чтобы обеспечить работу Savant без глобальной блокировки (GIL), где это возможно, и высокое качество кода.
• Расширена документация:
  • Документированы адаптеры для работы с данными;
  • Добавлены примеры использования препроцессинга изображений;
  • Создан раздел по настройке среды разработки в VS Code.
• Выявлена ошибка в реализации функциональности NVENC на устройствах Jetson: NVENC некорректно упорядочивает кодируемые кадры, если фактическая частота кадров в потоке не равна настроенной, что часто происходит при работе с потоками RTSP или при пропуске кадров по определённым условиям. В Savant проблема решена обходным путём через переупорядочивание кадров, когда это необходимо. Ошибка проявляется в DeepStream 6.2 и о ней отправлено уведомление компании NVIDIA, которая подтвердила наличие ошибки и исправит это в ближайшем релизе DeepStream.

В следующем релизе Savant 0.2.5 планируется интегрировать больше кода на языке Rust, чтобы сделать конвейеры менее зависимыми от GIL. Также планируется предложить новые функции, связанные с динамической конфигурацией конвейера и разработкой edge, и добавить три-четыре новых примера, охватывающих базовые и расширенные функции.