Платформы Jetson используются преимущественно для решения задач, связанных с искусственным интеллектом. Задачи могут быть самые разные – от автономной навигации автомобилей до анализа поведения потребителей в супермаркете, но чаще всего в них есть кое-что общее – в качестве данных для анализа используется видеопоток, полученный с камеры. Для большинства задач, связанных с искусственным интеллектом камера является источником данных, можно сказать первым элементом в длинной цепочке компонентов, которые задействуются для выполнения целей, которые мы ставим перед собой, вот почему выбор камеры так важен. Стоит обратить внимание на характеристики камеры, и выбрать подходящее устройство в соответствии с потребностями и исходя из задач, которые предстоит решать. Основные характеристики, на которые стоит обратить внимание при выборе камеры – количество пикселей, фокусное расстояние, угол обзора, диафрагма. Для решения специфических задач могут потребоваться особые возможности, которые есть у некоторых моделей, например для выполнения задач, связанных с искусственным интеллектом в условиях недостаточной освещенности может пригодится камера с инфракрасным датчиком, с помощью которой появится возможность использовать алгоритмы распознавая даже в полной темноте.
На устройствах Jetson мы рекомендуем использовать ряд камер с сенсорами IMX219 и IMX477 по некоторым причинам:
- Это распространенной и проверенное решение, никаких подводных камней.
- Совместимость с устройствами Jetson. Для использования рассматриваемых в этой статье камер не нужны какие-либо особые усилия – они работают либо без установки дополнительных драйверов, либо установка занимает менее минуты.
- Оптимальное соотношение цены и качества
Компания «Waveshare Electronics» является одним из ведущих производителей электронных компонентов для микрокомпьютеров, в их число входят и представленные камеры, которые совместимы с устройствами Jetson. Мы являемся официальными дистрибьютерами Waveshare, и рады предоставить нашим клиентам возможность приобрести продукцию компании. Ознакомиться с каталогом товаров можно здесь.
IMX219
Хотелось бы начать с младшего и более бюджетного семейства камер, которые используют матрицу Sony IMX 219. 
Разрешение этой матрицы – 8 Megapixel, с этих камер можно получить картинку размера до 3280 × 2464 пикселей. 8 миллионов пикселей будут формировать изображение, эта важная характеристика, но не она одна определяет общее качество картинки.
Размер одного пикселя - 1.12 μm x 1.12 μm, этого вполне достаточно для получения хорошего изображения днем и вечером, но, например, в позднее вечернее время может появится шум.
Свет камера получает от диафрагмы. Чем шире диафрагма – тем больше светопотока камера может поглотить и тем более ярким и насыщенным будет изображение. Ширина диафрагмы, выраженная в F-числах, это характеристика, которая обратно пропорциональна своему числовому значению, проще говоря, чем F меньше, тем диафрагма шире, то есть 2.0 это лучше, чем 2.4.
Угол обзора камеры характеризует размер наблюдаемой зоны. Чем больше угол, тем больше камера может «видеть», эта важная характеристика например для ограниченных пространств, когда нет возможности отвести камеру дальше для большего охвата.
Фокусное расстояние камеры тоже влияет на размер наблюдаемой зоны. При большом фокусном расстоянии объекты на изображении кажутся более близкими, также визуально уменьшается расстояние между объектами на заднем и переднем планах.
Семейство камер с матрицей IMX 219 не требует установки драйверов при использовании совместно с устройствами Jetson, камеру стоит лишь подключить к CSI видеовходу и они будут работать.
Ознакомиться с каталогом, в котором представлены камеры с матрицей IMX219 можно здесь.
Ниже приведена таблица с названиями камер и характеристиками. Эти камеры используют матрицу IMX 219 и совместимы с устройствами Jetson.
- Пиксели: 8 Mp
- Размер одного пикселя: 1.12 μm x 1.12 μm
- Разрешение: 3280 × 2464
|
Название |
Инфракрасный датчик |
Угол обзора (градусы) |
Диафрагма (F) |
Фокусное расстояние (мм) |
Совместимость |
|
RPi Camera V2 |
Нет |
62.2 |
2.0 |
3.04 |
Jetson Nano, Jetson Xavier NX |
|
IMX219-D160 |
Нет |
160 |
2.35 |
3.15 |
|
|
RPi NoIR Camera V2 |
Да |
62.2 |
2.0 |
3.04 |
Jetson Nano |
|
Нет |
79.3 |
2.0 |
2.85 |
||
|
Да |
79.3 |
2.0 |
2.85 |
Jetson Nano, Jetson Xavier NX |
|
|
Нет |
120 |
2.0 |
1.79 |
||
|
Нет |
160 |
2.35 |
3.15 |
||
|
Да |
160 |
2.35 |
3.15 |
||
|
IMX219-160 IR-CUT Camera |
Да |
162 |
2.7 |
1.75 |
|
|
Нет |
170 |
2.4 |
2.2 |
||
|
Нет |
200 |
2.0 |
0.87 |
Jetson Nano (B01), Jetson Xavier NX |
|
|
Нет |
83 |
2.4 |
2.6 |
Стоит отметить, что при работе с устройствами Jetson, камеры с матрицей IMX219 могут иметь некоторое цветовое искажение – фиолетовый зацвет. Для того чтоб избавится от некорректной цветопередачи достаточно открыть терминал на устройстве Jetson и ввести следующие команды:
$ wget https://www.waveshare.com/w/upload/e/eb/Camera_overrides.tar.gz
$ tar zxvf Camera_overrides.tar.gz
$ sudo cp camera_overrides.isp /var/nvidia/nvcam/settings/
$ sudo chmod 664 /var/nvidia/nvcam/settings/camera_overrides.isp
$ sudo chown root:root /var/nvidia/nvcam/settings/camera_overrides.isp
IMX477
Камеры, использующие сенсор Sony IMX477 поддерживаются только устройствами Jetson Nano (B01) и Jetson Nano 2GB из-за специфических требований к питанию камеры. Для решения проблемы совместимости с Jetson Xavier NX встречается практика удаления резистора на плате камеры, но помните, что если вы решитесь на этот шаг, вы будете это делать на свой страх и риск.
Камеры, использующие сенсор IMX477 имеют разрешение 12.3Mp и возможность записи видео в формате 4K с частотой 60 кадров в секунду, этого более чем достаточно для решения большинства задач, связанных с искусственным интеллектом и не только.
Важной особенностью камер с этим сенсором является возможность подобрать линзу (объектив), с характеристиками, которые будут максимально удовлетворять требованиям и помогут решать поставленные задачи более эффективно. Могут использоваться распространенные стандарты крепления объективов C-Mount и CS-Mount. Также есть вариант поставки модели камеры со встроенным объективом, без возможности установки прочих.
Основные характеристики камер с матрицей Sony IMX477:
- Пиксели: 12.3 Mp
- Размер одного пикселя: 1.55 μm x 1.55 μm
- Разрешение: 4056 × 304
|
Название |
Сменный объектив |
Угол обзора (градусы) |
Диафрагма (F) |
Фокусное расстояние (мм) |
Совместимость |
|
Raspberry Pi HQ Camera |
Да (C/CS) |
- |
- |
- |
Jetson Nano (B01), Jetson Nano 2GB |
|
IMX477 12.3MP Camera |
Да (C/CS) |
- |
- |
- |
|
|
IMX477-160 12.3MP Camera |
Нет |
160 |
2.2 |
2.75 |
Характеристики объективов (линз), которые могут быть установлены:
|
6mm Wide Angle Lens |
16mm Telephoto Lens |
25mm Telephoto Lens |
35mm Telephoto Lens |
8-50mm Zoom Lens |
|
|
Формат изображения |
1/2" |
1" |
2/3" |
1" |
1/2.3" |
|
Фокусное расстояние |
6 мм |
16 мм |
25 мм |
35 мм |
8-50 мм |
|
Диафрагма |
F1.2 |
F1.4-16 |
F1.4-16 |
F1.7-16 |
F1.4 |
|
Крепление |
CS-mount |
C-mount |
|||
|
Угол обзора |
63° |
1" 44.6°×33.6°
2/3" 30.0° × 23.2°
1/1.8" 24.7°×18.6°
1/2" 21.8°×16.4° |
2/3" 20.2°×15.1°
1/1.8" 16.5°×12.4°
1/2" 14.5°×10.5° |
1" 20,9°×15,8°
2/3" 14,4°×10,8°
1/2" 10,5°×7,9° |
45°-5.35° |
|
Бэк-фокус |
7.53 мм |
17.53 мм |
|||
|
Оптическая длина |
- |
67.53 мм |
- |
- |
- |
|
Размеры |
Φ30.00 × 34.00 мм |
Φ39.00 × 50.00 мм |
Φ34.00 × 34.00 мм |
Φ35.00 × 34.00 мм |
Φ40.00×68.30 мм |
|
Вес |
53 г |
133.7 г |
82 г |
78 г |
148 г |
Для корректной работы камер с матрицами IMX477, рассмотренных выше, с устройствами Jetson Nano требуется установить драйвер, который можно найти на официальном сайте NVIDIA: https://developer.nvidia.com/embedded/downloads#?search=imx477