Но использование сжатого зондирования для получения изображения неэффективно: этой «однопиксельной камере» требовались тысячи экспозиций, чтобы получить достаточно четкое изображение. Сообщая о своих результатах в журнале IEEE Transactions on Computational Imaging, исследователи из MIT Media Lab теперь описывают новую технику, которая делает получение изображений с использованием сжатого зондирования в 50 раз более эффективным.
В случае однопиксельной камеры можно было бы уменьшить количество кадров с тысяч до десятков.Одним из интересных аспектов систем обработки изображений со сжатым зондированием является то, что, в отличие от обычных камер, они не требуют линз. Это может сделать их полезными в суровых условиях или в приложениях, которые используют длины волн света за пределами видимого спектра.
Избавление от линзы открывает новые перспективы для проектирования систем визуализации.«Раньше для получения изображений требовался объектив, и этот объектив мог отображать пиксели в пространстве на датчики в массиве, причем все было точно структурировано и спроектировано», — говорит Гай Сатат, аспирант в Media Lab и первый автор новой статьи. «В области компьютерной визуализации мы начали спрашивать: нужен ли объектив? Должен ли датчик быть структурированным массивом? Сколько пикселей должно быть у датчика?
Достаточно ли одного пикселя? Эти вопросы по существу разрушают фундаментальное представление о том, что такое камера есть. Тот факт, что требуется только один пиксель, а линза больше не нужна, снимает основные конструктивные ограничения и позволяет разрабатывать новые системы визуализации. Использование сверхбыстрого зондирования делает измерения значительно более эффективными ».
Рекурсивные приложенияОдним из соавторов новой статьи Сатата является его научный руководитель, доцент кафедры медиаискусств и наук Рамеш Раскар. Как и многие другие проекты группы Раскара, новая техника сжатого зондирования зависит от времени пролета изображения, при котором на сцену проецируется короткая вспышка света, а сверхбыстрые датчики измеряют, сколько времени требуется свету, чтобы отразиться обратно.Этот метод использует времяпролетную визуализацию, но, в некоторой степени, одно из возможных применений — улучшение характеристик времяпролетных камер.
Таким образом, это может иметь значение для ряда других проектов группы Раскара, таких как камера, которая может видеть из-за углов, и системы визуализации в видимом свете для медицинской диагностики и автомобильной навигации.Многие прототипы систем из группы Raskar Camera Culture в Media Lab использовали времяпролетные камеры, называемые полосковыми камерами, которые дороги и сложны в использовании: они захватывают только один ряд пикселей изображения за раз. Но в последние несколько лет появились коммерческие времяпролетные камеры, называемые SPAD, для однофотонных лавинных диодов.Несмотря на то, что SPAD не так быстр, как полосовые камеры, они все же достаточно быстры для многих приложений с функцией времени полета, и они могут захватывать полное двухмерное изображение за одну экспозицию.
Кроме того, их датчики построены с использованием производственных технологий, распространенных в индустрии компьютерных микросхем, поэтому их массовое производство должно быть рентабельным.В SPAD электроника, необходимая для управления каждым пикселем датчика, занимает так много места, что пиксели оказываются далеко друг от друга на микросхеме датчика.
В обычной камере это ограничивает разрешение. Но со сжатым восприятием оно фактически увеличивает его.
Получение некоторого расстоянияПричина, по которой однопиксельная камера может обходиться одним датчиком освещенности, заключается в том, что свет, падающий на нее, имеет узор. Один из способов структурировать свет — это установить фильтр, похожий на случайную черно-белую шахматную доску, перед вспышкой, освещающей сцену.
Другой способ — отразить возвращающийся свет от множества крошечных микрозеркал, некоторые из которых направлены на датчик света, а некоторые нет.Датчик производит только одно измерение — совокупную интенсивность падающего света. Но если измерение будет повторяться достаточно много раз, и если свет будет каждый раз иметь различный узор, программное обеспечение может определить интенсивность света, отраженного от отдельных точек сцены.
Однопиксельная камера была удобной для СМИ демонстрацией, но на самом деле сжатие работает лучше, чем больше пикселей у сенсора. И чем дальше друг от друга пиксели, тем меньше избыточности в измерениях, которые они производят, во многом так же, как вы видите большую часть визуальной сцены перед собой, если сделаете два шага вправо, а не один. И, конечно же, чем больше измерений производит датчик, тем выше разрешение восстановленного изображения.Эффект масштаба
По сути, времяпролетное изображение превращает одно измерение — с одним световым узором — в десятки измерений, разделенных триллионными долями секунды. Более того, каждое измерение соответствует только подмножеству пикселей в конечном изображении — тех, которые изображают объекты на одинаковом расстоянии. Это означает, что при каждом измерении требуется декодировать меньше информации.
В своей статье Сатат, Раскар и Мэтью Танчик, аспирант Массачусетского технологического института в области электротехники и информатики, представляют теоретический анализ сжатого зондирования, в котором используется информация о времени полета. Их анализ показывает, насколько эффективно этот метод может извлекать информацию о визуальной сцене с разным разрешением и с разным количеством датчиков и расстоянием между ними.
Они также описывают процедуру расчета световых схем, которая сводит к минимуму количество экспозиций. И, используя синтетические данные, они сравнивают производительность своего алгоритма реконструкции с производительностью существующих алгоритмов сжатия данных.
Но в постоянной работе они разрабатывают прототип системы, чтобы они могли протестировать свой алгоритм на реальных данных.