13.07.2022Интеграция с задержкой по времени (TDI) — это метод получения изображений, существовавший до появления цифровой фотографии, но до сих пор предоставляющий огромные преимущества на переднем крае современных технологий обработки изображений. Камеры с технологией TDI демонстрируют свои лучшие качества в двух случаях — когда объект съемки находится в движении:
1. Объект съемки по своей природе находится в движении с постоянной скоростью, как, например, при контроле качества рулонной продукции (сканировании движущихся листов бумаги, пластика или ткани на наличие дефектов и повреждений), на сборочных линиях или в микрофлюидике и гидродинамике.
2 – Статические объекты, которые можно запечатлеть с помощью камеры, перемещаемой из одной области в другую либо путем перемещения объекта, либо камеры. Примеры включают сканирование предметных стекол микроскопа, контроль материалов, проверку плоских панелей и т. д.
Если к вашей системе визуализации применима хотя бы одна из этих ситуаций, эта веб-страница поможет вам оценить, может ли переход от обычных двухмерных камер с «площадным сканированием» к камерам Line Scan TDI улучшить качество вашей визуализации.
Проблема с сканированием местности и движущимися целями.
● Размытие в движении
В некоторых случаях объекты съемки по необходимости находятся в движении, например, при исследовании потоков жидкости или контроле качества полотна. В других областях применения, таких как сканирование слайдов и контроль материалов, поддержание объекта в движении может быть значительно быстрее и эффективнее, чем остановка движения для каждого полученного изображения. Однако для камер с плоскостным сканированием, если объект съемки находится в движении относительно камеры, это может представлять собой проблему.
Размытие в движении, искажающее изображение движущегося транспортного средства.
В условиях ограниченного освещения или при необходимости получения высококачественных изображений может потребоваться длительная выдержка камеры. Однако движение объекта будет распределять свет по нескольким пикселям камеры во время экспозиции, что приведет к «размытию движения». Это можно минимизировать, используя очень короткие выдержки — меньше времени, необходимого точке на объекте для прохождения одного пикселя камеры.unобычно за счет получения темных, шумных и часто непригодных для использования изображений.
●Шитье
Кроме того, для получения изображений больших или непрерывных объектов с помощью камер с плоскостным сканированием обычно требуется получение нескольких изображений, которые затем сшиваются. Это сшивание требует перекрытия пикселей между соседними изображениями, что снижает эффективность и увеличивает требования к хранению и обработке данных.
●Неравномерное освещение
Более того, освещение редко бывает достаточно равномерным, чтобы избежать проблем и артефактов на границах между сшитыми изображениями. Кроме того, для обеспечения достаточного освещения достаточно большой площади для камеры с плоским сканированием с достаточной интенсивностью часто требуется использование мощных и дорогостоящих источников постоянного тока.
Неравномерное освещение при сшивании многоснимков головного мозга мыши. Изображение из работы Watson et al. 2017: http://dx.doi.org/10.1371/journal.pone.0180486
Что такое камера TDI и чем она полезна?
В обычных двухмерных камерах с сканированием по области получение изображения включает три этапа: сброс пикселя, экспозиция и считывание. Во время экспозиции фотоны из сцены детектируются, в результате чего образуются фотоэлектроны, которые сохраняются в пикселях камеры до конца экспозиции. Затем значения каждого пикселя считываются, и формируется двухмерное изображение. После этого пиксели сбрасываются, и все заряды удаляются для начала следующей экспозиции.
Однако, как уже упоминалось, если объект съемки движется относительно камеры, свет от объекта может рассеиваться на несколько пикселей во время экспозиции, что приводит к размытию изображения из-за движения. Камеры TDI преодолевают это ограничение с помощью инновационной техники. Это продемонстрировано в [Анимация 1].
●Как работают камеры TDI
Камеры TDI работают принципиально иначе, чем камеры с плоскостным сканированием. По мере перемещения объекта съемки по камере во время экспозиции электронные заряды, составляющие полученное изображение, также перемещаются, оставаясь синхронизированными. Во время экспозиции камеры TDI способны перемещать все накопленные заряды из одного ряда пикселей в другой вдоль камеры, синхронизируясь с движением объекта съемки. По мере перемещения объекта по камере каждый ряд (известный как «этап TDI») предоставляет новую возможность экспонировать камеру на объект и накапливать сигнал.
Как только ряд полученных зарядов достигает конца камеры, значения считываются и сохраняются в виде одномерного среза изображения. Двумерное изображение формируется путем склеивания каждого последующего среза изображения по мере их считывания камерой. Каждый ряд пикселей в полученном изображении отслеживает и сканирует один и тот же «срез» объекта съемки, а это значит, что, несмотря на движение, размытия нет.
●В 256 раз более длительная выдержка
В камерах TDI эффективное время экспозиции изображения определяется общим временем, необходимым для прохождения точкой объекта каждого ряда пикселей, при этом в некоторых камерах TDI доступно до 256 этапов экспозиции. Это означает, что доступное время экспозиции фактически в 256 раз больше, чем у камер с площадным сканированием.
Это может обеспечить либо одно из двух улучшений, либо баланс обоих. Во-первых, можно добиться значительного увеличения скорости съемки. По сравнению с камерой с площадным сканированием, объект съемки может перемещаться до 256 раз быстрее, при этом захватывая тот же объем сигнала, при условии, что скорость передачи данных камеры достаточно высока.
С другой стороны, если требуется более высокая чувствительность, более длительное время экспозиции может позволить получить изображения гораздо более высокого качества, снизить интенсивность освещения или и то, и другое.
●Высокая пропускная способность данных без сшивания.
Поскольку камера TDI создает двухмерное изображение из последовательных одномерных срезов, результирующее изображение может быть любого необходимого размера. В то время как количество пикселей в «горизонтальном» направлении определяется шириной камеры, например, 9072 пикселя, «вертикальный» размер изображения неограничен и определяется просто длительностью работы камеры. При частоте кадров до 510 кГц это позволяет обеспечить огромную пропускную способность данных.
В сочетании с этим, камеры TDI могут обеспечивать очень широкое поле зрения. Например, камера с разрешением 9072 пикселя и размером пикселя 5 мкм обеспечивает горизонтальное поле зрения 45 мм с высоким разрешением. Для достижения той же ширины изображения с помощью сканирующей камеры с размером пикселя 5 мкм потребуется до трех 4K-камер, расположенных рядом.
●Улучшения по сравнению с камерами линейного сканирования
Камеры TDI предлагают не только преимущества по сравнению с камерами с площадным сканированием. Линейные камеры, которые захватывают только одну линию пикселей, также страдают от многих тех же проблем, связанных с интенсивностью освещения и короткой выдержкой, что и камеры с площадным сканированием.
Хотя, подобно камерам TDI, линейные сканирующие камеры обеспечивают более равномерное освещение, имеют более простую настройку и не требуют сшивания изображений, им часто требуется очень интенсивное освещение и/или медленное движение объекта для получения достаточного сигнала для высококачественного изображения. Более длительные выдержки и более высокая скорость движения объекта, которые обеспечивают камеры TDI, означают, что можно использовать менее интенсивное и более дешевое освещение, одновременно повышая эффективность съемки. Например, производственная линия может перейти от дорогостоящих галогенных ламп с высоким энергопотреблением, требующих питания постоянным током, к светодиодному освещению.
Как работают камеры TDI?
Существует три распространенных стандарта для получения изображений TDI на сенсоре камеры.
● CCD TDI– ПЗС-камеры – это самый старый тип цифровых камер. Благодаря своей электронной конструкции, добиться эффекта TDI на ПЗС-матрице сравнительно очень просто, и многие датчики камер по своей природе способны работать таким образом. Поэтому ПЗС-матрицы с эффектом TDI используются уже несколько десятилетий.
Однако технология CCD имеет свои ограничения. Минимальный размер пикселя, обычно доступный для CCD TDI-камер, составляет около 12 мкм x 12 мкм — это, наряду с малым количеством пикселей, ограничивает возможности камер по разрешению мелких деталей. Более того, скорость захвата изображения ниже, чем у других технологий, а шум считывания — основной ограничивающий фактор при съемке в условиях низкой освещенности — высок. Энергопотребление также высокое, что является важным фактором в некоторых приложениях. Это привело к желанию создать TDI-камеры на основе архитектуры CMOS.
●Ранние КМОП-технологии TDI: суммирование в области напряжения и цифровое суммирование.
CMOS-камеры преодолевают многие ограничения CCD-камер, связанные с шумом и скоростью, при этом потребляя меньше энергии и предлагая меньшие размеры пикселей. Однако добиться эффекта TDI на CMOS-камерах было гораздо сложнее из-за особенностей конструкции пикселей. В то время как CCD-камеры физически перемещают фотоэлектроны от пикселя к пикселю для управления сенсором, CMOS-камеры преобразуют сигналы фотоэлектронов в напряжения в каждом пикселе перед считыванием.
Изучение поведения TDI на CMOS-сенсоре началось еще в 2001 году, однако проблема обработки «накопления» сигнала по мере перехода от одной строки экспозиции к другой оставалась значительной. Два ранних метода TDI для CMOS-сенсоров, до сих пор используемые в коммерческих камерах, — это накопление в области напряжения и цифровое суммирование TDI CMOS. В камерах с накоплением в области напряжения, по мере получения каждой строки сигнала по мере прохождения объекта съемки, полученное напряжение электронно добавляется к общему напряжению, полученному для этой части изображения. Такое накопление напряжения вносит дополнительный шум для каждого дополнительного каскада TDI, что ограничивает преимущества дополнительных каскадов. Проблемы с линейностью также затрудняют использование этих камер для точных приложений.
Второй метод — цифровое суммирование TDI. В этом методе CMOS-камера фактически работает в режиме сканирования по области с очень короткой выдержкой, соответствующей времени, необходимому для перемещения объекта съемки по одному ряду пикселей. Но строки из каждого последующего кадра суммируются цифровым способом таким образом, что достигается эффект TDI. Поскольку для каждого ряда пикселей в результирующем изображении необходимо считывать данные со всей камеры, это цифровое суммирование также добавляет шум считывания для каждого ряда и ограничивает скорость получения изображения.
●Современный стандарт: TDI-CMOS с зарядовой областью, или CCD-on-CMOS TDI.
Ограничения CMOS TDI, описанные выше, были недавно преодолены благодаря внедрению CMOS-датчиков с накоплением заряда в домене, также известных как CCD-on-CMOS TDI. Работа этих датчиков продемонстрирована в [Анимация 1]. Как следует из названия, эти датчики обеспечивают перемещение зарядов от одного пикселя к другому, подобное CCD-датчику, накапливая сигнал на каждом этапе TDI за счет добавления фотоэлектронов на уровне отдельных зарядов. Это практически бесшумно. Однако ограничения CCD TDI преодолеваются за счет использования архитектуры считывания CMOS, что обеспечивает высокую скорость, низкий уровень шума и низкое энергопотребление, характерные для CMOS-камер.
Технические характеристики TDI: что важно?
●Технология:Наиболее важным фактором, как обсуждалось выше, является используемая сенсорная технология. Технология TDI на основе CMOS-датчиков зарядовой области обеспечит наилучшие характеристики.
●Этапы TDI:Это количество рядов сенсора, по которым может накапливаться сигнал. Чем больше ступеней TDI у камеры, тем больше может быть её эффективное время экспозиции. Или, другими словами, тем быстрее может двигаться объект съёмки, при условии, что камера имеет достаточную скорость передачи данных.
●Тариф на линию:Количество строк, которые камера может считывать в секунду. Это определяет максимальную скорость движения, с которой может работать камера.
●Квантовая эффективностьЭто указывает на чувствительность камеры к свету на разных длинах волн, определяемую вероятностью обнаружения падающего фотона и образования фотоэлектрона. Более высокая квантовая эффективность может обеспечить меньшую интенсивность освещения или более быструю работу при сохранении того же уровня сигнала.
Кроме того, камеры различаются по диапазону длин волн, в котором может быть достигнута хорошая чувствительность: некоторые камеры обеспечивают чувствительность вплоть до ультрафиолетового (УФ) конца спектра, примерно на длине волны 200 нм.
●Шум чтения:Шум считывания — ещё один важный фактор чувствительности камеры, определяющий минимальный сигнал, который может быть обнаружен выше уровня шума камеры. При высоком уровне шума считывания тёмные детали не могут быть обнаружены, а динамический диапазон значительно снижается, что означает необходимость использования более яркого освещения, более длительной выдержки и более низкой скорости движения.
Технические характеристики TDI: что важно?
В настоящее время камеры TDI используются для контроля качества веб-продукции, электроники и производственных процессов, а также в других областях машинного зрения. Наряду с этим, существуют и сложные задачи, требующие работы в условиях низкой освещенности, такие как флуоресцентная визуализация и сканирование предметных стекол.
Однако с появлением высокоскоростных, малошумных и высокочувствительных CMOS-камер TDI открывается огромный потенциал для повышения скорости и эффективности в новых областях применения, которые ранее использовали только камеры с площадным сканированием. Как мы уже отмечали в начале статьи, камеры TDI могут быть наилучшим выбором для достижения высоких скоростей и высокого качества изображения как при съемке постоянно движущихся объектов, так и при сканировании статических объектов.
Например, в микроскопии мы могли бы сравнить теоретическую скорость получения изображений с помощью 9K-пиксельной TDI-камеры с 256-позиционным столиком и размером пикселей 5 мкм с камерой с разрешением 12 Мп и размером пикселей 5 мкм. Рассмотрим получение изображения области 10 x 10 мм с 20-кратным увеличением путем перемещения столика.
1. Использование 20-кратного объектива с камерой сканирования области обеспечит поле зрения 1,02 x 0,77 мм.
2. С помощью камеры TDI можно использовать 10-кратный объектив с дополнительным 2-кратным увеличением, чтобы преодолеть любые ограничения поля зрения микроскопа и получить горизонтальное поле зрения изображения 2,3 мм.
3. Предполагая 2% перекрытия пикселей между изображениями для целей сшивания, 0,5 секунды на перемещение платформы в заданное положение и время экспозиции 10 мс, мы можем рассчитать время, которое потребуется камере сканирования области. Аналогично, мы можем рассчитать время, которое потребуется камере TDI, если платформа будет постоянно перемещаться для сканирования в направлении Y, с тем же временем экспозиции на строку.
4. В этом случае камере с плоскостным сканированием потребовалось бы получить 140 изображений, при этом перемещение платформы заняло бы 63 секунды. Камера TDI получила бы всего 5 длинных изображений, при этом перемещение платформы к следующей колонне заняло бы всего 2 секунды.
5. Общее время, затраченное на получение изображения области размером 10 x 10 мм, составит:64,4 секунды для камеры сканирования местности.и просто9,9 секунды для камеры TDI.
Если вы хотите узнать, подходит ли камера TDI для ваших задач и отвечает ли вашим потребностям, свяжитесь с нами сегодня.
