, видеокамер и сканеров . Фильтр Байера состоит из 25 % красных элементов, 25 % синих и 50 % зелёных элементов, расположенных как показано на рисунке.

Исторически это самый первый из массивов цветных фильтров. Назван по имени его создателя, доктора Брайса Э. Байера (англ. Bryce Bayer ), сотрудника компании Kodak , запатентовавшего предложенный им фильтр в 1976 г. Для отличия от других разновидностей его называют GRGB , RGBG , или (если надо подчеркнуть диагональное расположение красного и синего пикселов) RGGB .

Принцип работы

Матрица является устройством, воспринимающим спроецированное на него изображение. Поскольку полупроводниковые фотоприёмники примерно одинаково чувствительны ко всем цветам видимого спектра, для воспринятия цветного изображения каждый фотоприемник накрывается светофильтром одного из первичных цветов: красного, зелёного, синего (цветовая модель RGB).

Вследствие использования фильтров каждый фотоприемник воспринимает лишь 1/3 цветовой информации участка изображения, а 2/3 отсекается фильтром. Для получения остальных цветовых компонентов используются значения из соседних ячеек. Недостающие компоненты цвета рассчитываются процессором камеры на основании данных из соседних ячеек в результате интерполяции (по алгоритму demosaicing). Таким образом, в формировании конечного значения цветного пикселя участвует 9 или более фотодиодов матрицы.

В классическом фильтре Байера применяются светофильтры трёх основных цветов в следующем порядке:

G	R
B	G

При этом фотодиодов зелёного цвета в каждой ячейке в два раза больше, чем фотодиодов других цветов, в результате разрешающая способность такой структуры максимальна в зелёной области спектра, что соответствует [ ] особенностям человеческого зрения.

Изменения в структуре расположения

Для снижения заметности артефактов дебайеризации были разработаны модифицированные фильтры Байера, содержащие изменения, «разбавляющие» однородную периодическую структуру «неправильным» расположением части цветных пикселей. Вместо минимального 4-пиксельного элемента матрицы повторяется 12- или 24-пиксельный. Однако они не нашли массового применения из-за значительного роста необходимой вычислительной мощности для обработки полученного изображения.

Пример применения

Сфотографируем исходный объект (для наглядности его часть увеличена):

→

При этом получаются три цветовые составляющие:


	↓

	↓

Таким образом, мы получили изображение, каждый пиксель которого содержит только одну цветовую составляющую одной из предметных точек, спроецированных на него объективом. И только 4 предметных точки, рядом расположенных и спроецированных объективом на блок пикселей RGGB, приближенно формируют полный набор RGB 1-й усредненной предметной точки. Далее, процессор камеры должен, используя специальные математические методы интерполяции, рассчитать для каждой точки недостающие цветовые составляющие. В результате получается следующее изображение:

Как видно на картинке, это изображение получилось более размытым, чем исходное. Такой эффект связан с потерей части информации в результате работы фильтра Байера. Для исправления процессор фотоаппарата должен повысить чёткость изображения. Процесс искусственного повышения чёткости называется Sharpening . Дополнительно, в этот момент процессор может применить и другие операции: изменить контрастность, яркость, подавлять цифровой шум и т. д. в зависимости от модели аппарата. Получение более чётких изображений в первую очередь достигается увеличением количества пикселей сенсора, что уменьшает его размытость. Так как вычислительная мощность процессора фотоаппарата ограничена, многие фотографы предпочитают делать эти операции вручную на персональном компьютере. Чем дешевле фотоаппарат, тем меньше возможностей повлиять на эти функции. В профессиональных фотокамерах функции коррекции изображения отсутствуют совсем либо их можно выключить.

Используемые в цифровой фотографии . Фильтр Байера назван в честь его создателя, доктора Брайса Байера (англ. Bryce Bayer ), Сотрудника компании Kodak . Фильтр используется в фотосенсор цифровых фотоаппаратов , видеокамер и сканеров для получения цветного изображения.

Массив фильтра состоит из 25% красных элементов, 25% синих и 50% зеленых элементов. Поэтому его часто называют GRGB или RGBG.

Принцип работы

В результате использования фильтров каждый фотоприемник воспринимает только яркость только одного цветового компонента, другие два отсекаются фильтром. Для получения цветовых компонент используются значения из соседних ячеек, которые содержат информацию об отсутствующих цветовые составляющие, с помощью интерполяции (по алгоритму demosaicing) Итак, при считывании цветного изображения каждой предметной точки участвуют минимум три ячейки фотосенсора с потерями 2/3 цветовых компонент в каждом.

Из-за потери части информации в результате работы фильтра Байера, изображения более размытым, чем исходное. Для исправления процессор фотоаппарата повышает четкость изображения. Процесс искусственного повышения четкости называется Sharpening. Дополнительно, процессор может применить и другие операции: изменить контрастность, яркость, подавлять цифровой шум и т.д.. в зависимости от модели аппарата. Получение четких изображений прежде всего достигается увеличением количества пикселей сенсора . Поскольку вычислительная мощность процессора фотоаппарата ограничена, многие фотографы предпочитают делать эти операции вручную на персональном компьютере.

Последние модели профессиональных и полупрофессиональных цифровых фотоаппаратов позволяют записывать изображение в т. н. "Сыром" RAW -формате, где изображение записывается как набор яркости в каждом диоде, т.е. в черно-белом виде, не неся никакой цветовой формы, и в файл записываются данные, полученные прямо с матрицы, в процессе интерполяции формируют изображение на компьютере, с возможностями ручного управления параметрами преобразований.

? в ? Фотография

Жанры

Фото

Сроки

Фильтр Байера состоит из 25 % красных элементов, 25 % синих и 50 % зелёных элементов, расположенных как показано на рисунке.

Исторически это самый первый из массивов цветных фильтров. Назван по имени его создателя, доктора Брайса Э. Байера (англ. Bryce Bayer ), сотрудника компании Kodak , запатентовавшего предложенный им фильтр в 1976 г. Для отличия от других разновидностей его называют GRGB , RGBG , или (если надо подчеркнуть диагональное расположение красного и синего пикселов) RGGB .

Принцип работы

Вследствие использования фильтров каждый фотоприемник воспринимает лишь 1/3 цветовой информации участка изображения, а 2/3 отсекается фильтром. Для получения остальных цветовых компонент используются значения из соседних ячеек. Недостающие компоненты цвета рассчитываются процессором камеры на основании данных из соседних ячеек в результате интерполяции (по алгоритму demosaicing) Таким образом, в формировании конечного значения цветного пиксела участвует 9 или более фотодиодов матрицы.

В классическом фильтре Байера применяются светофильтры трёх основных цветов в следующем порядке:

G	R
B	G

При этом фотодиодов зелёного цвета в каждой ячейке в два раза больше, чем фотодиодов других цветов, в результате разрешающая способность такой структуры максимальна в зелёной области спектра, что соответствует особенностям человеческого зрения.

Изменения в структуре расположения

Для снижения заметности артефактов дебайеризации были разработаны модифицированные фильтры Байера, содержащие изменения, «разбавляющие» однородную периодическую структуру «неправильным» расположением части цветных пикселей. Вместо минимального 4-х пиксельного элемента матрицы повторяется 12- или 24-пиксельный. Однако они не нашли массового применения из-за значительного роста необходимой вычислительной мощности для обработки полученного изображения.

Пример применения

Сфотографируем исходный объект (для наглядности его часть увеличена):

→

При этом получаются три цветовые составляющие:


	↓

	↓

Недостатки

История, аналоги

Фильтр Байера и расположение световоспринимающих элементов в одной плоскости ведут своё происхождение от растрового способа цветной фотографии .

В душе Пьера теперь не происходило ничего подобного тому, что происходило в ней в подобных же обстоятельствах во время его сватовства с Элен.
Он не повторял, как тогда, с болезненным стыдом слов, сказанных им, не говорил себе: «Ах, зачем я не сказал этого, и зачем, зачем я сказал тогда „je vous aime“?» [я люблю вас] Теперь, напротив, каждое слово ее, свое он повторял в своем воображении со всеми подробностями лица, улыбки и ничего не хотел ни убавить, ни прибавить: хотел только повторять. Сомнений в том, хорошо ли, или дурно то, что он предпринял, – теперь не было и тени. Одно только страшное сомнение иногда приходило ему в голову. Не во сне ли все это? Не ошиблась ли княжна Марья? Не слишком ли я горд и самонадеян? Я верю; а вдруг, что и должно случиться, княжна Марья скажет ей, а она улыбнется и ответит: «Как странно! Он, верно, ошибся. Разве он не знает, что он человек, просто человек, а я?.. Я совсем другое, высшее».
Только это сомнение часто приходило Пьеру. Планов он тоже не делал теперь никаких. Ему казалось так невероятно предстоящее счастье, что стоило этому совершиться, и уж дальше ничего не могло быть. Все кончалось.
Радостное, неожиданное сумасшествие, к которому Пьер считал себя неспособным, овладело им. Весь смысл жизни, не для него одного, но для всего мира, казался ему заключающимся только в его любви и в возможности ее любви к нему. Иногда все люди казались ему занятыми только одним – его будущим счастьем. Ему казалось иногда, что все они радуются так же, как и он сам, и только стараются скрыть эту радость, притворяясь занятыми другими интересами. В каждом слове и движении он видел намеки на свое счастие. Он часто удивлял людей, встречавшихся с ним, своими значительными, выражавшими тайное согласие, счастливыми взглядами и улыбками. Но когда он понимал, что люди могли не знать про его счастье, он от всей души жалел их и испытывал желание как нибудь объяснить им, что все то, чем они заняты, есть совершенный вздор и пустяки, не стоящие внимания.
Когда ему предлагали служить или когда обсуждали какие нибудь общие, государственные дела и войну, предполагая, что от такого или такого исхода такого то события зависит счастие всех людей, он слушал с кроткой соболезнующею улыбкой и удивлял говоривших с ним людей своими странными замечаниями. Но как те люди, которые казались Пьеру понимающими настоящий смысл жизни, то есть его чувство, так и те несчастные, которые, очевидно, не понимали этого, – все люди в этот период времени представлялись ему в таком ярком свете сиявшего в нем чувства, что без малейшего усилия, он сразу, встречаясь с каким бы то ни было человеком, видел в нем все, что было хорошего и достойного любви.
Рассматривая дела и бумаги своей покойной жены, он к ее памяти не испытывал никакого чувства, кроме жалости в том, что она не знала того счастья, которое он знал теперь. Князь Василий, особенно гордый теперь получением нового места и звезды, представлялся ему трогательным, добрым и жалким стариком.

Кажись, Фуджа-то наигралась с экзотическим байером:)

А давайте-ка сегодня поговорим немного о системах цветоразделения и вариантах байера - история интересная.

Вообще самый качественный вариант цветоразделения - 3 матрицы с дихроической призмой - 3CCD . Здесь и далее картинки натырены из Википедии.

Активно применялся и применяется в видеокамерах. Для фотокамер этот способ малоприменим - дело в том, что практически невозможно чисто механически совместить три изображения на трех отдельных сенсорах настолько точно, чтобы получить разрешение хотя бы в несколько мегапикселей. Кроме того, конструкция получается довольно громоздкой. Поэтому решение используется только в видеокамерах.

Второй вариант - многослойные сенсоры, которые по структуре в чем-то имитируют цветную фотопленку. Самый известный пример - сигмовский X3 Foveon . Принцип действия такого сенсора основан на том, что свет с разными длинами волн проникает в кремний на разную глубину.

Поскольку нет мозаики байеровского фильтра, то не нужна интерполяция, и разрешение картинки получается по-настоящему честным.
Но у фовеона свои проблемы, в частности искажение цвета из-за метода цветоразделения, особенно в красном канале, который на сенсоре лежит в самом низу, и до него доходят лучи, искаженные предыдущими двумя слоями. Все эти искажения приходится исправлять с помощью матричных профилей, из-за чего сильно растут шумы, деградирует картинка.
Камеры Sigma достаточно дороги и в целом коммерческим успехом не пользуются. Хотя у Фовеона множество приверженцев-энтузиастов.

Третий и самый популярный вариант - классический байеровский фильтр и его вариации.
Принцип действия фильтра прост - поверх ячеек лежит мозаика из цветных фильтров, пропускающих лучи разного цвета. Получается три ЧБ канала, каждый из которых отражает яркость лучей, прошедших через свой цветной фильтр. При обработке вся эта информация из трёх черно-белых каналов интерполируется в конечное цветное изображение.

На самом деле, можно считать, что у байера четыре канала, потому что зеленых ячеек вдвое больше, чем красных или синих. Это связано с тем, что зеленый канал наиболее важен для человеческого зрительного аппарата и несет для нас наиболее полезную яркостную информацию. Тогда как синий и красный каналы по сути являются цветоразностными.
У байера есть свои недостатки. В первую очередь это недостаточное цветовое разрешение итоговой картинки - поскольку она всегда является плодом интерполяции. Сейчас RAW-конвертеры научились более-менее сносно интерполировать недостающую информацию, однако все равно тот же 4-мегапиксельный Фовеон по разрешающей способности приравнивают к 10-мегапиксельному байеру - и не зря. Простейшую геометрию не обманешь никакими алгоритмами. Поэтому пришлось наращивать мегапиксели и упираться в дифракцию.

В разное время в истории развития цифровых камер появлялись разного рода "экзотические" вариации байеровского фильтра.

Например, в начале 2000-х Sony сделала вариант RGBE (E for Emerald), где половина зеленых ячеек заменена изумрудными:

Вроде бы как это позволило значительно улучшить цветопередачу и приблизить ее к тому, как цвет воспринимается человеческим глазом.
Рассматривая семплы со знаменитой в свое время камеры Sony F-828, в принципе я могу сказать, что цвет у нее неплохой, но принципиальных отличий от современных камеры с обычным байером я не вижу, если честно.

Технология RGBE использовалась Сони недолго, и они вернулись к улучшению традиционного байера.

В конце 90-х также появились сенсоры с байером, основанном на инвертированном наборе первичных цветов - CYGM (cyan, yello, green, magenta). Вот оказывается даже такое было.

Использовались такие сенсоры в некоторых компактах Кэнона и Никона, а также у Кодака, на рубеже 90-х и 2000-х годов.
Основной плюс такого фильтра в том, что он очевидно более "прозрачен", чем классический байеровский. То есть его светопропускание значительно выше, значит можно увеличить чувствительность сенсора и расширить динамический диапазон.
Но все это происходит в ущерб качеству цветоразделения, поскольку каждый фильтр пропускает сравнительно широкую полосу спектра, и разделить соседние оттенки при этом довольно трудно.
Поэтому фотографии с таких камер получались довольно "тухлые" по цвету, и даже агрессивная обработка тут не помогала - что матрица не захватила, то можно только нафантазировать.

Эта технология по вполне понятным причинам тоже долго не прожила.

За несколько лет до своего банкротства в 2007-м году Кодак успел запатентовать еще один вид байера, где половина зеленых ячеек были сделаны совершенно прозрачными. В нескольких вариациях.

Ячейки без фильтров должны по идее улучшить общую чувствительность сенсора.
Пошли такие сенсоры в какие-то реальные модели камер или не пошли - мне лично не известно. Скорее всего на их основе делаются высокочувствительные сенсоры специального назначения.

В течение почти десяти лет Фуджи делала камеры на основе собственной технологии байера "EXR" в нескольких вариациях.

Ячейки в таком сенсоре расположены по диагонали, что позволяет объединять соседние ячейки одного цвета для получения большей чувствительности. Кроме того, при таком расположении ячеек возможны более сложные структуры, позволяющие часть ячеек экспонировать сильнее, а другую часть - слабее, получая больший динамический диапазон.
На основе технологии Фуджи сделали два вида сенсоров CCD (SuperCCD), в которых за счет такой структуры не только повышается разрешение, но и за счет дополнительных маленьких ячеек с низкой чувствительностью можно получить расширенный динамический диапазон.

SuperCCD продержался аж до 2010 года в разных моделях камер Фуджи, но позже все равно уступил место BSI (back side illuminated) CMOS, но с диагональным байером.

Проблема любого байеровского фильтра в том, что он склонен после интерполяции давать цветной муар на периодических структурах. По сути это биение частот, а цветной рисунок возникает как раз именно из-за чередования цветных ячеек на байере. Чтобы уменьшить этот эффект, в 90% камер перед сенсором ставят специальный фильтр "АА" (anti alias), который по сути размывает изображение. Естественно при этом сильно теряется и без того невысокое разрешение изображений, получаемых путем интерполяции, но зато в какой-то степени уходит муар.

Поэтому Фуджи придумали особый вид байера X-Trans CMOS, который якобы должен уменьшить возможность появления муара и позволить безбоязненно делать сенсоры без АА-фильтра. Новый байер выглядит вот так:

Такая мозаика байеровского фильтра, по мнению Фуджи, должна давать большее яркостное и цветовое разрешение, препятствовать появлению муара и давать более "пленочное" зерно за счет того, что в каждом ряду ячеек теперь есть все три цвета, а их расположение как бы более хаотичное, подобно зерну на пленке.
Муара на таком сенсоре действительно не будет, но что касается разрешения, то вопрос крайне спорный.
Ведь, если задуматься, на классическом байере зеленые ячейки, дающие основную яркостную информацию, расположены более "равномерно", не сгруппированы в крупные квадраты 2х2, и, соответственно, яркостное разрешение должно быть несколько выше.

На самом деле, чисто на практике никаких особых преимуществ перед обычным байером X-Trans не показал. В целом разрешающая способность такого сенсора примерно на уровне традиционных аналогов, никакого особого "теплого лампового зерна" я не заметил.
А вот при обработке RAW-файлы с экзотического байера доставляют головную боль. Дело в том, что поначалу вообще ни один конвертер, кроме родного фуджевского, адекватно не интерпретировал такую мозаику. Да и позднее, когда тот же Adobe сделали апдейт и улучшили интерполяцию, результат ничем не лучше обычного байера, а может быть в каких-то ситуациях даже и хуже.
Лично я обращал внимание на отчетливую "пунктирность" всяких вертикальных элементов изображения - очевидно, из-за крупных 2х2 зеленых ячеек.

Кстати, та же самая ситуация наблюдается с их старым SuperCCD, который до сих пор никто толком не умеет правильно интерполировать.

Так получается, что традиционный байер пока что дает самый надежный и удобный для интерпретации результат, проверенный временем.
Возможно именно поэтому Фуджи сейчас на беззеркальной камере нижнего сегмента решила обкатать свежий сенсор с обычным байером, безо всяких выкрутас. Наигрались?

В цифровых камерах для получения изображения используется сенсорная матрица из миллионов миниатюрных ячеек-пикселей. Когда вы нажимаете кнопку спуска на своей камере, и начинается экспозиция, каждый из этих пикселей представляет собой «фототермос», который открывается, чтобы собрать и сохранить фотоны в своей ёмкости. По завершении экспозиции камера закрывает все фототермосы и пытается определить, сколько фотонов попало в каждый. Относительное количество фотонов в каждой ёмкости далее преобразуется в различные уровни интенсивности, точность которых определяется разрядностью (от 0 до 255 для 8-битного изображения).

В ёмкости не содержится информации о том, сколько каждого цвета попало в неё, так что вышеописанным способом можно было бы получить только чёрно-белые изображения. Чтобы получить цветные изображения, поверх каждой ёмкости помещают фильтр, который пропускает только определённый цвет. Практически все современные цифровые камеры могут захватить в каждую из ёмкостей только один из трёх первичных цветов и таким образом теряют примерно 2/3 входящего света. В результате камере приходится складывать остальные цвета, чтобы иметь информацию обо всех цветах в каждом пикселе. Наиболее известный матричный цветофильтр, который называется «фильтр Байера», показан ниже.

Матрица Байера состоит из чередующихся рядов красно-зелёных и зелено-синих фильтров. Обратите внимание, что в матрице Байера содержится вдвое больше зелёных сенсоров, чем синих или красных. Дисбаланс первичных цветов вызван тем, что человеческий глаз более чувствителен к зелёному цвету,чем к красному и синему вместе взятым. Избыточность по зелёным пикселям даёт изображение, которое кажется менее шумным и более чётким, чем казалось бы при равном количестве цветов. Это объясняет также, почему шум в зелёном канале намного меньше, чем в остальных (пример см. в статье «Что такое визуальный шум »).

Примечание: не все цифровые камеры используют матрицу Байера, но это наиболее распространённый вариант. Сенсор Foveon, используемый в камерах Sigma SD9 и SD10, регистрирует все три цвета в каждом пикселе. Камеры Sony снимают четыре цвета в похожем массиве: красный, зелёный, синий и изумрудно-зелёный.

Дебайеризация

Дебайеризация - это процесс трансляции матрицы первичных цветов Байера в итоговое изображение, в котором содержится полная информация о цвете в каждом пикселе. Как это возможно, если камера не в состоянии непосредственно измерить полный цвет? Один из способов понять этот процесс - это рассматривать каждый массив 2x2 из красной, двух зелёных и синей ячейки как одну полноцветную ячейку.

→

В целом этого достаточно, но большинство камер предпринимают дополнительные шаги, чтобы получить из этой матрицы ещё больше информации об изображении. Если бы камера рассматривала каждый из массивов 2x2 как одну точку, её разрешение упало бы вдвое и по горизонтали, и по вертикали (то есть, вчетверо). С другой стороны, если бы камера считала цвета, используя несколько перекрывающихся массивов 2x2, она могла бы получить более высокое разрешение, чем это возможно для единичных массивов 2x2. Для увеличения количества информации об изображении можно использовать следующую комбинацию из перекрывающихся массивов 2x2.

		→

Обратите внимание, что мы не рассчитывали информацию об изображении на границах матрицы, поскольку предположили, что изображение имеет продолжение в каждую из сторон. Если бы это действительно были границы матрицы, расчёты оказались бы менее точны, поскольку здесь нет больше пикселей. Это не является проблемой, поскольку для камер с миллионами пикселей граничная информация может быть смело отброшена.

Существуют и другие алгоритмы разбора матриц, которые могут извлечь несколько большее разрешение, собирают менее шумные изображения или адаптивно реагируют на разные участки изображения.

Дефекты дематризации

Изображения с мелкими деталями на пределе разрешающей способности цифрового сенсора могут порой сбивать с толку алгоритм разбора матрицы, приводя к неестественно выглядящим результатам. Наиболее известный дефект - это муар, который может проявляться как повторяющиеся текстуры, дефекты цветопередачи или образованные из пикселей сюрреалистические лабиринты:

Выше показаны два снимка с различным увеличением. Обратите внимание на появление муара во всех четырёх нижних квадратах, а также на третий квадрат первого снимка (плохо различимый). В уменьшенной версии в третьем квадрате можно наблюдать как лабиринты, так и дефекты цвета. Такие дефекты зависят как от типа текстуры, так и от программного обеспечения, которое производит исходный (RAW) файл цифровой камеры .

Матрица микролинз

Вас может заинтересовать, почему на первой диаграмме в этой главе ёмкости не были расположены непосредственно друг рядом с другом. У сенсоров в камерах в действительности нет полного перекрытия поверхности. На самом деле зачастую под пиксели отведено не более половины общей площади сенсора, поскольку нужно где-то разместить остальную электронику. Для каждой ёмкости существуют направляющие, которые отправляют фотоны в ту или иную ячейку. В цифровых камерах применяются «микролинзы» поверх каждой группы пикселей, чтобы повысить их способность собирать свет. Эти линзы подобно воронкам собирают фотоны, которые могли иначе остаться неиспользованными.

Хорошо сконструированные микролинзы могут улучшить сбор фотонов каждой ячейкой и, следовательно, создать изображения, в которых содержится меньше шумов при одинаковом времени экспозиции (выдержке). Производители камер оказались способны использовать усовершенствования в производстве микролинз, чтобы снизить или сохранить уровень шума в новейших камерах с высоким разрешением, несмотря на сокращение размеров ячейки в связи с упаковкой большего числа мегапикселей в тот же размер сенсора.

За дополнительной информацией о сенсорах цифровых камер обратитесь к главе.

Другое