Exmor, Isocell & Co: почему сенсоры изображения на смартфоне так важны?

Exmor, Isocell & Co: почему сенсоры изображения на смартфоне так важны? Советы

В то время как производители смартфонов постоянно увеличивают количество мегапикселей в своих камерах, используя трехзначные цифры для них и рекламируя фантастический зум на своих устройствах, для большинства пользователей гораздо более важная функция камеры – размеры фотосенсора – остается неизвестной величиной. Почему это так важно для качества изображения?

Об этом вы и узнаете в нашей сегодняшней статье.

Множество «глаз»: тенденция в современных смартфонах склоняется к большему количеству камер, но относительно незаметно, а также к постоянно увеличивающимся сенсорам изображения.
Множество «глаз»: тенденция в современных смартфонах склоняется к большему количеству камер, но относительно незаметно, а также к постоянно увеличивающимся сенсорам изображения.

Размер сенсоров в дюймах: от аналоговых трубок до чипов CMOS

Давайте начнем с некоторой справочной информации: в большинстве спецификаций смартфонов размер сенсора камеры записывается как 1 / xyz дюйм: например, 1 / 1.72 дюйма или 1/2 дюйма. Как правило, этот размер не соответствует фактическому размеру сенсора вашего смартфона.

Давайте посмотрим на спецификацию IMX586: полдюйма этого сенсора на самом деле будет соответствовать 1,27 сантиметрам. Однако реальный размер Sony IMX586 не имеет к этому никакого отношения. Если мы умножим размер пикселя в 0,8 микрона на разрешение по горизонтали в 8000 пикселей, мы получим всего 6,4 миллиметра, то есть примерно половину числа. Если мы сначала измерим горизонталь, а затем применим теорему Пифагора для получения диагонального измерения, мы получим 8,0 миллиметров. Даже этого недостаточно.

И вот суть вопроса: параметры были введены около полувека назад, когда видеокамеры все еще использовали вакуумные трубки в качествепреобразователей изображения. Маркетинговые отделы по-прежнему сохраняют приблизительное соотношение светочувствительной площади к диаметру трубки с большой энергией, почти до уровня непрекращающегося потока писем с расширениями полового члена, отправленных в нашу папку для спама. И это все имеет отношение к название к так называемому CMOS-
чипу, с диагональю 0,31 дюйма в 1/2-дюймовом сенсоре.

Дюймовые обозначения современных сенсоров изображения возникли в те времена. На картинке: изобретатель ионоскопа Владимир Зворыкин (ок. 1954) на фоне ряда преобразователей изображений.
Дюймовые обозначения современных сенсоров изображения возникли в те времена. На картинке: изобретатель ионоскопа Владимир Зворыкин (ок. 1954) на фоне ряда преобразователей изображений.

Если вы желаете узнать фактический размер сенсора изображения, посмотрите таблицу данных производителя или подробную страницу Википедии о размерах сенсора изображения. Либо вам стоит последовать приведенному выше примеру и умножить размер пикселя на горизонтальное или вертикальное разрешение.

Эффективная площадь сенсора: чем больше, тем лучше

Почему размер фотосенсора так важен? Представьте, сколько света проходит через объектив на сенсор, как будто с неба падает дождь. Теперь у вас есть одна десятая секунды, чтобы оценить количество воды, которая в данный момент падает.

С рюмкой это будет относительно непросто для вас, но через одну десятую секунды, в сильный дождь, возможно, несколько капель упадут в рюмку, но с небольшим дождем или с определенной долей невезения, возможно, вообще не упадет ни одной капли. Ваша оценка будет очень неточной в любом случае.

Теперь представьте, что у вас есть детский бассейн для выполнения той же задачи. При этом вы можете легко поймать от нескольких сотен до нескольких тысяч дождевых капель, а с поверхности можно сделать более точную оценку количества осадков.

Как и в случае с рюмкой, детским бассейном и дождем, то же самое относится к размерам сенсоров и количеству света, будь то много или мало. Чем меньше сенсор, тем меньше фотонов захватывается преобразователями света – и тем менее точен результат измерения. Эти неточности позже проявляются в таких ошибках, как шум изображения, искаженные цвета и т.д.

На этом рисунке показаны некоторые форматы сенсоров, которые в настоящее время используются в смартфонах, в реальном масштабе времени.
На этом рисунке показаны некоторые форматы сенсоров, которые в настоящее время используются в смартфонах, в реальном масштабе времени.

Конечно, разница в сенсорах изображения смартфона не так велика, как между рюмкой и детским бассейном. Но вышеупомянутый Sony IMX586 в телеобъективе Samsung Galaxy S20 Ultra примерно в четыре раза больше по площади, чем 1 / 4,4-дюймовый сенсор в телеобъективе Xiaomi Mi Note 10.

Что касается такого явления, как зум: то, что производитель пишет «100x» или «10x» на внешней стороне, в некоторой степени эквивалентно хвастовству, обозначаемому спидометром в автомобиле. VW Golf со спидометром, на котором указана максимальная скорость до 360 км / ч, все равно не будет двигаться быстрее, чем Ferrari. Тем не менее, эта тема должна быть рассмотрена в другой статье.

Что, если максимальная скорость автомобиля была бы изображена сзади? Если кто-то из отдела маркетинга смартфонов работает на Volkswagen, возможно, больше не будет перекосов.
Что, если максимальная скорость автомобиля была бы изображена сзади? Если кто-то из отдела маркетинга смартфонов работает на Volkswagen, возможно, больше не будет перекосов.

Bayer Mask & Co .: добавьте больше красок

Давайте вернемся к аналогии воды сверху. Если бы мы теперь поместили сетку размером 4000 на 3000 ведер на лугу, мы могли бы с разрешением в 12 мегапикселей определить количество осадков и, возможно, сделать какую-то картину насыщения воды из дождевого облака над головой.

Однако, если бы сенсор изображения с 12-мегапикселями собирал количество света с его ловушками фотонов на 4000 на 3000, полученная фотография была бы черно-белой – потому что мы измеряли только абсолютное количество света. Мы не можем различить ни цвета, ни размеры падающих капель дождя. Как черно-белое изображение становится цветным?

Хитрость заключается в том, чтобы поместить цветовую маску поверх сенсора, так называемой матрицы Байера. Это гарантирует, что только красный, синий или зеленый свет будет достигать пикселей. С классической матрицей Байера, которая имеет макет RGGB, 12-мегапиксельный сенсор имеет шесть миллионов зеленых пикселей и три миллиона красных и синих пикселей каждый.

Человеческий глаз лучше различает зеленые тона. Интересно, что сенсоры изображения камер также лучше расположены в этом аспекте и имеют в два раза больше зеленых пикселей, чем синих или красных пикселей. Справа вы можете видеть матрицу RYYB - здесь зеленые пиксели заменены желтыми.
Человеческий глаз лучше различает зеленые тона. Интересно, что сенсоры изображения камер также лучше расположены в этом аспекте и имеют в два раза больше зеленых пикселей, чем синих или красных пикселей. Справа вы можете видеть матрицу RYYB – здесь зеленые пиксели заменены желтыми.

Чтобы сгенерировать изображение с двенадцатью миллионами пикселей RGB из этих данных, при обработке изображений обычно используются зеленые пиксели для демозаики. Используя окружающие красные и синие пиксели, алгоритм затем вычисляет значение RGB для этих пикселей – что является очень упрощенным объяснением. На практике алгоритмы демозаписи намного умнее, например, чтобы избежать цветных полос на острых краях, тот же принцип следует за красными и синими пикселями, где красочная фотография в конечном итоге попадает во внутреннюю память вашего смартфона.

Quad Bayer и Tetracell

Будь то 48, 64 или 108 мегапикселей, большинство современных сенсоров с чрезвычайно высоким разрешением в смартфонах имеют одну общую черту. Хотя сам сенсор на самом деле имеет 108 миллионов единиц воды или датчиков света, маска Байера над ним имеет более низкое разрешение в четыре раза. Таким образом, есть четыре пикселя под каждым цветным фильтром.

Будь то датчики Quad-Bayer или Samsung Tetracell: все больше и больше сенсоров изображения имеют четыре пикселя с общим цветовым фильтром. Кстати, размер пикселя относительно незначителен для качества изображения. Крошечный сенсор с несколькими, но большими пикселями не делает отличных фотографий. А большой сенсор может позволить себе множество маленьких пикселей с гигантским разрешением.
Будь то датчики Quad-Bayer или Samsung Tetracell: все больше и больше сенсоров изображения имеют четыре пикселя с общим цветовым фильтром. Кстати, размер пикселя относительно незначителен для качества изображения. Крошечный сенсор с несколькими, но большими пикселями не делает отличных фотографий. А большой сенсор может позволить себе множество маленьких пикселей с гигантским разрешением.

Это, конечно, выглядит невероятно здорово, когда указано в таблице. 48-мегапиксельный сенсор! 108-мегапикселя! Это просто «воздушные шары», чтобы поразить воображение. А в темноте крошечные пиксели можно объединять в большие суперпиксели и получать отличные ночные снимки.

Как это ни парадоксально, но многие более дешевые смартфоны вообще не дают возможности делать фотографии с разрешением 48 мегапикселей или даже обеспечивают более низкое качество изображения при прямом сравнении в режиме с 12 мегапикселями. Во всех известных нам случаях при съемке фотографий с максимальным разрешением смартфоны работают намного медленнее, поэтому незначительное повышение качества просто не стоит потраченного времени, тем более что 12, 16 или 27-мегапикселей
вполне достаточно для повседневной съемки, и к тому же они не исчерпывают память вашего устройства так быстро.

В принципе, большую часть маркетинговой пропаганды, которая трубит о десятках мегапикселей (а сегодня уже и трехзначной цифре), можно игнорировать. Но на практике сенсоры с высоким разрешением на самом деле больше, а качество изображения в конечном итоге дает ощутимые преимущества.

Сенсор SuperSpectrum от Huawei: тот же желтый

Существуют также некоторые производные матрицы Байера, наиболее ярким примером которой является так называемая матрица RYYB компании Huawei (см. рисунок выше), в которой спектр поглощения зеленых пикселей смещен на желтый. Это имеет – по крайней мере на бумаге – преимущество в том, что поглощается больше света и больше фотонов попадает на сенсор в темноте.

Диаграммы квантовой эффективности показывают, как чувствительно разные сенсоры реагируют на свет разных длин волн. В случае сенсора RYYB или RCCB справа интервал ниже зеленой или желтой кривой поглощения, следовательно, намного больше. Но зелено-желтые пиксели больше реагируют на «красный частотный диапазон», что затрудняет демозаику.
Диаграммы квантовой эффективности показывают, как чувствительно разные сенсоры реагируют на свет разных длин волн. В случае сенсора RYYB или RCCB справа интервал ниже зеленой или желтой кривой поглощения, следовательно, намного больше. Но зелено-желтые пиксели больше реагируют на «красный частотный диапазон», что
затрудняет демозаику.

Однако длины волн, измеряемые сенсором, уже не так равномерно распределены в спектре и не настолько четко отделены друг от друга, по сравнению с датчиком RGGB. Чтобы поддерживать точные уровни цветопередачи, требования к алгоритмам, которые должны впоследствии интерполировать значения цвета RGB, должны будут соответствующим образом возрасти.

Невозможно предсказать, какой подход в конечном итоге даст лучшие фотографии. Это во многом зависит от практических и лабораторных испытаний, которые, как правило, показывают, какая из нескольких технологий лучше.

Программное обеспечение камеры: алгоритм важней всего

Наконец, мы бы хотели сказать несколько слов об задействованных алгоритмах. Это тем более важно в эпоху компьютерной фотографии, когда понятие фотографии становится размытым. Действительно ли изображение, составленное из двенадцати отдельных фотографий, все еще остается фотографией в первоначальном смысле?

Верно лишь такой момент: влияние алгоритмов обработки изображений намного больше, чем число битов в области сенсора. Да, разница в площади в два раза имеет большое значение. Но хороший алгоритм также занимает много места. Sony, лидер мирового рынка фотосенсоров, является хорошим примером этого. Хотя большинство сенсоров изображения (по крайней мере, технологически) родом из Японии, смартфоны Xperia всегда отставали от конкурентов по качеству изображения. В Японии могут делать отличное аппаратное обеспечение, но когда дело доходит до программного обеспечения, другие производители более продвинуты.

Две фотографии, сделанные с Samsung Galaxy S10. Слева использовалась камера Google, а справа изображено приложение камеры Samsung. Режим HDR от Google превосходит Samsung. Неудивительно, что многие пользователи смартфонов предпочитают камеру Google своим телефонам.
Две фотографии, сделанные с Samsung Galaxy S10. Слева использовалась камера Google, а справа изображено приложение камеры Samsung. Режим HDR от Google превосходит Samsung. Неудивительно, что многие пользователи смартфонов предпочитают камеру Google своим телефонам.

На этом этапе мы бы хотели сделать заметку о чувствительности ISO, которая также заслуживает отдельной статьи: пожалуйста, никогда не впечатляйтесь числами ISO. Сенсоры изображения имеют единственную собственную чувствительность ISO почти во всех случаях *, что очень редко указывается в таблицах данных. Значения ISO, которые фотограф или камера устанавливают в процессе съемки, больше похожи на усиление – степень «регулировки яркости». Какова «длинная» шкала этого управления яркостью, может быть определено свободно, поэтому запись значения, такого как ISO 409,600, в таблицу данных имеет такой же смысл, как и с VW Golf … ну,
давайте не будем рисковать в этом направлении.

* На рынке камер есть несколько двойных ISO-сенсоров с двумя характеристиками, такими как Sony IMX689 в Oppo Find X2 Pro, по крайней мере, так утверждает Oppo. В противном случае эта тема чаще встречается в профессиональных камерах, таких как BMPCC 6K.

Автофокус: PDAF, 2×2 OCL & Co.

Небольшое отступление в конце, которое напрямую связано с сенсором изображения: автофокус. В прошлом смартфоны определяли правильную фокусировку с помощью контрастного автофокуса. Это медленное и вычислительно интенсивное обнаружение краев, которое вы, вероятно, знаете по раздражающей накачке фокуса.

Большинство сенсоров изображения теперь имеют так называемую автофокусировку сравнения фаз, также известную как PDAF. PDAF имеет специальные пиксели автофокуса, встроенные в сенсор, которые делятся на две половины и сравнивают фазы падающего света и рассчитывают расстояние до объекта. Недостатком этой технологии является то, что сенсор изображения «слеп» в этих точках – и эти пиксели со «слепым» фокусом могут воздействовать на три процента площади, в зависимости от сенсора.

Это реально круто! Oppo Find X2 Pro невероятно быстро фокусируется в режиме видео, благодаря сенсору 2x2 OCL. Контрастный автофокус может только мечтать о такой скорости.
Это реально круто! Oppo Find X2 Pro невероятно быстро фокусируется в режиме видео, благодаря сенсору 2×2 OCL. Контрастный автофокус может только мечтать о такой скорости.

Просто напоминание: чем меньше площадь поверхности, тем меньше света и воды и, как следствие, худшее качество изображения. Более того, алгоритмы должны ретушировать эти недостатки так же, как ваш мозг должен понимать смысл фразы «слепое пятно».

Однако существует более элегантный подход, который не делает пиксели непригодными для использования. Микролинзы, уже присутствующие на сенсоре, распределены по нескольким пикселям в некоторых местах. Sony, например, называет эту технологию «2×2 OCL» или «2×1 OCL», в зависимости от того, объединяют ли микролинзы четыре или два пикселя.

Четыре пикселя под цветным фильтром в микролинзе: технология Sony 2x2-OCL превращает все пиксели в перекрестные датчики с автофокусировкой.
Четыре пикселя под цветным фильтром в микролинзе: технология Sony 2×2-OCL превращает все пиксели в перекрестные датчики с автофокусировкой.

Вскоре мы посвятим отдельную, более подробную статью автофокусировке – на что вы обращаете внимание в камере, когда покупаете новый смартфон? Ио каких темах, касающихся мобильной фотографии, вы хотели бы узнать больше? С нетерпением ждем ваших комментариев!

Автор статьи
Богдан Чуб
Люблю свой Android, видео с котиками и хорошие дизайнерские решения для смартфонов будущего.
Написано статей
585
DoitDroid