ПОЛУЧЕНИЕ ТРЕХМЕРНОГО ИЗОБРАЖЕНИЯ ОБЪЕКТА ПУТЕМ ИЗМЕРЕНИЯ ИНТЕНСИВНОСТИ ДИФФУЗНОГО ОТРАЖЕНИЯ СВЕТА РАЗЛИЧНЫМИ ТОЧКАМИ ЕГО ПОВЕРХНОСТИ
ИКОНИКА – НАУКА ОБ ИЗОБРАЖЕНИИ
УДК 612.8
ПОЛУЧЕНИЕ ТРЕХМЕРНОГО ИЗОБРАЖЕНИЯ ОБЪЕКТА ПУТЕМ ИЗМЕРЕНИЯ ИНТЕНСИВНОСТИ ДИФФУЗНОГО ОТРАЖЕНИЯ СВЕТА РАЗЛИЧНЫМИ ТОЧКАМИ ЕГО ПОВЕРХНОСТИ
© 2010 г. Н. Н. Красильников, доктор техн. наук; О. И. Красильникова, канд. техн. наук
Санкт-Петербургский государственный университет аэрокосмического приборостроения, Санкт-Петербург
E-mail: nnk_k23@aanet.ru
В статье проанализирован метод получения 3D изображений объектов, основанный на использовании закона диффузного отражения света от их поверхностей. В результате проведенных исследований разработана методика и получены формулы, позволяющие найти третью координату сканируемого объекта. Приводятся результаты экспериментальной проверки, подтверждающие эффективность этого метода.
Ключевые слова: 3D изображения, 3D сканирование, диффузное отражение.
Коды OCIS: 100.6890, 3000.30200.
Поступила в редакцию 09.10.2009.
Введение
При разработке систем виртуальной реальности одной из серьезных проблем является создание реалистичных трехмерных (3D) изображений сцен путем их трехмерного сканирования. Применяемые в настоящее время технологии 3D сканирования являются весьма трудоемкими и, как правило, требуют ручной доводки получаемых в итоге их применения результатов [1–6]. Для получения недостающей третьей координаты сканируемого объекта (глубины) в этих технологиях используются либо время задержки отражений лазерного сканирующего луча от объекта, либо степень искажения проекций на сканируемый объект специальной решетки, например решетки в виде полос (структурированный свет); либо смещение соответствующих точек сканируемого объекта на стереоизображениях, либо применяются методы вычисления третьей координаты, основанные на использовании эффекта размытия изображения, обусловленного конечностью глубины фокусировки оптической системы.
Перечисленные методы имеют следующие недостатки.
Лазерные сканеры в настоящее время применяются для сканирования только крупных объектов, таких как здания, вышки, башни, заводские территории, железнодорожные станции, аэропорты и т. д., поскольку погрешность измерения глубины при сканировании небольших объектов оказывается слишком большой.
В случае применения технологии, когда на сканируемый объект проецируется специальная решетка в виде полос (так называемый метод структурированного света), возникает проблема сшивания изображений, полученных по нескольким проекциям. Поскольку у реальных объектов различные части имеют сильно различающуюся детализацию, то в областях высокой детальности в создаваемую модель приходится вручную добавлять точки, что делает метод трудоемким. Кроме того, при использовании нескольких камер нужно предварительно провести их калибровку, т. е. определить взаимное расположение камер.
Недостаток технологии, основанной на использовании стереоизображений, заключается в том, что при ее применении трудно обеспечить точное соответствие для пикселов на изображениях объекта, полученных с двух камер в бес-
“Оптический журнал”, 77, 6, 2010
19
структурных областях, вследствие чего невозможно обеспечить достаточную точность получаемых 3D изображений.
Недостатками технологии, основанной на вычислении глубины резкости, являются низкая точность получаемых результатов и высокая трудоемкость.
Перечисленные выше методы не исчерпывают возможности получения (измерения) третьей координаты наблюдаемого объекта. Известно, что информацию о рельефности наблюдаемого объекта (координате глубины) зрительная система получает разными способами. К ним относятся не только стереоскопический эффект и эффект, обусловленный конечностью глубины резкости оптики глаз, но также наличие перспективных искажений в проекциях изображаемой сцены на сетчатки глаз, а также ряд других эффектов, и главным образом распределение светотеней на изображениях объектов. Последнее обусловлено тем, что количество света, попадающего в глаза зрителя, зависит как от отражающих свойств поверхностей наблюдаемых объектов, так и от взаимного расположения этих поверхностей и источников света, что в конечном итоге позволяет судить о рельефности объектов.
Действительно, при наблюдении трехмерной сцены мы легко отличаем цилиндрическую колонну от колонны, имеющей прямоугольное сечение. У нас не возникает трудности в различении плоского диска и шара. Можно привести множество других примеров. Эта особенность изображений давно известна и используется в живописи. В большинстве случаев информации, содержащейся в распределении светотени в проекциях трехмерных объектов на сетчатки глаз, оказывается достаточно для определения третьей недостающей координаты (глубины). Этот метод определения глубины можно реализовать и в сканерах. Особенно просто этот метод реализуется при сканировании объектов, поверхность которых диффузно отражает падающий на нее свет [7, 8].
отраженного диффузно отражающей поверхностью, одинакова во всех направлениях и равна
I1 = IKcosθ,
(1)
где I – сила падающего света, K – коэффициент отражения поверхности (0 < K < 1), θ – угол между нормалью N к отражающей поверхности и направлением на источник света. Сам факт зависимости силы диффузно отраженного света от углового положения отражающей поверхности по отношению к направлению, откуда происходит ее освещение, дает принципиальную возможность определять угловую ориентацию отражающей поверхности в различных точках пространства, а по ним – и всю поверхность. Это обстоятельство используется зрительной системой и может быть использовано в целях получения трехмерных изображений при сканировании реальных объектов.
Рассмотрим эту проблему более подробно, для чего обратимся к рис. 1. В целях простоты дальнейшего изложения будем считать, что источник параллельных лучей света расположен в одной из координатных плоскостей, например в плоскости xy. Поместим камеру на оси x. Расстояние от камеры до сканируемого объекта выберем достаточно большим для того, чтобы можно было пренебречь перспективными искажениями.
На этом рисунке показана диффузно отражающая свет поверхность, которая помещена в начало координат, а также нормаль к этой по-
z N
O x
Использование закона диффузного отражения света
сканируемыми объектами для получения их 3D изображений
Рассмотрим процесс образования светотеней на изображении объекта, при этом будем считать, что объект диффузно отражает падающий на него свет. Согласно закону Ламберта сила света I1,
20
A yI
B
Рис. 1. Диффузно отражающая свет поверхность, произвольно ориентированная в пространстве. Пояснения в тексте.
“Оптический журнал”, 77, 6, 2010
верхности N, составляющая с направлением на источник света угол θ.
Обратим внимание на то, что угол θ не определяет однозначно угловое положение в пространстве нормали к отражающей поверхности. Для того чтобы однозначно задать угловое положение в пространстве этой нормали, необходимо задать два угла, а именно угол α – азимут, и угол β – угол места. При этом, как нетрудно видеть, имеет место очевидное соотношение
cosθ = cosβcos (ξ − α).
(2)
Это соотношение может быть получено путем последовательного проецирования нормали ON сначала на координатную плоскость xy, а затем проецирования проекции нормали OA на ось I. При этом будем иметь
OB = ONcosβcos(ξ − α) = ONcosθ.
Делая подстановку cosθ из формулы (2) в формулу (1) и выполняя несложные преобразования, получим
I1 = IKcos(ξ − α)cosβ,
(3)
где ξ – угол между осью x и направлением на источник света. В этом выражении известными величинами считаются сила света I, которым освещается диффузно отражающая поверхность; сила света I1, диффузно отраженного этой поверхностью, а также угол ξ, поскольку они могут быть измерены. Неизвестными величинами являются углы α, β и коэффициент отражения поверхности K. Понятно, что имея всего одно уравнение и три неизвестных, невозможно определить эти неизвестные. Однако проблема может быть легко решена, если при измерениях воспользоваться дополнительными источниками света. Действительно, расположив дополнительный источник параллельных лучей света, например, на оси x и измерив силу света I0, отраженного рассматриваемой поверхностью от этого источника, можно составить дополнительное уравнение
I0 = IKcosαcosβ.
(4)
Аналогичным образом можно получить еще одно недостающее уравнение, если дополнительный источник света поместить так, чтобы он располагался на линии, лежащей в координатной плоскости xz, –
I2 = IKcos (ζ −β)cosα,
(5)
где ζ – угол между осью x и направлением на этот дополнительный источник света. Решая совместно уравнения (3)–(5), получим
tgα
=
I1/I0 − cosξ sinξ
,
(6)
tgβ
=
I2/I0 − cos sin ζ
ζ
,
K
=
I0 Icosαcosβ
.
(7) (8)
Формулы (6) и (7) полностью определяют угловое положение нормали к диффузно отражающей поверхности объекта в каждой ее точке.
Процедура построения поверхности видимой части объекта состоит в следующем. Вначале назначается плоскость, относительно которой будет отсчитываться третья координата (глубина). С этой целью берется любая произвольная точка поверхности сканируемого объекта с координатами y0, z0 и координата x0 этой точки приравнивается нулю. Поскольку целью сканирования является определение формы объекта (его оболочки), а не его расположение в пространстве, то такой выбор не повлияет на конечный результат. Затем, перемещаясь по произвольному пути из точки с координатами x0, y0, z0 в точку с координатами y1, z1 путем наращивания координаты x, определяется координата глубины x1 в этой точке в соответствии с выражением
∫ ∫x1 =
y1 y0
dy
tgα(y,
z1
)
+
z1 z0
dz
tgβ(y1,
z).
(9)
В случае дискретных изображений интегралы в формуле (9) заменяются суммами, а координаты y и z – номерами столбцов и строк, в которых расположены пикселы исходных двумерных изображений, и (9) принимает вид
∑ ∑M =
N n0
1 tgα(L,
n)
+
L l0
1 tgβ(l,
N).
(10)
В этой формуле приняты следующие обозначения: l и n – текущие номера строки и столбца изображения, полученного посредством камеры; l0 и n0 – номера строки и столбца начальной точки поверхности, для которой координата глубины принята равной нулю; L и N – номера строки и столбца пиксела, для которого измеряется третья дискретная координата M. Шаг дискретизации третьей координаты M равен шагу дискретизации исходных двумерных изображений.
Таким образом, для того чтобы определить третью координату (глубину) любой точки ска-
“Оптический журнал”, 77, 6, 2010
21
нируемого объекта, необходимо в общем случае измерить яркость этой точки при трех различных расположениях источника освещения. Обратим внимание на то, что при измерениях ни одна точка сканируемого объекта не должна быть затенена какими-либо частями самого объекта. В случае сканирования простейших объектов достаточно каждую их точку поочередно осветить с одних и тех же трех позиций. Более сложные объекты, например лицо человека, потребуют уже большего количества источников света, используемых попеременно для освещения различных его частей, так как при некоторых расположениях источников освещения отдельные его участки могут быть затенены другими частями объекта.
До сих пор речь шла об определении третьей координаты той части объекта, которая видна камере, т. е. только части всего объекта. Напомним, что в рассмотренном случае камера располагалась на оси x. Для получения трехмерного изображения всего объекта необходимо провести его съемку со всех сторон и затем сшивку всех полученных при этом трехмерных изображений его частей. В отличие от рассмотренных ранее методов сканирования проблема сшивки в данном случае намного проще, что является серьезным достоинством этого метода. Это обусловлено тем, что в отличие от методов, упомянутых выше, третья координата сканируемого объекта (глубина) в данном методе определяется для каждого пиксела исходных двумерных изображений, благодаря чему при сшивке отдельные фрагменты трехмерного объекта легко совмещаются.
Недостатком рассмотренного метода, как и других методов 3D сканирования, использующих свет, является то, что он ориентирован на работу с объектами, диффузно отражающими свет. Для сканирования объектов, имеющих блестящие зеркальные поверхности, как, например, окрашенный кузов автомобиля или прозрачные поверхности (к примеру, изделия из стекла), их необходимо покрывать антибликовым составом, создающим белую матовую поверхность. В упомянутых выше методах это выполняется путем распыления из баллончика.
полагался таким образом, что его вертикальная ось совпадала с координатной осью z. Простота объекта и его расположение позволили при определении третьей координаты обойтись освещением каждой точки его поверхности только двумя, а не тремя источниками света, например фронтальным и боковым, как это показано на рис. 2. Так можно было поступить потому, что в данном случае яркость пикселов на контурах объекта априори постоянна. При боковом освещении слева яркость левого контура максимальна и постоянна, при боковом освещении справа яркость правого контура максимальна и постоянна, а при фронтальном освещении яркость левого и правого контуров равна нулю. В данном случае для расчета третьей координаты (глубины) 3D изображения можно было воспользоваться сокращенным вариантом формулы (10)
∑M =
N n0
1 tgα(L,
n).
(11)
При этом мы задавали на контуре изображения конуса, показанного на рис. 2б, одно и то же, заранее известное значение интенсивности, в рассматриваемом случае равное нулю, а затем перемещались вдоль строки изображения в точку, координату глубины которой определяли. При выполнении эксперимента вначале были получены двумерные цифровые изображения конуса при трех различных положениях источников освещения (спереди, слева и справа), которые показаны на рис. 2. Эти изображения различались между собой только типом освещения, поскольку съемка велась при неизменном положении камеры и объекта. Изображение конуса, показанное на рис. 2а, было получено при боковом освещении слева, а изображение, показанное на рис. 2б, – при боковом освещении справа.
(а) (б) (в)
Экспериментальная проверка При экспериментальной проверке описанного метода 3D сканирования был выбран сравнительно простой объект, а именно конус, поверхность которого диффузно рассеивала свет. Конус рас-
22
Рис. 2. Изображения конуса, сделанные при неизменном положении камеры и объекта, различающиеся между собой только типом освещения. а – боковое освещение слева, б – боковое освещение справа, в – фронтальное освещение.
“Оптический журнал”, 77, 6, 2010
(а) (б)
Рис. 3. Линии постоянной высоты (а) и аксонометрическое изображение объекта (б), полученные в результате эксперимента.
На этих изображениях фон, на котором виден конус, оставался неосвещенным, поскольку лучи от источников света по нему скользили, не освещая его. Изображение конуса, показанное на рис. 2в, было получено при фронтальном освещении. В этом случае фон, на котором виден конус, освещен. Далее, для каждого пиксела изображения, показанного на рис. 2а, и соответствующего ему пиксела изображения, показанного на рис. 2в, а также для соответствующих пар пикселов изображений, показанных на рис. 2б и 2в, измерялись интенсивности, значения которых прямо пропорциональны силам диффузно рассеянного света. После этого по формуле (6) определялся сначала тангенс угла α, а затем по формуле (11) находилась координата глубины M. Дискретные координаты L, N и M были использованы для построения 3D изображения сканируемого объекта, которое показано на рис. 3б. На рис. 3а приведены линии постоянной высоты, представляющие собой, как и следовало ожидать, окружности, радиус которых линейно убывает по мере приближения к вершине конуса.
На рис. 3б показано аксонометрическое изображение конуса, построенное с использованием полученных результатов измерений посредством функции mesh системы MATLAB.
Заключение Показано, что в общем случае для определения всех трех координат объекта необходимо получить для каждой его точки интенсивность диффузно отраженного света при трех различных направлениях световых лучей, освещающих этот объект. Эти направления в общем случае могут быть выбраны произвольно, совсем не
обязательно, чтобы они совпадали с направлениями координатных осей x, y, z, как это было сделано выше. Просто при выбранных нами расположениях источников света расчетные формулы получаются более простыми и наглядными. Однако имеющаяся априорная информация о наблюдаемом объекте может снизить это требование до двух источников света, как, например, в описанном выше эксперименте, а если еще априорно известны значения коэффициента отражения в каждой точке объекта, то и до одного источника света. Зрительная система человека, судя по всему, широко использует это обстоятельство, благодаря чему мы легко воспринимаем изображенные на фотографии трехмерные объекты как объемные и рельефные даже при наличии одного-единственного источника света. Существенно заметить также, что чувствительность нашего зрения к восприятию погрешности представления размеров наблюдаемого объекта по глубине много ниже чувствительности восприятия погрешности представления его размеров по двум другим координатам. Так, если 3D изображение шара сплюснуть по ширине, то уже погрешность в 4% будет замечена зрителем, в то время как если его сплюснуть по глубине, то и существенно большие искажения остаются незаметными. Те же самые результаты получаются, если эксперимент провести с 3D изображением головы человека. В этом читатель легко может убедиться сам, выполнив описанный эксперимент в программе 3Ds max. Толерантность зрительной системы к погрешности, с которой воспринимается координата глубины объекта, делает распределение светотени в его изображении (в проекции его на сетчатки глаз), по-видимому, основным источником информации о координате глубины.
ЛИТЕРАТУРА
1. Scharstein D., Szeliski R. A taxonomy and evaluation of dense two-frame // IEEE Trans. on Computers. 1974. C. 23. Р. 84–87.
2. Kang S.B., Webb J.A., Zitnick C.L., Kanade T. A multibaseline stereo system with active illumination and real-time image acquisition // Proc. Int. Conf. on Computer Vision. 1995. V. 6. Р. 88–93.
3. Boyer K.L., Kak A.C. Color-encoded structured light for rapid active ranging // IEEE Trans. on Pattern Analysis and Machine Intelligence. 1987. V. 9(1). Р. 14–28.
4. Morita H., Yajima K., Sakata S. Reconstruction of surfaces of 3D objects by m-array pattern projec-
“Оптический журнал”, 77, 6, 2010
23
tion method // Proc. Int. Conf. on Computer Vision. 1988. Р. 468–473.
5. Nayar S.K., Watanabe M., Noguchi, M. Real-time focus range sensor // IEEE Trans. on Pattern Analysis and Machine Intelligence. 1996. V. 18. № 12. Р. 1186–1198.
6. Huang P.S., Zhang C.P., Chiang F.P. High speed 3D shape measurement based on digital fringe
projection // Opt. Engin. 2003. V. 42. № 1. Р. 163– 168.
7. Красильников Н.Н. Метод получения 3D изображений, основанный на диффузном отражении света сканируемыми объектами // Обработка информации и управление. 2010. № 1. С. 7–11.
8. Яне Б. Цифровая обработка изображений. М.: Техносфера, 2007. 583 с.
24 “Оптический журнал”, 77, 6, 2010
УДК 612.8
ПОЛУЧЕНИЕ ТРЕХМЕРНОГО ИЗОБРАЖЕНИЯ ОБЪЕКТА ПУТЕМ ИЗМЕРЕНИЯ ИНТЕНСИВНОСТИ ДИФФУЗНОГО ОТРАЖЕНИЯ СВЕТА РАЗЛИЧНЫМИ ТОЧКАМИ ЕГО ПОВЕРХНОСТИ
© 2010 г. Н. Н. Красильников, доктор техн. наук; О. И. Красильникова, канд. техн. наук
Санкт-Петербургский государственный университет аэрокосмического приборостроения, Санкт-Петербург
E-mail: nnk_k23@aanet.ru
В статье проанализирован метод получения 3D изображений объектов, основанный на использовании закона диффузного отражения света от их поверхностей. В результате проведенных исследований разработана методика и получены формулы, позволяющие найти третью координату сканируемого объекта. Приводятся результаты экспериментальной проверки, подтверждающие эффективность этого метода.
Ключевые слова: 3D изображения, 3D сканирование, диффузное отражение.
Коды OCIS: 100.6890, 3000.30200.
Поступила в редакцию 09.10.2009.
Введение
При разработке систем виртуальной реальности одной из серьезных проблем является создание реалистичных трехмерных (3D) изображений сцен путем их трехмерного сканирования. Применяемые в настоящее время технологии 3D сканирования являются весьма трудоемкими и, как правило, требуют ручной доводки получаемых в итоге их применения результатов [1–6]. Для получения недостающей третьей координаты сканируемого объекта (глубины) в этих технологиях используются либо время задержки отражений лазерного сканирующего луча от объекта, либо степень искажения проекций на сканируемый объект специальной решетки, например решетки в виде полос (структурированный свет); либо смещение соответствующих точек сканируемого объекта на стереоизображениях, либо применяются методы вычисления третьей координаты, основанные на использовании эффекта размытия изображения, обусловленного конечностью глубины фокусировки оптической системы.
Перечисленные методы имеют следующие недостатки.
Лазерные сканеры в настоящее время применяются для сканирования только крупных объектов, таких как здания, вышки, башни, заводские территории, железнодорожные станции, аэропорты и т. д., поскольку погрешность измерения глубины при сканировании небольших объектов оказывается слишком большой.
В случае применения технологии, когда на сканируемый объект проецируется специальная решетка в виде полос (так называемый метод структурированного света), возникает проблема сшивания изображений, полученных по нескольким проекциям. Поскольку у реальных объектов различные части имеют сильно различающуюся детализацию, то в областях высокой детальности в создаваемую модель приходится вручную добавлять точки, что делает метод трудоемким. Кроме того, при использовании нескольких камер нужно предварительно провести их калибровку, т. е. определить взаимное расположение камер.
Недостаток технологии, основанной на использовании стереоизображений, заключается в том, что при ее применении трудно обеспечить точное соответствие для пикселов на изображениях объекта, полученных с двух камер в бес-
“Оптический журнал”, 77, 6, 2010
19
структурных областях, вследствие чего невозможно обеспечить достаточную точность получаемых 3D изображений.
Недостатками технологии, основанной на вычислении глубины резкости, являются низкая точность получаемых результатов и высокая трудоемкость.
Перечисленные выше методы не исчерпывают возможности получения (измерения) третьей координаты наблюдаемого объекта. Известно, что информацию о рельефности наблюдаемого объекта (координате глубины) зрительная система получает разными способами. К ним относятся не только стереоскопический эффект и эффект, обусловленный конечностью глубины резкости оптики глаз, но также наличие перспективных искажений в проекциях изображаемой сцены на сетчатки глаз, а также ряд других эффектов, и главным образом распределение светотеней на изображениях объектов. Последнее обусловлено тем, что количество света, попадающего в глаза зрителя, зависит как от отражающих свойств поверхностей наблюдаемых объектов, так и от взаимного расположения этих поверхностей и источников света, что в конечном итоге позволяет судить о рельефности объектов.
Действительно, при наблюдении трехмерной сцены мы легко отличаем цилиндрическую колонну от колонны, имеющей прямоугольное сечение. У нас не возникает трудности в различении плоского диска и шара. Можно привести множество других примеров. Эта особенность изображений давно известна и используется в живописи. В большинстве случаев информации, содержащейся в распределении светотени в проекциях трехмерных объектов на сетчатки глаз, оказывается достаточно для определения третьей недостающей координаты (глубины). Этот метод определения глубины можно реализовать и в сканерах. Особенно просто этот метод реализуется при сканировании объектов, поверхность которых диффузно отражает падающий на нее свет [7, 8].
отраженного диффузно отражающей поверхностью, одинакова во всех направлениях и равна
I1 = IKcosθ,
(1)
где I – сила падающего света, K – коэффициент отражения поверхности (0 < K < 1), θ – угол между нормалью N к отражающей поверхности и направлением на источник света. Сам факт зависимости силы диффузно отраженного света от углового положения отражающей поверхности по отношению к направлению, откуда происходит ее освещение, дает принципиальную возможность определять угловую ориентацию отражающей поверхности в различных точках пространства, а по ним – и всю поверхность. Это обстоятельство используется зрительной системой и может быть использовано в целях получения трехмерных изображений при сканировании реальных объектов.
Рассмотрим эту проблему более подробно, для чего обратимся к рис. 1. В целях простоты дальнейшего изложения будем считать, что источник параллельных лучей света расположен в одной из координатных плоскостей, например в плоскости xy. Поместим камеру на оси x. Расстояние от камеры до сканируемого объекта выберем достаточно большим для того, чтобы можно было пренебречь перспективными искажениями.
На этом рисунке показана диффузно отражающая свет поверхность, которая помещена в начало координат, а также нормаль к этой по-
z N
O x
Использование закона диффузного отражения света
сканируемыми объектами для получения их 3D изображений
Рассмотрим процесс образования светотеней на изображении объекта, при этом будем считать, что объект диффузно отражает падающий на него свет. Согласно закону Ламберта сила света I1,
20
A yI
B
Рис. 1. Диффузно отражающая свет поверхность, произвольно ориентированная в пространстве. Пояснения в тексте.
“Оптический журнал”, 77, 6, 2010
верхности N, составляющая с направлением на источник света угол θ.
Обратим внимание на то, что угол θ не определяет однозначно угловое положение в пространстве нормали к отражающей поверхности. Для того чтобы однозначно задать угловое положение в пространстве этой нормали, необходимо задать два угла, а именно угол α – азимут, и угол β – угол места. При этом, как нетрудно видеть, имеет место очевидное соотношение
cosθ = cosβcos (ξ − α).
(2)
Это соотношение может быть получено путем последовательного проецирования нормали ON сначала на координатную плоскость xy, а затем проецирования проекции нормали OA на ось I. При этом будем иметь
OB = ONcosβcos(ξ − α) = ONcosθ.
Делая подстановку cosθ из формулы (2) в формулу (1) и выполняя несложные преобразования, получим
I1 = IKcos(ξ − α)cosβ,
(3)
где ξ – угол между осью x и направлением на источник света. В этом выражении известными величинами считаются сила света I, которым освещается диффузно отражающая поверхность; сила света I1, диффузно отраженного этой поверхностью, а также угол ξ, поскольку они могут быть измерены. Неизвестными величинами являются углы α, β и коэффициент отражения поверхности K. Понятно, что имея всего одно уравнение и три неизвестных, невозможно определить эти неизвестные. Однако проблема может быть легко решена, если при измерениях воспользоваться дополнительными источниками света. Действительно, расположив дополнительный источник параллельных лучей света, например, на оси x и измерив силу света I0, отраженного рассматриваемой поверхностью от этого источника, можно составить дополнительное уравнение
I0 = IKcosαcosβ.
(4)
Аналогичным образом можно получить еще одно недостающее уравнение, если дополнительный источник света поместить так, чтобы он располагался на линии, лежащей в координатной плоскости xz, –
I2 = IKcos (ζ −β)cosα,
(5)
где ζ – угол между осью x и направлением на этот дополнительный источник света. Решая совместно уравнения (3)–(5), получим
tgα
=
I1/I0 − cosξ sinξ
,
(6)
tgβ
=
I2/I0 − cos sin ζ
ζ
,
K
=
I0 Icosαcosβ
.
(7) (8)
Формулы (6) и (7) полностью определяют угловое положение нормали к диффузно отражающей поверхности объекта в каждой ее точке.
Процедура построения поверхности видимой части объекта состоит в следующем. Вначале назначается плоскость, относительно которой будет отсчитываться третья координата (глубина). С этой целью берется любая произвольная точка поверхности сканируемого объекта с координатами y0, z0 и координата x0 этой точки приравнивается нулю. Поскольку целью сканирования является определение формы объекта (его оболочки), а не его расположение в пространстве, то такой выбор не повлияет на конечный результат. Затем, перемещаясь по произвольному пути из точки с координатами x0, y0, z0 в точку с координатами y1, z1 путем наращивания координаты x, определяется координата глубины x1 в этой точке в соответствии с выражением
∫ ∫x1 =
y1 y0
dy
tgα(y,
z1
)
+
z1 z0
dz
tgβ(y1,
z).
(9)
В случае дискретных изображений интегралы в формуле (9) заменяются суммами, а координаты y и z – номерами столбцов и строк, в которых расположены пикселы исходных двумерных изображений, и (9) принимает вид
∑ ∑M =
N n0
1 tgα(L,
n)
+
L l0
1 tgβ(l,
N).
(10)
В этой формуле приняты следующие обозначения: l и n – текущие номера строки и столбца изображения, полученного посредством камеры; l0 и n0 – номера строки и столбца начальной точки поверхности, для которой координата глубины принята равной нулю; L и N – номера строки и столбца пиксела, для которого измеряется третья дискретная координата M. Шаг дискретизации третьей координаты M равен шагу дискретизации исходных двумерных изображений.
Таким образом, для того чтобы определить третью координату (глубину) любой точки ска-
“Оптический журнал”, 77, 6, 2010
21
нируемого объекта, необходимо в общем случае измерить яркость этой точки при трех различных расположениях источника освещения. Обратим внимание на то, что при измерениях ни одна точка сканируемого объекта не должна быть затенена какими-либо частями самого объекта. В случае сканирования простейших объектов достаточно каждую их точку поочередно осветить с одних и тех же трех позиций. Более сложные объекты, например лицо человека, потребуют уже большего количества источников света, используемых попеременно для освещения различных его частей, так как при некоторых расположениях источников освещения отдельные его участки могут быть затенены другими частями объекта.
До сих пор речь шла об определении третьей координаты той части объекта, которая видна камере, т. е. только части всего объекта. Напомним, что в рассмотренном случае камера располагалась на оси x. Для получения трехмерного изображения всего объекта необходимо провести его съемку со всех сторон и затем сшивку всех полученных при этом трехмерных изображений его частей. В отличие от рассмотренных ранее методов сканирования проблема сшивки в данном случае намного проще, что является серьезным достоинством этого метода. Это обусловлено тем, что в отличие от методов, упомянутых выше, третья координата сканируемого объекта (глубина) в данном методе определяется для каждого пиксела исходных двумерных изображений, благодаря чему при сшивке отдельные фрагменты трехмерного объекта легко совмещаются.
Недостатком рассмотренного метода, как и других методов 3D сканирования, использующих свет, является то, что он ориентирован на работу с объектами, диффузно отражающими свет. Для сканирования объектов, имеющих блестящие зеркальные поверхности, как, например, окрашенный кузов автомобиля или прозрачные поверхности (к примеру, изделия из стекла), их необходимо покрывать антибликовым составом, создающим белую матовую поверхность. В упомянутых выше методах это выполняется путем распыления из баллончика.
полагался таким образом, что его вертикальная ось совпадала с координатной осью z. Простота объекта и его расположение позволили при определении третьей координаты обойтись освещением каждой точки его поверхности только двумя, а не тремя источниками света, например фронтальным и боковым, как это показано на рис. 2. Так можно было поступить потому, что в данном случае яркость пикселов на контурах объекта априори постоянна. При боковом освещении слева яркость левого контура максимальна и постоянна, при боковом освещении справа яркость правого контура максимальна и постоянна, а при фронтальном освещении яркость левого и правого контуров равна нулю. В данном случае для расчета третьей координаты (глубины) 3D изображения можно было воспользоваться сокращенным вариантом формулы (10)
∑M =
N n0
1 tgα(L,
n).
(11)
При этом мы задавали на контуре изображения конуса, показанного на рис. 2б, одно и то же, заранее известное значение интенсивности, в рассматриваемом случае равное нулю, а затем перемещались вдоль строки изображения в точку, координату глубины которой определяли. При выполнении эксперимента вначале были получены двумерные цифровые изображения конуса при трех различных положениях источников освещения (спереди, слева и справа), которые показаны на рис. 2. Эти изображения различались между собой только типом освещения, поскольку съемка велась при неизменном положении камеры и объекта. Изображение конуса, показанное на рис. 2а, было получено при боковом освещении слева, а изображение, показанное на рис. 2б, – при боковом освещении справа.
(а) (б) (в)
Экспериментальная проверка При экспериментальной проверке описанного метода 3D сканирования был выбран сравнительно простой объект, а именно конус, поверхность которого диффузно рассеивала свет. Конус рас-
22
Рис. 2. Изображения конуса, сделанные при неизменном положении камеры и объекта, различающиеся между собой только типом освещения. а – боковое освещение слева, б – боковое освещение справа, в – фронтальное освещение.
“Оптический журнал”, 77, 6, 2010
(а) (б)
Рис. 3. Линии постоянной высоты (а) и аксонометрическое изображение объекта (б), полученные в результате эксперимента.
На этих изображениях фон, на котором виден конус, оставался неосвещенным, поскольку лучи от источников света по нему скользили, не освещая его. Изображение конуса, показанное на рис. 2в, было получено при фронтальном освещении. В этом случае фон, на котором виден конус, освещен. Далее, для каждого пиксела изображения, показанного на рис. 2а, и соответствующего ему пиксела изображения, показанного на рис. 2в, а также для соответствующих пар пикселов изображений, показанных на рис. 2б и 2в, измерялись интенсивности, значения которых прямо пропорциональны силам диффузно рассеянного света. После этого по формуле (6) определялся сначала тангенс угла α, а затем по формуле (11) находилась координата глубины M. Дискретные координаты L, N и M были использованы для построения 3D изображения сканируемого объекта, которое показано на рис. 3б. На рис. 3а приведены линии постоянной высоты, представляющие собой, как и следовало ожидать, окружности, радиус которых линейно убывает по мере приближения к вершине конуса.
На рис. 3б показано аксонометрическое изображение конуса, построенное с использованием полученных результатов измерений посредством функции mesh системы MATLAB.
Заключение Показано, что в общем случае для определения всех трех координат объекта необходимо получить для каждой его точки интенсивность диффузно отраженного света при трех различных направлениях световых лучей, освещающих этот объект. Эти направления в общем случае могут быть выбраны произвольно, совсем не
обязательно, чтобы они совпадали с направлениями координатных осей x, y, z, как это было сделано выше. Просто при выбранных нами расположениях источников света расчетные формулы получаются более простыми и наглядными. Однако имеющаяся априорная информация о наблюдаемом объекте может снизить это требование до двух источников света, как, например, в описанном выше эксперименте, а если еще априорно известны значения коэффициента отражения в каждой точке объекта, то и до одного источника света. Зрительная система человека, судя по всему, широко использует это обстоятельство, благодаря чему мы легко воспринимаем изображенные на фотографии трехмерные объекты как объемные и рельефные даже при наличии одного-единственного источника света. Существенно заметить также, что чувствительность нашего зрения к восприятию погрешности представления размеров наблюдаемого объекта по глубине много ниже чувствительности восприятия погрешности представления его размеров по двум другим координатам. Так, если 3D изображение шара сплюснуть по ширине, то уже погрешность в 4% будет замечена зрителем, в то время как если его сплюснуть по глубине, то и существенно большие искажения остаются незаметными. Те же самые результаты получаются, если эксперимент провести с 3D изображением головы человека. В этом читатель легко может убедиться сам, выполнив описанный эксперимент в программе 3Ds max. Толерантность зрительной системы к погрешности, с которой воспринимается координата глубины объекта, делает распределение светотени в его изображении (в проекции его на сетчатки глаз), по-видимому, основным источником информации о координате глубины.
ЛИТЕРАТУРА
1. Scharstein D., Szeliski R. A taxonomy and evaluation of dense two-frame // IEEE Trans. on Computers. 1974. C. 23. Р. 84–87.
2. Kang S.B., Webb J.A., Zitnick C.L., Kanade T. A multibaseline stereo system with active illumination and real-time image acquisition // Proc. Int. Conf. on Computer Vision. 1995. V. 6. Р. 88–93.
3. Boyer K.L., Kak A.C. Color-encoded structured light for rapid active ranging // IEEE Trans. on Pattern Analysis and Machine Intelligence. 1987. V. 9(1). Р. 14–28.
4. Morita H., Yajima K., Sakata S. Reconstruction of surfaces of 3D objects by m-array pattern projec-
“Оптический журнал”, 77, 6, 2010
23
tion method // Proc. Int. Conf. on Computer Vision. 1988. Р. 468–473.
5. Nayar S.K., Watanabe M., Noguchi, M. Real-time focus range sensor // IEEE Trans. on Pattern Analysis and Machine Intelligence. 1996. V. 18. № 12. Р. 1186–1198.
6. Huang P.S., Zhang C.P., Chiang F.P. High speed 3D shape measurement based on digital fringe
projection // Opt. Engin. 2003. V. 42. № 1. Р. 163– 168.
7. Красильников Н.Н. Метод получения 3D изображений, основанный на диффузном отражении света сканируемыми объектами // Обработка информации и управление. 2010. № 1. С. 7–11.
8. Яне Б. Цифровая обработка изображений. М.: Техносфера, 2007. 583 с.
24 “Оптический журнал”, 77, 6, 2010