Например, Бобцов

ИССЛЕДОВАНИЕ АЛГОРИТМОВ КОДИРОВАНИЯ ПРЕОБРАЗОВАНИЕМ В ЗАДАЧАХ СЖАТИЯ КАДРОВ ВИДЕОПОСЛЕДОВАТЕЛЬНОСТИ

26 И. C. Рубина, А. Ю. Тропченко
УДК 004.627

И. C. РУБИНА, А. Ю. ТРОПЧЕНКО
ИССЛЕДОВАНИЕ АЛГОРИТМОВ КОДИРОВАНИЯ ПРЕОБРАЗОВАНИЕМ В ЗАДАЧАХ СЖАТИЯ КАДРОВ ВИДЕОПОСЛЕДОВАТЕЛЬНОСТИ

Предложен быстрый алгоритм кодирования видеоданных преобразованием при сжатии опорных и остаточных кадров, основанный на трехмерном преобразовании Хартли с фиксированным и переменным размером матрицы преобразования.

Ключевые слова: кодирование преобразованием, преобразование Хартли, трехмерный алгоритм, матрица переменного размера, пространственная модель.

Введение. Алгоритмы кодирования преобразованием широко используются для сжатия

изображений, а также видеопоследовательностей. Этап кодирования преобразованием явля-

ется частью пространственной модели видеокомпрессора [1]. Исходными данными для этого

этапа являются отсчеты кадров видеопоследовательности. Обрабатываемые кадры подразде-

ляются на:

1) опорные, или intra-кадры [1], не обрабатываемые блоком компенсации движения.

Чем больше таких кадров выделяется в процессе сжатия видеопоследовательности, тем выше

качество воспроизводимого видеоряда и меньше степень сжатия;

2) остаточные, представляющие собой разность исходного кадра и кадра-прогноза, по-

лученного в процессе компенсации движения. Такие кадры определяют погрешность времен-

ной модели. В результате выполнения кодирования формируются коэффициенты разложения

сигнала по базису, состоящему из функций, локализованных по частоте, а также в пространст-

ве. Полученные коэффициенты преобразования поступают на вход квантователя и переупо-

рядочиваются. Процесс сжатия завершается поэлементной обработкой потока энтропийным

кодером.

Алгоритмы кодирования преобразованием подразделяются на блочные и глобальные,

когда преобразованию подвергается все изображение [2]. В настоящей работе анализируется

блочный тип преобразования.

Блочные преобразования выполняются над квадратными блоками опорного или оста-

точного кадра и после ряда операций формируют блоки коэффициентов таких же размеров.

Элементами таких блоков служат сэмплы. Любой блок кадра можно восстановить с помощью

линейной комбинации N × N базисных шаблонов [1], умножаемых на соответствующие весовые множители (коэффициенты преобразования). Достоинством блочных преобразований

являются низкие требования к объему памяти. Среди недостатков можно выделить возмож-

ность возникновения артефактов на стыках блоков.

При кодировании на основе блоков используются ортогональные преобразования в различ-

ных функциональных базисах, например, дискретное косинусное преобразование (ДКП) и преоб-

разование Хартли. Достоинством преобразования Хартли является то, что в отличие от преобра-

зования Фурье оно вещественное. Преобразование Хартли определяется как


H (s) = ∫ f ( x) cas2πsxdx ,

(1)

−∞
где cas2πsx = sin 2πsx + cos 2πsx [3].
Схемы алгоритмов. В ходе исследования был проведен анализ следующих алгоритмов

преобразования.

ИЗВ. ВУЗОВ. ПРИБОРОСТРОЕНИЕ. 2012. Т. 55, № 10

Исследование алгоритмов кодирования преобразованием

27

1. Двумерное дискретное преобразование Хартли (2D-ДПХ), определяемое формулой:

∑ ∑H (u,v)

=

1 NM

N −1 M −1
i=0 j=0

f

(i,

j

)

cas

⎛ ⎜⎝

2πui N

+

2πvj M

⎞ ⎟⎠

,

(2)

где N × M — размеры матрицы преобразования, а f(i,j) — значение яркости кадра в точке с координатами (i, j).

2. Двумерное дискретное косинусное преобразование (2D-ДКП), определяемое формулой:

∑ ∑Y

(u, v)

=

CuCv

N −1 M −1
i=0 j=0

f

(i,

j) cos

xu(2i +1) 2N

cos

yπ(2 j +1) 2M

,

(3)

где Сu =

1 N

(u=0),

Сu

=

2 N

(u>0),

а

Y(i,j) —

коэффициенты

разложения.

3. Трехмерное дискретное преобразование Хартли (3D-ДПХ), определяемое в соответ-

ствии с выражением:

∑ ∑ ∑X (u, v,t) =

N −1 i=0

M −1 j=0

P−1 k =0

cas

⎛ ⎝⎜

2π N

iu

+

2π M

jv +

2π P

kt

⎞ ⎟⎠

f

(i,

j, k) ,

(4)

где P — число кадров, индекс t определяет номер двумерной страницы в трехмерном блоке раз-

ложения, а f(i,j,k) — значение яркости отсчета в точке с координатами (i,j) k-го кадра.

Рассмотренные двумерные алгоритмы преобразования реализуются строчно-столб-

цовым методом. В матричном виде это может быть записано следующим образом:

FN = [EN X N ] EN ,

(5)

где EN — матрица ядра дискретного ортогонального преобразования. Дискретное многомерное преобразование Хартли реализовывалось в соответствии с ал-

горитмом, описанным в работе [4]. Такой подход позволяет существенно снизить вычисли-

тельные затраты.

4. Быстрое трехмерное дискретное преобразование Хартли с фиксированным размером

матрицы преобразования (3D-БПХФ). Разработанный быстрый алгоритм основан на вычис-

лении коэффициентов меньших 3D-блоков через коэффициенты более крупных.

Данный алгоритм быстрого преобразования получен в результате декомпозиции исход-

ной суммы основного соотношения на восемь частичных сумм, для каждой из которых i, j, k

либо четные, либо нечетные, и применения тригонометрических преобразований функций:

x0 = X0′00 (u, v, t )

x1

=

X 0′01

(u,

v, t

)

cas

2πt P

,

⎫ ⎪ ⎪ ⎪

x2

=

X 0′10

(u,v,t ) cas

2πv M

,

⎪ ⎪ ⎪

x3

=

X

0′ 11

(

u,

v,

t

)

cas2π

⎛ ⎝⎜

v M

+

t P

⎞ ⎟⎠

,

x4

=

X1′00

(u, v,t ) cas

2πu N

,

⎪ ⎪ ⎪⎪ ⎬ ⎪

x5

=

X1′01

(u,

v,

t

)

cas2π

⎛ ⎜⎝

u N

+

t P

⎞ ⎟⎠

,

⎪ ⎪ ⎪

x6 x7

= =

X1′10 X1′11

(u,

v,

t

)

cas2π

⎛ ⎜⎝

(u,

v,

t

)

cas2π

⎛ ⎝⎜

u N
u N

+ +

v M
v M

⎞ ⎟⎠

,

+

t P









⎞ ⎟⎠

,⎪⎪⎭

(6)

ИЗВ. ВУЗОВ. ПРИБОРОСТРОЕНИЕ. 2012. Т. 55, № 10

28 И. C. Рубина, А. Ю. Тропченко

где

∑ ∑ ∑X a′bc

(u, v, t )

=

N / 2−1 M / 2−1 P / 2−1 i=0 j=0 k=0

X

( 2i

+

a,

2

j

+

b,

2k

+

c

)

cas

⎛ ⎜





⎛ ⎜⎝

2iu N

+

2 jv M

+

2kt P

⎞ ⎟⎠

⎟⎞, ⎠

abc — трехбитный двоичный код, определяющий номер формируемой суммы. Блок промежуточной размерности формируется на основе вычисляемых частичных
сумм по формуле:

7
X (u′, v′,t′) = ∑ (±xr ) , r =0

(7)

где u′, v′, t′ — размерность вычисляемого промежуточного блока, а r — номер частичной суммы. Промежуточный блок может иметь размерность, уменьшаемую вдвое хотя бы по одной из координат. Если размер блока уменьшается по одной или по всем координатам, то знак суммы считается отрицательным. При уменьшении размеров по двум координатам знак не изменяется.
5. Быстрое трехмерное дискретное преобразование Хартли с переменным размером матрицы преобразования (3D-БПХП). Выбор размера матрицы преобразования определяется на этапе компенсации движения по следующему алгоритму [5]:
— все изображение делится на блоки равного размера; — для каждого блока выполняется проверка условия: если величина ошибки (соответствие) обрабатываемого блока с наиболее схожим блоком ссылочного кадра выше некоторой пороговой, то блок делится на четыре промежуточных фрагмента меньшего размера; — если достигнуто заданное число промежуточных блоков или получена требуемая точность совпадения, процесс для исходного блока останавливается.
Экспериментальные результаты. Для анализа описанных ранее алгоритмов кодирования преобразованием были выбраны стандартные тестовые последовательности группы MPEG: „Теннис“, „Бригадир“ и „Береговая охрана“ [6].
Для количественного сравнения эффективности рассматриваемых преобразований были использованы следующие характеристики:
1) пиковое соотношение сигнал/шум (PSNR, peak signal to noise ratio) (рис. 1), вычисляемое в соответствии с формулой:

PSNR

= 10 log10

(2q −1)2
MSE

,

(8)

где q=8 — разрядность цветовой схемы, а MSE — среднеквадратичное отклонение яркости

исходного изображения от восстановленного, определяемое формулой:

∑ ∑MSE

=

1 MN

M −1 N −1 i=0 j=0

f (i, j) −

fˆ (i, j) 2 ,

(9)

где f (i, j) и fˆ (i, j) — яркость соответствующих пикселов исходного и восстановленного

кадра;

2) характеристика, выражающая зависимость искажения сигнала (PSNR) от степени его
сжатия Kсж (рис. 2, 1 — 2D-ДКП; 2 — 2D-ДПХ; 3 — 3D-ДПХ, 3D-БПХФ; 4 — 3D-БПХП); 3) вычислительная сложность алгоритма, измеряемая числом операций умножения Q1 и
сложения Q2 на пиксел (рис. 3, а и б соответственно). На рис. 4 представлены зависимости числа операций Q от размера блока V с учетом возможного приращения его размерности.
Все эксперименты проводились для 256 уровней квантования.

ИЗВ. ВУЗОВ. ПРИБОРОСТРОЕНИЕ. 2012. Т. 55, № 10

Kсж 15
10
5 0
53

а) Q1 60
50 40 30 20
10 0

4

Исследование алгоритмов кодирования преобразованием

PSNR, дБ 60

59

58 57

56 55 54

53 4
— 2D-ДКП;

8
— 2D-ДПХ; Рис. 1

16 32 V — 3D-ДПХ, 3D-БПХФ

29

34 12

54 55
8 16 — 2D-ДКП; Q

56 57

58

Рис. 2 б) Q2
60

50 40 30 20

32 V
— 2D-ДПХ; Рис. 3

10
0 4
— 3D-ДПХ;

59 60 PSNR, дБ

8 16 — 3D-БПХФ

32 V

16

12

8

4

0 4,+4 4,+14 8,+8 4,+28 8,+24 16,+16 V — Q1, — Q2
Рис. 4

ИЗВ. ВУЗОВ. ПРИБОРОСТРОЕНИЕ. 2012. Т. 55, № 10

30 И. C. Рубина, А. Ю. Тропченко
Заключение. В ходе анализа было установлено следующее: 1) алгоритм 2D-ДПХ превзошел 2D-ДКП по качеству восстановленной видеопоследовательности на 5 %, но уступил ему в степени сжатия; 2) алгоритм 3D-ДПХ позволил вдвое увеличить степень сжатия видеопоследовательности при незначительном ухудшении ее качества при восстановлении. Это объясняется тем, что алгоритм выполняет преобразование не только в пространстве, но и во времени, устраняя соответствующую избыточность; 3) алгоритм 3D-БПХФ позволил на 30 % сократить число операций сложения/умножения на пиксел кадра видеопоследовательности за счет иерархического расчета коэффициентов преобразования; 4) алгоритм 3D-БПХП обеспечил повышение качества восстановленной видеопоследовательности на 2 %, а также степень ее сжатия на 1,5 %, что объясняется использованием адаптивно выбираемого размера матрицы преобразования для областей с мелкими деталями и для областей фона соответственно. Таким образом, при использовании предложенных алгоритмов получено более высокое качество восстановленной видеопоследовательности и большее значение коэффициента сжатия при меньших вычислительных затратах за счет применения алгоритмов быстрого преобразования и переменного размера матрицы преобразования.

СПИСОК ЛИТЕРАТУРЫ

1. Ричардсон Я. Видеокодирование. H.264 и MPEG-4 — стандарты нового поколения. М.: Техносфера, 2005.

2. Ватолин Д., Ратушняк А., Смирнов М., Юкин В. Методы сжатия данных. Устройство архиваторов, сжатие изображений и видео. М.: ДИАЛОГ-МИФИ, 2003.

3. Брейсуэлл P. Преобразование Хартли. М.: Мир, 1990.

4. Yonghong Z., Guoan B., Abdul R. L. New algorithms for multidimensional discrete Hartley transform // Signal Processing. 2002. Vol. 82. P. 1086—1095.

5. Ribas-Corbera J., Neuhoff D. L. On the optimal block size for block-based, motion compensated video coders // SPIE Proc. of Visual Communications and Image Processing. 1997. Vol. 3024. P. 1132—1143.

6. Рубина И. С., Тропченко А. Ю. Исследование алгоритмов выбора опорных пикселов в задачах выделения сегментов кадра видеопоследовательности // Изв. вузов. Приборостроение. 2012. Т. 55, № 1. С. 9—14.

Ирина Семеновна Рубина



Александр Ювенальевич Тропченко —

Сведения об авторах аспирант; Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики, кафедра вычислительной техники; E-mail: rubren@mail.ru д-р техн. наук, профессор; Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики, кафедра вычислительной техники; E-mail: tau@d1.ifmo.ru

Рекомендована кафедрой вычислительной техники

Поступила в редакцию 08.02.12 г.

ИЗВ. ВУЗОВ. ПРИБОРОСТРОЕНИЕ. 2012. Т. 55, № 10