СПЕЦИАЛИЗИРОВАННАЯ СБИС ПРЕОБРАЗОВАНИЯ ВИДЕОДАННЫХ
СПЕЦИАЛИЗИРОВАННАЯ СБИС ПРЕОБРАЗОВАНИЯ ВИДЕОДАННЫХ...
УДК 621.391 СПЕЦИАЛИЗИРОВАННАЯ СБИС ПРЕОБРАЗОВАНИЯ ВИДЕОДАННЫХ А.А. Умбиталиев, Н.Н. Шипилов, С.М. Ибатуллин, Ш.С. Фахми
Рассматривается новый подход к распространению компрессированного видеоконтента с одновременным использованием двух альтернативных технологий сжатия движущихся изображений: 1) на основе трехмерного дискретного косинусного преобразования (не стандартизованная на сегодняшний день технология); 2) на основе двумерного дискретного косинусного преобразования цифрового телевизионного сигнала (технология, предусмотренная стандартами MPEG-2, MPEG-4/AVC, Н.264). В рамках указанного подхода предлагается метод и сложно-функциональный блок быстрого преобразования потока видеоданных, сжатых по технологии трехмерного дискретного косинусного преобразования, в компрессированный поток стандартного формата MPEG-2. Ключевые слова: дискретное косинусное преобразование, СФ-блок, транскодер.
Введение По данным исследований, суммарный поток видеоданных (IPTV, видео по требованию, обмен индивидуальными видеоматериалами) составит в 2013 г. не менее 90% пользовательского телекоммуникационного трафика, а на долю только лишь интернет-видео придется более 60% всего пользовательского трафика Сети. В связи с указанной тенденцией чрезвычайно актуальной становится проблема эффективного сжатия видеоданных в магистральных телекоммуникационных сетях с использованием новых прогрессивных технологий компрессии телевизионного сигнала при сохранении обширной инсталлированной базы цифровых абонентских приемников, телеприставок и видеоплееров. В успешном решении данной проблемы заинтересованы практически все субъекты мультимедийного рынка: магистральные операторы, Интернет-провайдеры, операторы кабельного телевидения и конечные пользователи. Действительно, повышение степени сжатия передаваемого видеоматериала без ухудшения его качества может обеспечить существенное увеличение доходов магистральных операторов и Интернет-провайдеров, предоставляющих мультимедийные услуги по сбалансированным ценам, поскольку в этом случае становится возможным значительный рост удельного объема услуг, приходящихся на единицу сетевого трафика. В то же время окажутся защищенными инвестиции операторов кабельного телевидения и интересы миллионов потребителей видеоконтента, эксплуатирующих абонентское оборудование стандартов MPEG-2, MPEG-4/AVC, Н.264.
Актуальность проблемы К числу современных решений в сфере многоуровневого кодирования распространяемого видеоконтента следует отнести транскодеры Cisco ART [1], позволяющие преобразовывать видеопоток MPEG4/AVC в формат MPEG-2, не выходя за рамки общей для указанных стандартов технологии компрессии видео на основе двумерного дискретного косинусного преобразования отсчетов (2ДКП-технология). 2ДКП-технология компрессии видео применяется обычно в сочетании с теми или иными методами предсказания и компенсации движения [2]. С теоретической точки зрения предсказание движения относится
84 Научно-технический вестник Санкт-Петербургского государственного университета
информационных технологий, механики и оптики, 2010, № 4(68)
А.А. Умбиталиев, Н.Н. Шипилов, С.М. Ибатуллин, Ш.С. Фахми
к классу так называемых трудно формализуемых задач, для которых характерна следующая особенность. При формализации любой задачи для уточнения понятия цели явно или неявно должна задаваться некоторая оценочная функция (функция полезности), выражающая степень приближения к цели или устанавливающая порядок предпочтения возможных вариантов достижения цели. Для трудно формализуемых задач полностью определить такую функцию либо невозможно, либо связанные с ней вычисления чрезвычайно громоздки. Указанная особенность характерна для видеокодеков, поддерживающих стандарты MPEG-2, MPEG-4/AVC, H 264. Так, полный перебор векторов движения для видео стандартного разрешения в соответствии с H.264 требует производительности вычислений более 1022 операций в секунду. Поэтому на практике обычно применяют упрощенные алгоритмы предсказания движения, которые позволяют снизить сложность вычислений. Однако затраты на их реализацию все равно остаются значительными и составляют 60–80% от всех вычислительных затрат. При этом упрощенные алгоритмы поиска более чем в 3 раза ухудшают эффективность кодирования за счет пропуска так называемых локальных минимумов [3, 4].
Вместе с тем, в контексте декорреляции, видеосигнал как многомерная функция имеет оптимальное разложение по всем своим аргументам. Другими словами, для устранения временной корреляции нет существенных формальных оснований использовать средства, отличающиеся от применяемых для пространственной декорреляции сигнала. Кроме того, большинство практически значимых классов изображений характеризуются экспоненциальной автокорреляционной функцией [5], а для модели стационарного сигнала с такой автокорреляционной функцией асимптотически (при большом обрабатываемом блоке) оптимальным разложением, обеспечивающим максимальную скорость сходимости ряда, является дискретное косинусное преобразование [6]. Результаты сравнительной оценки альтернативных технологий [3] показывают, что трехмерное дискретное косинусное преобразование отсчетов (3ДКП-технология) обеспечивает примерно полуторакратный выигрыш в степени сжатия видеоинформации при сохранении субъективного качества изображений.
Технология преобразования
С учетом вышеизложенного наиболее рациональным на сегодняшний день представляется распространение видеоконтента по схеме: «исходный видеоматериал 3ДКП-кодирование магистральная передача преобразование магистрального транспортного потока, включающее 3ДКП/2ДКПтранскодирование локальное распределение 2ДКП-декодирование отображение» (рис. 1).
Магистральный канал
3ДКП-кодер
Система преобразования транспортного потока
Локальная сеть
2ДКП-декод ер
2ДКП-декодер
Рис. 1. Распространение видеоконтента с использованием двух технологий компрессии изображений
Для кодирования исходного контента может быть использован российский 3ДКП-кодер, первый СБИС-прототип которого экспонировался на международной выставке NATEXPO-2009 [7]. Для 2ДКПдекодирования применим любой декодер, поддерживающий стандарт MPEG-2. Система преобразования транспортного потока может быть выполнена в виде СБИС класса «система на кристалле» (СнК [8]) и должна содержать ряд сложно-функциональных блоков (СФ-блоков [9]), обеспечивающих: анализ магистрального транспортного потока и выделение в нем элементарных 3ДКП-потоков; преобразование каждого элементарного 3ДКП-потока в элементарный поток MPEG-2, т.е. собствен-
но 3ДКП/2ДКП-транскодирование; формирование транспортного потока MPEG-2.
В зависимости от структуры магистрального транспортного потока и способов его обработки в состав системы преобразования может входить один или несколько одинаковых СФ-блоков 3ДКП/2ДКПпреобразования.
Научно-технический вестник Санкт-Петербургского государственного университета информационных технологий, механики и оптики, 2010, № 4(68)
85
СПЕЦИАЛИЗИРОВАННАЯ СБИС ПРЕОБРАЗОВАНИЯ ВИДЕОДАННЫХ...
Тривиальным решением задачи 3ДКП/2ДКП-преобразования является последовательное 3ДКПдекодирование и 2ДКП-кодирование элементарного потока (рис. 2). Однако такое решение характеризуется неоправданно высокой аппаратной и временной сложностью, поскольку оно эквивалентно пятикратному одномерному дискретному косинусному преобразованию отсчетов (тройному обратному в 3ДКП-декодере и двойному прямому в 2ДКП-кодере).
Элементарный 3ДКП-поток
3ДКПдекодер
Восстановленный
(несжатый) элементарный поток
2ДКП-кодер
Элементарный поток MPEG-2
(Кодер MPEG-2)
Рис. 2. Тривиальная схема 3ДКП/2ДКП-транскодера
Модифицированное обратное одномерное ДКП
С целью упрощения структуры 3ДКП/2ДКП-транскодера предлагается метод ускоренного преобразования элементарного 3ДКП-потока в элементарный поток MPEG-2, основанный на учете свойства разделяемости многомерного дискретного косинусного преобразования [10] и совмещении операций деквантования/квантования трансформант с их вычислением. Суть предлагаемого метода поясняется схемой на рис. 3 и состоит в следующем.
В результате энтропийного декодирования и обратного сканирования каждой очередной порции
элементарного
3ДКП-потока формируется
трехмерный массив
F кв 3ДКП
,
содержащий
88 M
квантованных 3ДКП-трансформант
F кв 3ДКП
(x,
y,t)
,
где
x 0, 7
и
y 0, 7
− пространственные координаты,
а
t
0, M
1
− временная координата трансформанты
F кв 3ДКП
(x,
y,
t
)
.
В
типичном
случае
М
фиксировано
и
равно 8. В более общем случае [3] величина М варьируется в диапазоне от 1 до 8.
Полученные квантованные 3ДКП-трансформанты подвергаются модифицированному обратному
одномерному ДКП по временной координате t согласно формуле
F кв 2ДКП
(
x,
y,
z)
M 1 t 0
(x,
y,
z,
t)
F кв 3ДКП
( x,
y,
t)
cos
(2z 1)t 2M
,
(1)
где
z 0, M 1 ,
(x,
y,
z,t)
(t)
Q3ДКП (x, y, z) Q2ДКП (x, y)
,
(t
)
1 при t 0, M
2 M
при t 0,
Q3ДКП (x, y, z)
− коэффициент
квантования 3ДКП-трансформанты F3ДКП (x, y, z) , Q2ДКП (x, y) − коэффициент квантования 2ДКП-
трансформанты F2ДКП (x, y) . Несложно заметить, что используемые в формуле (1) обобщенные коэффициенты
(x,
y,
z,
t
)
(t)
Q3ДКП ( Q2ДКП
x, y, z) (x, y)
реализуют совмещенную функцию нормировки и переквантования
трансформант. Значения этих коэффициентов могут быть рассчитаны заранее, а их количество равно
128М ( 88 M значений для t 0 и столько же значений для t 0 ). При этом результатом модифици-
рованного обратного одномерного ДКП квантованных 3ДКП-трансформант являются M двумерных мас-
сивов, каждый из которых содержит 88 квантованных 2ДКП-трансформант.
Двумерные массивы квантованных 2ДКП-трансформант, относящиеся к M последовательным ви-
деокадрам типа Intra [2], загружаются в буфер транскодера (см. рис. 3), а затем сканируются и подверга-
ются энтропийному кодированию в соответствии со стандартом MPEG-2.
Заключение
Следует подчеркнуть, что рассмотренная выше модификация обратного одномерного дискретного косинусного преобразования 3ДКП-трансформант не отличатся по своей сложности от обычного одномерного ДКП и позволяет совместить во времени сразу три процедуры преобразования (см. рис. 3), а именно, деквантование 3ДКП-трансформант, вычисление восьми двумерных массивов 2ДКПтрансформант и квантование 2ДКП-трансформант. Дополнительное ускорение процесса 3ДКП/2ДКП-
86 Научно-технический вестник Санкт-Петербургского государственного университета
информационных технологий, механики и оптики, 2010, № 4(68)
А.А. Умбиталиев, Н.Н. Шипилов, С.М. Ибатуллин, Ш.С. Фахми
преобразования может быть достигнуто за счет заблаговременного расчета и хранения в памяти транско-
дера
всех
произведений
вида
( x,
y,
z,
t
)
cos
(2z 1)t 2M
.
Количество
таких
произведений
равно
128М2,
что при М=8 составляет 213. В случае представления указанных произведений в виде 32-разрядных чисел,
объем памяти, потребной для их хранения, составит 32 Кбайт, что по современным меркам вполне при-
емлемо для СнК средней сложности [11].
Элементарный 3ДКП-поток
Субблок энтропийного декодирования
3ДКП-трансформант
Субблок обратного сканирования
3ДКП-трансформант
Субблок модифицированного обратного одномерного ДКП
по координате t
Буфер 2ДКП-трансформант
Деквантование 3ДКП-трансформант
Обратное одномерное ДКП по координате t
Квантование 2ДКП-трансформант по стандарту MPEG-2
Субблок прямого сканирования
2ДКП-трансформант
по стандарту MPEG-2
Субблок энтропийного кодирования
2ДКП-трансформант по стандарту MPEG-2
Элементарный поток MPEG-2
Рис. 3. Структурная схема СБИС преобразования видеоданных
Таким образом, в отличие от тривиального решения (см. рис. 2), предлагаемый СФ-блок транскодера (см. рис. 3) обеспечивает высокоскоростное преобразование элементарного 3ДКП-видеопотока [12, 13] в элементарный поток MPEG-2 без использования трудоемких многомерных преобразований отсчетов. Полученные авторами результаты сравнительной оценки VHDL-моделей показывают, что сложность СФ-блока 3ДКП/2ДКП-транскодера примерно на порядок ниже совокупной сложности 3ДКПдекодера и 2ДКП-кодера, а задержка преобразуемого элементарного потока меньше соответствующей совокупной задержки в 2–3 раза.
Литература
1. Norkin Andrey, Atanas Gotchev, Karen Egiazarian, Jaakko Astola, Low-complexity multiple description coding of video based on 3D block transforms // EURASIP Journal on Embedded Systems. – January 2007. – V. 2007. – № 1. – Р. 39–39.
2. Ричардсон Я. Видеокодирование. H. 264 и MPEG-4 стандарты нового поколения. – М.: Техносфера, 2005. – 368 с.
Научно-технический вестник Санкт-Петербургского государственного университета информационных технологий, механики и оптики, 2010, № 4(68)
87
МЕТОД ТЕМАТИЧЕСКОГО СВЯЗАННОГО РАНЖИРОВАНИЯ ДЛЯ АВТОМАТИЧЕСКОГО...
3. Umbitaliev А.А., Fahmi Sh. S., Shipilov N. N. et all. A Versatile Real Time Video Codec Based On ThreeDimensional Discrete Cosine Transform. // Ibc 2008, RAI International Congress and Exhibition Centre
Amsterdam. The Netherlands. Conference 1115 September 2008. – Р. 386391. 4. Lee M., Chan R., Adjieroh D. Quantization of 3D-DCT coefficients and scan order for video compression //
J. Vis. Commun. Image Represent. Dec. 1997. № 8. Р. 405–422.
5. Цифровое кодирование телевизионных изображений / Под ред. Цуккермана И.И. М.: Радио и связь,
1981. 240 с. 6. Ахмед Н., Рао К.Р. Ортогональные преобразования при обработке цифровых сигналов: Пер. с англ. /
/ Под ред. И.Б.Фоменко. М.: Связь, 1980. 7. Шипилов Н.Н., Фахми Ш.С. Свидетельство о государственной регистрации программы. Дискретное
косинусное преобразование видеосигналов NIIT VCS 3D-DCT. Заявка 2008613380 от 22.07.2008, пат. 75817, рег. 20.08.08.
8. Немудров В. , Мартин Г. Системы на кристалле. Проблемы проектирования и развития. М.: Техносфера, 2004. – 216 с.
9. Стешенко В., Руткевич А., Гладкова Е. и др. Проектирование СБИС типа «система на кристалле».
Маршрут проектирования. Синтез схемы // Электронные компоненты. – 2009. № 1. С. 14–21. 10. Raymond Westwater, Borko Furht. Real-Time Video Compression: Techniques and Algorithms. – Kluwer
Academic Publishers, 1996. – 164 р. 11. Твердотельная революция в телевидении / Березин В.В., Умбиталиев А.А., Фахми Ш.С., Цыцу-
лин А.К., Шипилов Н.Н. – М.: Радио и связь, 2006. – 312 с. 12. Фахми Ш.С., Зубакин И.А. Адаптивный алгоритм кодирования видеоинформации на основе трех-
мерного дискретного косинусного преобразования // Изв. вузов России. Радиоэлектроника. 2010. –
Вып. 1. С. 4954. 13. Способ кодирования и декодирования видеоинформации на основе трехмерного дискретного коси-
нусного преобразования. № 2375838, заявка № 2008145795 (приоритет от 19.11.2008) Фахми Ш.С., Ибатуллин С.М., Ибатулин В.Ф., Иванов К.В., Шипилов Н.Н., Умбиталиев А.А., Цыцулин А.К. Зарегистрировано в гос. реестре изобретений РФ 10.12. 2009 со сроком действия 19.11.2028.
Умбиталиев Александр Ахатович – ФГУП «НИИ Телевидения», доктор технических наук, профессор, дирек-
тор, niitv@niitv.ru
Шипилов Николай Николаевич
– ФГУП «НИИ Телевидения», кандидат технических наук, профессор, зам.
директора, niitv@niitv.ru
Ибатуллин Салех Мансурович
– ФГУП «НИИ Телевидения», инженер, NPK41@LENTA.ru
Фахми Шакиб Субхиевич
– ФГУП «НИИ Телевидения», кандидат технических наук, доцент,
Shakeebf@mail.ru
88 Научно-технический вестник Санкт-Петербургского государственного университета
информационных технологий, механики и оптики, 2010, № 4(68)
УДК 621.391 СПЕЦИАЛИЗИРОВАННАЯ СБИС ПРЕОБРАЗОВАНИЯ ВИДЕОДАННЫХ А.А. Умбиталиев, Н.Н. Шипилов, С.М. Ибатуллин, Ш.С. Фахми
Рассматривается новый подход к распространению компрессированного видеоконтента с одновременным использованием двух альтернативных технологий сжатия движущихся изображений: 1) на основе трехмерного дискретного косинусного преобразования (не стандартизованная на сегодняшний день технология); 2) на основе двумерного дискретного косинусного преобразования цифрового телевизионного сигнала (технология, предусмотренная стандартами MPEG-2, MPEG-4/AVC, Н.264). В рамках указанного подхода предлагается метод и сложно-функциональный блок быстрого преобразования потока видеоданных, сжатых по технологии трехмерного дискретного косинусного преобразования, в компрессированный поток стандартного формата MPEG-2. Ключевые слова: дискретное косинусное преобразование, СФ-блок, транскодер.
Введение По данным исследований, суммарный поток видеоданных (IPTV, видео по требованию, обмен индивидуальными видеоматериалами) составит в 2013 г. не менее 90% пользовательского телекоммуникационного трафика, а на долю только лишь интернет-видео придется более 60% всего пользовательского трафика Сети. В связи с указанной тенденцией чрезвычайно актуальной становится проблема эффективного сжатия видеоданных в магистральных телекоммуникационных сетях с использованием новых прогрессивных технологий компрессии телевизионного сигнала при сохранении обширной инсталлированной базы цифровых абонентских приемников, телеприставок и видеоплееров. В успешном решении данной проблемы заинтересованы практически все субъекты мультимедийного рынка: магистральные операторы, Интернет-провайдеры, операторы кабельного телевидения и конечные пользователи. Действительно, повышение степени сжатия передаваемого видеоматериала без ухудшения его качества может обеспечить существенное увеличение доходов магистральных операторов и Интернет-провайдеров, предоставляющих мультимедийные услуги по сбалансированным ценам, поскольку в этом случае становится возможным значительный рост удельного объема услуг, приходящихся на единицу сетевого трафика. В то же время окажутся защищенными инвестиции операторов кабельного телевидения и интересы миллионов потребителей видеоконтента, эксплуатирующих абонентское оборудование стандартов MPEG-2, MPEG-4/AVC, Н.264.
Актуальность проблемы К числу современных решений в сфере многоуровневого кодирования распространяемого видеоконтента следует отнести транскодеры Cisco ART [1], позволяющие преобразовывать видеопоток MPEG4/AVC в формат MPEG-2, не выходя за рамки общей для указанных стандартов технологии компрессии видео на основе двумерного дискретного косинусного преобразования отсчетов (2ДКП-технология). 2ДКП-технология компрессии видео применяется обычно в сочетании с теми или иными методами предсказания и компенсации движения [2]. С теоретической точки зрения предсказание движения относится
84 Научно-технический вестник Санкт-Петербургского государственного университета
информационных технологий, механики и оптики, 2010, № 4(68)
А.А. Умбиталиев, Н.Н. Шипилов, С.М. Ибатуллин, Ш.С. Фахми
к классу так называемых трудно формализуемых задач, для которых характерна следующая особенность. При формализации любой задачи для уточнения понятия цели явно или неявно должна задаваться некоторая оценочная функция (функция полезности), выражающая степень приближения к цели или устанавливающая порядок предпочтения возможных вариантов достижения цели. Для трудно формализуемых задач полностью определить такую функцию либо невозможно, либо связанные с ней вычисления чрезвычайно громоздки. Указанная особенность характерна для видеокодеков, поддерживающих стандарты MPEG-2, MPEG-4/AVC, H 264. Так, полный перебор векторов движения для видео стандартного разрешения в соответствии с H.264 требует производительности вычислений более 1022 операций в секунду. Поэтому на практике обычно применяют упрощенные алгоритмы предсказания движения, которые позволяют снизить сложность вычислений. Однако затраты на их реализацию все равно остаются значительными и составляют 60–80% от всех вычислительных затрат. При этом упрощенные алгоритмы поиска более чем в 3 раза ухудшают эффективность кодирования за счет пропуска так называемых локальных минимумов [3, 4].
Вместе с тем, в контексте декорреляции, видеосигнал как многомерная функция имеет оптимальное разложение по всем своим аргументам. Другими словами, для устранения временной корреляции нет существенных формальных оснований использовать средства, отличающиеся от применяемых для пространственной декорреляции сигнала. Кроме того, большинство практически значимых классов изображений характеризуются экспоненциальной автокорреляционной функцией [5], а для модели стационарного сигнала с такой автокорреляционной функцией асимптотически (при большом обрабатываемом блоке) оптимальным разложением, обеспечивающим максимальную скорость сходимости ряда, является дискретное косинусное преобразование [6]. Результаты сравнительной оценки альтернативных технологий [3] показывают, что трехмерное дискретное косинусное преобразование отсчетов (3ДКП-технология) обеспечивает примерно полуторакратный выигрыш в степени сжатия видеоинформации при сохранении субъективного качества изображений.
Технология преобразования
С учетом вышеизложенного наиболее рациональным на сегодняшний день представляется распространение видеоконтента по схеме: «исходный видеоматериал 3ДКП-кодирование магистральная передача преобразование магистрального транспортного потока, включающее 3ДКП/2ДКПтранскодирование локальное распределение 2ДКП-декодирование отображение» (рис. 1).
Магистральный канал
3ДКП-кодер
Система преобразования транспортного потока
Локальная сеть
2ДКП-декод ер
2ДКП-декодер
Рис. 1. Распространение видеоконтента с использованием двух технологий компрессии изображений
Для кодирования исходного контента может быть использован российский 3ДКП-кодер, первый СБИС-прототип которого экспонировался на международной выставке NATEXPO-2009 [7]. Для 2ДКПдекодирования применим любой декодер, поддерживающий стандарт MPEG-2. Система преобразования транспортного потока может быть выполнена в виде СБИС класса «система на кристалле» (СнК [8]) и должна содержать ряд сложно-функциональных блоков (СФ-блоков [9]), обеспечивающих: анализ магистрального транспортного потока и выделение в нем элементарных 3ДКП-потоков; преобразование каждого элементарного 3ДКП-потока в элементарный поток MPEG-2, т.е. собствен-
но 3ДКП/2ДКП-транскодирование; формирование транспортного потока MPEG-2.
В зависимости от структуры магистрального транспортного потока и способов его обработки в состав системы преобразования может входить один или несколько одинаковых СФ-блоков 3ДКП/2ДКПпреобразования.
Научно-технический вестник Санкт-Петербургского государственного университета информационных технологий, механики и оптики, 2010, № 4(68)
85
СПЕЦИАЛИЗИРОВАННАЯ СБИС ПРЕОБРАЗОВАНИЯ ВИДЕОДАННЫХ...
Тривиальным решением задачи 3ДКП/2ДКП-преобразования является последовательное 3ДКПдекодирование и 2ДКП-кодирование элементарного потока (рис. 2). Однако такое решение характеризуется неоправданно высокой аппаратной и временной сложностью, поскольку оно эквивалентно пятикратному одномерному дискретному косинусному преобразованию отсчетов (тройному обратному в 3ДКП-декодере и двойному прямому в 2ДКП-кодере).
Элементарный 3ДКП-поток
3ДКПдекодер
Восстановленный
(несжатый) элементарный поток
2ДКП-кодер
Элементарный поток MPEG-2
(Кодер MPEG-2)
Рис. 2. Тривиальная схема 3ДКП/2ДКП-транскодера
Модифицированное обратное одномерное ДКП
С целью упрощения структуры 3ДКП/2ДКП-транскодера предлагается метод ускоренного преобразования элементарного 3ДКП-потока в элементарный поток MPEG-2, основанный на учете свойства разделяемости многомерного дискретного косинусного преобразования [10] и совмещении операций деквантования/квантования трансформант с их вычислением. Суть предлагаемого метода поясняется схемой на рис. 3 и состоит в следующем.
В результате энтропийного декодирования и обратного сканирования каждой очередной порции
элементарного
3ДКП-потока формируется
трехмерный массив
F кв 3ДКП
,
содержащий
88 M
квантованных 3ДКП-трансформант
F кв 3ДКП
(x,
y,t)
,
где
x 0, 7
и
y 0, 7
− пространственные координаты,
а
t
0, M
1
− временная координата трансформанты
F кв 3ДКП
(x,
y,
t
)
.
В
типичном
случае
М
фиксировано
и
равно 8. В более общем случае [3] величина М варьируется в диапазоне от 1 до 8.
Полученные квантованные 3ДКП-трансформанты подвергаются модифицированному обратному
одномерному ДКП по временной координате t согласно формуле
F кв 2ДКП
(
x,
y,
z)
M 1 t 0
(x,
y,
z,
t)
F кв 3ДКП
( x,
y,
t)
cos
(2z 1)t 2M
,
(1)
где
z 0, M 1 ,
(x,
y,
z,t)
(t)
Q3ДКП (x, y, z) Q2ДКП (x, y)
,
(t
)
1 при t 0, M
2 M
при t 0,
Q3ДКП (x, y, z)
− коэффициент
квантования 3ДКП-трансформанты F3ДКП (x, y, z) , Q2ДКП (x, y) − коэффициент квантования 2ДКП-
трансформанты F2ДКП (x, y) . Несложно заметить, что используемые в формуле (1) обобщенные коэффициенты
(x,
y,
z,
t
)
(t)
Q3ДКП ( Q2ДКП
x, y, z) (x, y)
реализуют совмещенную функцию нормировки и переквантования
трансформант. Значения этих коэффициентов могут быть рассчитаны заранее, а их количество равно
128М ( 88 M значений для t 0 и столько же значений для t 0 ). При этом результатом модифици-
рованного обратного одномерного ДКП квантованных 3ДКП-трансформант являются M двумерных мас-
сивов, каждый из которых содержит 88 квантованных 2ДКП-трансформант.
Двумерные массивы квантованных 2ДКП-трансформант, относящиеся к M последовательным ви-
деокадрам типа Intra [2], загружаются в буфер транскодера (см. рис. 3), а затем сканируются и подверга-
ются энтропийному кодированию в соответствии со стандартом MPEG-2.
Заключение
Следует подчеркнуть, что рассмотренная выше модификация обратного одномерного дискретного косинусного преобразования 3ДКП-трансформант не отличатся по своей сложности от обычного одномерного ДКП и позволяет совместить во времени сразу три процедуры преобразования (см. рис. 3), а именно, деквантование 3ДКП-трансформант, вычисление восьми двумерных массивов 2ДКПтрансформант и квантование 2ДКП-трансформант. Дополнительное ускорение процесса 3ДКП/2ДКП-
86 Научно-технический вестник Санкт-Петербургского государственного университета
информационных технологий, механики и оптики, 2010, № 4(68)
А.А. Умбиталиев, Н.Н. Шипилов, С.М. Ибатуллин, Ш.С. Фахми
преобразования может быть достигнуто за счет заблаговременного расчета и хранения в памяти транско-
дера
всех
произведений
вида
( x,
y,
z,
t
)
cos
(2z 1)t 2M
.
Количество
таких
произведений
равно
128М2,
что при М=8 составляет 213. В случае представления указанных произведений в виде 32-разрядных чисел,
объем памяти, потребной для их хранения, составит 32 Кбайт, что по современным меркам вполне при-
емлемо для СнК средней сложности [11].
Элементарный 3ДКП-поток
Субблок энтропийного декодирования
3ДКП-трансформант
Субблок обратного сканирования
3ДКП-трансформант
Субблок модифицированного обратного одномерного ДКП
по координате t
Буфер 2ДКП-трансформант
Деквантование 3ДКП-трансформант
Обратное одномерное ДКП по координате t
Квантование 2ДКП-трансформант по стандарту MPEG-2
Субблок прямого сканирования
2ДКП-трансформант
по стандарту MPEG-2
Субблок энтропийного кодирования
2ДКП-трансформант по стандарту MPEG-2
Элементарный поток MPEG-2
Рис. 3. Структурная схема СБИС преобразования видеоданных
Таким образом, в отличие от тривиального решения (см. рис. 2), предлагаемый СФ-блок транскодера (см. рис. 3) обеспечивает высокоскоростное преобразование элементарного 3ДКП-видеопотока [12, 13] в элементарный поток MPEG-2 без использования трудоемких многомерных преобразований отсчетов. Полученные авторами результаты сравнительной оценки VHDL-моделей показывают, что сложность СФ-блока 3ДКП/2ДКП-транскодера примерно на порядок ниже совокупной сложности 3ДКПдекодера и 2ДКП-кодера, а задержка преобразуемого элементарного потока меньше соответствующей совокупной задержки в 2–3 раза.
Литература
1. Norkin Andrey, Atanas Gotchev, Karen Egiazarian, Jaakko Astola, Low-complexity multiple description coding of video based on 3D block transforms // EURASIP Journal on Embedded Systems. – January 2007. – V. 2007. – № 1. – Р. 39–39.
2. Ричардсон Я. Видеокодирование. H. 264 и MPEG-4 стандарты нового поколения. – М.: Техносфера, 2005. – 368 с.
Научно-технический вестник Санкт-Петербургского государственного университета информационных технологий, механики и оптики, 2010, № 4(68)
87
МЕТОД ТЕМАТИЧЕСКОГО СВЯЗАННОГО РАНЖИРОВАНИЯ ДЛЯ АВТОМАТИЧЕСКОГО...
3. Umbitaliev А.А., Fahmi Sh. S., Shipilov N. N. et all. A Versatile Real Time Video Codec Based On ThreeDimensional Discrete Cosine Transform. // Ibc 2008, RAI International Congress and Exhibition Centre
Amsterdam. The Netherlands. Conference 1115 September 2008. – Р. 386391. 4. Lee M., Chan R., Adjieroh D. Quantization of 3D-DCT coefficients and scan order for video compression //
J. Vis. Commun. Image Represent. Dec. 1997. № 8. Р. 405–422.
5. Цифровое кодирование телевизионных изображений / Под ред. Цуккермана И.И. М.: Радио и связь,
1981. 240 с. 6. Ахмед Н., Рао К.Р. Ортогональные преобразования при обработке цифровых сигналов: Пер. с англ. /
/ Под ред. И.Б.Фоменко. М.: Связь, 1980. 7. Шипилов Н.Н., Фахми Ш.С. Свидетельство о государственной регистрации программы. Дискретное
косинусное преобразование видеосигналов NIIT VCS 3D-DCT. Заявка 2008613380 от 22.07.2008, пат. 75817, рег. 20.08.08.
8. Немудров В. , Мартин Г. Системы на кристалле. Проблемы проектирования и развития. М.: Техносфера, 2004. – 216 с.
9. Стешенко В., Руткевич А., Гладкова Е. и др. Проектирование СБИС типа «система на кристалле».
Маршрут проектирования. Синтез схемы // Электронные компоненты. – 2009. № 1. С. 14–21. 10. Raymond Westwater, Borko Furht. Real-Time Video Compression: Techniques and Algorithms. – Kluwer
Academic Publishers, 1996. – 164 р. 11. Твердотельная революция в телевидении / Березин В.В., Умбиталиев А.А., Фахми Ш.С., Цыцу-
лин А.К., Шипилов Н.Н. – М.: Радио и связь, 2006. – 312 с. 12. Фахми Ш.С., Зубакин И.А. Адаптивный алгоритм кодирования видеоинформации на основе трех-
мерного дискретного косинусного преобразования // Изв. вузов России. Радиоэлектроника. 2010. –
Вып. 1. С. 4954. 13. Способ кодирования и декодирования видеоинформации на основе трехмерного дискретного коси-
нусного преобразования. № 2375838, заявка № 2008145795 (приоритет от 19.11.2008) Фахми Ш.С., Ибатуллин С.М., Ибатулин В.Ф., Иванов К.В., Шипилов Н.Н., Умбиталиев А.А., Цыцулин А.К. Зарегистрировано в гос. реестре изобретений РФ 10.12. 2009 со сроком действия 19.11.2028.
Умбиталиев Александр Ахатович – ФГУП «НИИ Телевидения», доктор технических наук, профессор, дирек-
тор, niitv@niitv.ru
Шипилов Николай Николаевич
– ФГУП «НИИ Телевидения», кандидат технических наук, профессор, зам.
директора, niitv@niitv.ru
Ибатуллин Салех Мансурович
– ФГУП «НИИ Телевидения», инженер, NPK41@LENTA.ru
Фахми Шакиб Субхиевич
– ФГУП «НИИ Телевидения», кандидат технических наук, доцент,
Shakeebf@mail.ru
88 Научно-технический вестник Санкт-Петербургского государственного университета
информационных технологий, механики и оптики, 2010, № 4(68)