Начальный этап проектирования видеосистем на кристалле
УДК 681.3(075.8) НАЧАЛЬНЫЙ ЭТАП ПРОЕКТИРОВАНИЯ ВИДЕОСИСТЕМ НА КРИСТАЛЛЕ
© 2012 г. В. В. Березин*, доктор техн. наук; Ш. С. Фахми**, доктор техн. наук; А. К. Цыцулин**, доктор техн. наук. ** ФГУП НИИ Прикладных проблем, Санкт-Петербург
** ОАО “Научно-исследовательский институт телевидения”, Санкт-Петербург
** Е-mail: atsytsulin@mail.ru
Предложена методика начального этапа проектирования видеосистем, включающая структурный и параметрический синтез объединенных на одном кристалле устройств фотоприема и кодирования. Обоснован подход к синтезу видеосистем на кристалле, использующий показатель эффективности, учитывающий взаимосвязь сложности и скорости передачи. Предложен метод распределения площади кристалла между фотоприемником и вычислителем. Рассмотрена концепция параллельного ввода видеоинформации из фотоприемника в вычислитель.
Ключевые слова: проектирование видеосистем на кристалле, взаимообмен сложности и скорости передачи, распределение площади кристалла.
Коды OCIS 100.2000, 150.4065, 150.6044
Поступила в редакцию 18.06.2012
Введение
Тенденция развития видеоинформационных систем получила дополнительный импульс благодаря освоению новых технологий и современных систем автоматического проектирования (САПР) на их основе, в первую очередь, технологии “система на кристалле” с проектными нормами 90 нм и менее [1].
Создание сложных видеоинформационных систем и внедрение новых методов кодирования сопровождается значительными изменениями в методах проектирования, изменениями требований к квалификации проектировщика. При этом важнейшей проблемой системных исследований становится совершенствование маршрута проектирования с целью достижения оптимальных параметров систем обработки видеоинформации. В роли системного критерия оптимальности видеоинформационных систем должна выступать совокупность (взвешенная сумма) информационных показателей (точности, скорости передачи, сложности), позволяющая на ранних стадиях проектирования решить проблему формирования требований к проектируемой системе в целом [2]. Для решения данной проблемы учитываются три принципиальных особенности видеосистем на кристалле (ВСнК):
а) кроме скорости передачи и точности в ВСнК необходимо учитывать сложность обработки (число операций, необходимых для кодирования изображений);
б) проектирование ВСнК – неразрывный процесс, не допускающий декомпозиции системы на подсистемы, в ходе которого фотоприемник и вычислитель оптимизируются совместно;
в) при создании быстродействующих ВСнК следует опираться на модель с множественным потоком данных и включать в принятый маршрут проектирования определение степени параллелизма передачи сигналов от массива фотоприемных элементов к кодеру-вычислителю.
Системный уровень проектирования
Проектирование видеосистем на кристалле предполагает единство вопросов фотоэлектрического преобразования, микроэлектроники и аппаратно-программного обеспечения и имеет свою специфику, выражающуюся в создании специализированных САПР [3]. Упрощенная типовая последовательность процедур при проектировании сверхбольших интегральных схем (СБИС) класса “система на кристалле” (СнК) включает следующие этапы [1]: разработка архитектуры системы, функциональ-
76 “Оптический журнал”, 79, 11, 2012
ное, логическое и топологическое проектирование.
Очевидно, что при нисходящем проектировании в большинстве предшествующих процедур приходится задаваться ориентировочными данными, истинные значения которых становятся известными только после выполнения последующих процедур. Это обусловливает итерационный характер процесса проектирования с возвратами от последующих этапов к предыдущим, что существенно увеличивает затраты на проектирование [2]. Поэтому усилия разработчиков системных вопросов создания САПР направлены на поиск методов сокращения числа итераций в цикле проектирования СБИС. Такой поиск привел к положительным результатам в следующих двух направлениях [1].
Во-первых, это технологии так называемого “физического” проектирования, в которых уже на ранних этапах проектирования (архитектурном и регистровом) стараются учесть физические параметры задержки, рассеиваемые мощности и др. Во-вторых, это разумное сочетание элементов нисходящего и восходящего проектирования, при котором на ранних этапах проектирования функции ориентировочно распределяются между блоками, что позволяет проектировать эти блоки независимо друг от друга. И если принятые ранее значения параметров блоков оказываются достигнутыми, то дополнительные итерации не требуются.
Целесообразность внедрения ВСнК в практику приборостроения во многом связана с допустимостью объединения на одном кристалле фотоприемного массива и процессора обработки изображений из-за опасности перегрева кристалла, весьма опасного в силу роста темновых сигналов фотоприемного массива. При этом, чем сложнее обработка в вычислительной подсистеме, тем больше опасность перегрева ВСнК. Поэтому особое внимание при структурном и параметрическом синтезе ВСнК уделяется вычислительной сложности, например, сжатию изображения. Вычислительная сложность большинства стандартных алгоритмов сжатия по-прежнему высока. В то же время разрешение и частота кадров фотоприемных матриц продолжают расти, и время обработки становится “узким местом” у высокоскоростных видеоинформационных систем. В типовых решениях изображение сначала регистрируется, затем сохраняется и лишь только потом сжимается. Хранение значений от-
счетов изображения с большим динамическим диапазоном и высоким разрешением приводит к очень жестким требованиям к устройству памяти. Например, типичные приборы с зарядовой связью имеют одинаковые по площади кристалла фотоприемные секции и секции хранения, что является весьма нерациональным. КМОП технология видеосистем на кристалле дает возможность изменения такой парадигмы проектирования путем параллельной и распределенной обработки видеоинформации, в том числе при сжатии. Эта идея была одновременно осознана отечественными и зарубежными специалистами. Американскими исследователями для вещательных систем предложено фазу фотоприема дополнить сжатием на этапе захвата изображения до начала фазы хранения [4]. Этот подход смещает парадигму проектирования видеосистем на кристалле от обычной: фотоприемхранениесжатие, на вновь предлагаемую: фотоприемсжатиехранение.
Потенциальные преимущества новой парадигмы проектирования: уменьшение площади кристалла кремния, необходимого для организации хранения цифрового массива пикселей, уменьшение требований к устройству памяти, интеграция в кристалл кодера источника и потенциально кодера канала. Отечественными специалистами подобные подходы предложены в прикладных телевизионно-компьютерных решениях, например для стабилизации изображений [5, 6]. Несмотря на различие в областях применения можно констатировать что:
1. Концепция параллельного накопления, давно известная в телевидении, сочетается в КМОП ВСнК с концепцией параллельной обработки (давно известной в вычислительной технике) с использованием относительно новой идеи – параллельных каналов считывания.
2. Принцип последовательной передачи пикселов (телевизионной развертки) модифицируется в последовательную передачу либо спектральных составляющих, вычисляемых пофрагментно для всего кадра изображения, либо результатов классификации изображений (распознавание образов).
Таким образом, уменьшение проектных норм и увеличение сложности ВСнК предъявляет новые требования к методологии проектирования, и все более возрастает необходимость в концептуальном совершенствовании маршрута проектирования на начальном (до системного) уровне (рис. 1) [7, 8].
“Оптический журнал”, 79, 11, 2012
77
Синтез на основе обобщенного информационного показателя качества системы
и взаимообмена сложности и скорости передачи
Определение соотношения площадей фотоприемного массива и вычислителя
Определение степени распараллеливания ввода изображений из фотоприемного массива в процессор видеосистемы на кристалле
Разработка ТЗ с учетом вектора концепции
Начальный этап проектирования ВСнК
Определение параметров алгоритмов с учетом вектора концепций
Системное проектирование ВСнК
Вертификация ВСнК
Нет
Проверка правильности функционирования
Да
Кристальный уровень проектирования ВСнК
Рис. 1. Начальный этап проектирования видеосистем на кристалле.
Уровень системного проектирования
Начальный этап создания ВСнК включает следующие проектные процедуры:
а) Синтез на основе обобщенного показателя эффективности. Для обеспечения общего информационного подхода к решению задачи оптимизации системы необходимо все частные показатели качества привести к единому виду, имеющему размерность информации (бит). В частности, учет снижения отношения сигнал/помеха следует характеризовать потерей полезной информации I, вычисляемой как логарифм отношения фактической ошиб-
ки к минимально возможной, лимитируемой
фотонным шумом. Следуя методике вектор-
ного синтеза системы связи [8], целесообразно
сформировать обобщенный показатель эффективности Р, включающий “вектор концепции системы” {ci} и совокупность {Pi} частных информационных показателей качества системы связи – потери полезной информации I, скорости передачи R, сложности Wк кодера и сложности Wд декодера. Так как все частные информационные показатели качества системы связи связаны с ошибкой передачи , назнача-
78 “Оптический журнал”, 79, 11, 2012
емой проектировщиком исходя из требуемого качества видеоинформации (определяемого компромиссом между потерей полезной информации и передачей шумовой информации [9]), то ниже они будут обозначаться как Pi()
Р = c0I() + c1R() + + c2Wк() + c3Wд() min,
(1)
где c1, c2 и c3 – весовые коэффициенты, составляющие вектор концепции системы.
Для систем телевизионного вещания характерна ситуация, когда затраты сложности на один кодер пренебрежимо малы по сравнению с совокупными затратами сложности на миллионы декодеров в телевизорах. Для бортовых систем характерна обратная ситуация: цена космического аппарата с учетом его вывода на орбиту много больше цены наземного декодера. Для выявления основных свойств обобщенного показателя качества рассмотрим его частный случай при с3 = 0, характерный для бортовых видеоинформационных систем, акцентирующих внимание на сложности кодера, включаемого в состав ВСнК
Р = c0I() + c1R() + c2Wк() min. (2)
Обобщенный показатель эффективности кодирования (1) и (2) позволяет объективно сравнивать произвольные кодеры, отличающиеся по всем параметрам – ошибке передачи, скорости передачи и сложности, если зафиксировать выборку испытательных сигналов.
Искомый минимум Р при вариации назначаемой ошибки передачи может быть найден аналитически, если известны статистические свойства источника и зависимости сложности и скорости передачи от назначаемой ошибки. Известно [10], что обобщенный показатель качества допускает множество решений. Это разнообразие решений в первую очередь связано с взаимообменом скорости передачи и сложности кодера [11].
б) Учет взаимообмена скорости передачи и сложности кодирования. Минимальная сложность, следующая из существования конструктивного итерационного метода [12] построения кода, связана с передачей лишь тех спектральных компонентов, отношение сигнал/шум в которых превышает порог. Такая зависимость аналогична зависимости эпсилонэнтропии от спектрального отношения сигнал/ шум. Это позволяет формализовать интуитивные представления о взаимосвязи скорости пе-
редачи, сложности и ошибки передачи. По аналогии с эпсилон-энтропией с задержкой можно ввести понятие об эпсилон-энтропии при ограничении сложности [8].
Опираясь на экспериментальные исследования по взаимообмену скорости передачи и сложности кодирования [8, 12] можно считать, что, так же, как и в формуле вероятности ошибки для дискретного канала с аддитивным белым гауссовским шумом и с неограниченной полосой частот, требуемое предельное количество информации R и сложность W оказывают одинаковое влияние на ошибку передачи. Такое положение при любом способе вычисления эпсилон-энтропии можно записать аналитически в виде, объединяющем эпсилон-энтропию с ограничением сложности Нw и сложности W кодирования в виде функционала, восходящего к гармоническому среднему [8]
H = Нw W/(Нw + W).
(3)
Этот предел достигается лишь при условии использования разложения Карунена–Лоэва и стремлении к бесконечности доступной сложности W описания базисных функций и операций вычисления соответствующих скалярных произведений.
Начальный этап проектирования кодера источника на основе выражений (2) и (3) иллюстрируется рис. 2, где показана взаимосвязь трех важнейших величин: ошибки передачи, скорости передачи и сложности (–R–W). Из него видно, что при одной и той же ошибке передачи 1 переход от способа кодирования Z1 к способу кодирования Z2 ценой перехода от сложности W1 к большей сложности W2 обеспечивает лучшее приближение к эпсилон-
R
2 1 H H
H =
HHиW Hw + W
W
Рис. 2. Взаимообмен скорости передачи и сложности кодера. 1 – запретная область, 2 – область реализуемых кодов.
“Оптический журнал”, 79, 11, 2012
79
H1
W H1 W2
R H
Z1 Z2 W
R1 R2 1
max
Рис. 3. Взаимосвязь ошибки кодирования, скорости передачи и сложности кодера.
энтропии: R2 < R1. Уменьшение назначаемой ошибки ведет к увеличению эпсилон-энтропии и сдвигу границы реализуемых кодов на рис. 2 вправо и вверх, на рис. 3 влево и вверх.
Важной иллюстрацией взаимообмена сложности кодера источника и приближения к эпсилон-энтропии является метод создания библиотек базисов для кодирования сигналов с большой априорной неопределенностью. Для достижения максимального сжатия кодер существенно усложняется введением множества устройств хранения информации о различных совокупностях базисных функций и устройства выбора из них наиболее эффективных. Эта же тенденция существенного увеличения сложности для относительно небольшого увеличения сжатия видеоинформации наблюдается и при переходе от стандарта MPEG-2 к стандарту MPEG-4. Вместе с тем сложность различных кодеров при сопоставимых коэффициентах сжатия может существенно отличаться. Например, при кодировании динамических сюжетов использование адаптивного трехмерного дискретного косинусного преобразования (ДКП-3D) позволяет на несколько порядков сократить сложность кодера источника по сравнению с кодером MPEG-4 [13]. Это обусловлено, во-первых, тем, что ДКП является асимптотически оптимальным (при больших размерах фрагментов) разложением стационарного сигнала с экспоненциальной автокорреляционной функцией, хорошо аппроксимирующей реальные изображения. Во-вторых, эти два вида кодеров оптимальны для различных характеристик изменения сюжета во времени: MPEG-4 ориентирован на слежение за объек-
тами, а ДКП-3D выделяет любые изменения в сюжете.
Выбор того или иного способа кодирования непрерывного источника означает выбор конкретного соотношения коэффициентов с1 и с2 в обобщенном показателе эффективности (1), а выбор назначаемой ошибки означает выбор отношения коэффициента с0 при потере полезной информации к коэффициентам с1 и с2. Учет взаимообмена скорости передачи информации и сложности кодера, формализуемый формулой (3), позволяет найти минимум в критерии (1), который достигается при оптимальных значениях скорости и сложности: 0 = = минc0/[c0 – (c11/2 + c12/2)2].
в) Процедура распределения площади кристалла видеосистем между фотоприемником и вычислителем. Задача распределения площади кристалла между фотоприемной и вычислительной подсистемами имеет место и при создании измерительных систем и при создании систем передачи изображений. Оптимизация распределения площади кристалла между фотоприемной частью кодера источника и собственно цифровым кодером может быть осуществлена по максимуму функционала, включающего взвешенную сумму полезной информации и взятой с обратным знаком переданной кодовой информации с учетом обменного соотношения (3).
В данной подзадаче вектор концепции видеосистемы на кристалле включает не только совокупность весовых коэффициентов {с0, с1} при варьируемых значениях скорости создания информации и скорости ее передачи, но и не варьируемые ограничения:
общей площади кристалла S, распределяемой между площадью Sф фотоприемной секции и площадью Sw вычислительной секции;
площади sт вентиля вычислительной подсистемы, определяемой нормой точности изготовления СБИС
требуемого (назначаемого) динамического диапазона изменения сигнала пиксела, равного отношению максимального числа электронов Q в пикселе к минимально различимому числу электронов q; динамический диапазон обычно определяют не только как отношение этих чисел, но и как двоичный логарифм этого отношения, имеющий смысл числа разрядов АЦП, m = log2Q/q. Значение динамического диапазона, требуемого от видеосистемы на кристалле, зависит от ее назначения и возможного диапазона изменений освещенности: в массовых
80 “Оптический журнал”, 79, 11, 2012
приборах он требует разрядности m = 8–12, в специальных приложениях он требует разрядности m = 12–18.
Можно показать [6], что для самой распространенной модели случайного процесса – марковского процесса, характеризуемого экспоненциальной автокорреляционной функцией, оптимальная площадь фотоприемной секции будет равна
SФ = S/[1 + m(m – )/2m] {1 – [c0/c1 + (2mc0c1 – 1)/m(m – )]},
где = 1/2logr, r – радиус корреляции изображений.
Полученная зависимость оптимального соотношения площадей фотоприемной и вычислительной подсистем в рамках одной ВСнК показывает, что распределение площади целиком определяется вектором концепции ВСнК. При этом требуемая разрядность АЦП и радиус корреляции сигнала изображения влияет на распределение площади значительно слабее, чем отношение весовых коэффициентов с0 и с1 при количестве и качестве переданной видеоинформации.
Концепция параллельного ввода изображений в процессор ВСнК
В современных цифровых фотоаппаратах время переноса изображения из фотоприемной матрицы во флэш-ЗУ не является критическим и концепция единственного потока данных сохраняется. Но в видеосистемах реального времени, в частности в бортовых системах, работающих в условиях большой нестабильности положения визирной оси и существенного ограничения на мощность передатчика, требуется проведение большого количества вычислений по коррекции и сжатию изображений за весьма малые промежутки времени.
Системный подход требует отказа от старой концепции единственного потока данных между фотоприемником и вычислителем и переходу к новой концепции распараллеливания потоков видеоинформации не только внутри вычислителя, но и на его входе (рис. 4). Многие специалисты в области создания матричных фотоприемников выдвигали сомнение в целесообразности объединения на одном кристалле фотоприемного массива и процессора обработки изображений из-за опасности перегрева кристалла. Одним из путей преодоления
этой опасности является снижение рабочих частот считывания и обработки изображения. Это может быть достигнуто при существенном распараллеливании не только вычислений, но и ввода видеоинформации в процессор. Идея, развиваемая российскими [6] и американскими исследователями [4], нуждается в широкой пропаганде и внедрении в системы прикладной видеоинформатики.
Множественные потоки данных широко применяются в вычислительной технике и используются при построении моделей, структурных схем и алгоритмов кодирования изображений. Подход к распараллеливанию ввода видеоинформации в вычислительную подсистему ВСнК должен основываться на максимизации количества и качества видеоинформации, концептуально близком рассмотренному в процедуре в) распределения площади ВСнК между фотоприемником и вычислителем. Отличие состоит в том, что оптимизация структуры ВСнК нацелена на увеличение быстродействия (не учитываемое в рамках функционала (1)) и должна осуществляться с учетом какого-либо согласования структуры вычислителя с варьируемым числом каналов связи фотоприемного массива с вычислителем. Например, если будет организован множественный поток данных из фотоприемного массива так, что параллельно считываются n соседних пикселов (например, при 8 – типичном значении
ВСнК Мультиплексор адресов столбцов
Синхронизатор
n каналов по m разрядов
Матричный фотоприемный массив
Nn Аналоговых каналов
Nn m-разрядных АЦП
n каналов по m разрядов
n каналов по m разрядов
Мультиплексор
адресов строк
n каналов по m разрядов
Процессор сжатия данных
Процессор сжатия данных
Всего N процессо-
ров
Процессор сжатия данных
Процессор сжатия данных
Контроллер
Выход сжатого видео
Рис. 4. Функциональная схема распараллеливания считывания и вычислений в видеосистеме на кристалле с кодированием источника.
“Оптический журнал”, 79, 11, 2012
81
для формировании фрагментов при дискретном косинусном преобразовании изображений), то такой вид параллельности считывания должен быть ориентирован на структуру вычислителя с одним процессором без буферного ЗУ, но работающего при той же скорости, что и вычислитель при единственном потоке видеоинформации. Если будет организован множественный поток данных так, что параллельно считываются N разнесенных пикселов (например, равном отношению числа пикселов в строке к числу пикселов в кодируемом фрагменте), то такой вид параллельности считывания должен быть ориентирован на структуру вычислителя с N процессорами, снабженными буферными ЗУ, но работающими со скоростью в N раз меньшей.
Следует различать возможные цели распараллеливания считывания:
борьба с шумами считывания путем снижения частоты считывания. При этом количество каналов считывания (количество АЦП в ВСнК) может достигать числа столбцов в фотоприемной матрице и даже числа пикселов в ней [14]. Вместе с тем такие фотоприемные матрицы содержат лишь цифровые мультиплексоры и сопрягаются с внешним кодером источника через умеренное число каналов связи. Типовое значение числа каналов 10, что при 10–12 разрядном коде становится предельным значением для реализации системы в виде набора СБИС;
борьба за повышение кадровой частоты ВСнК. При этом количество каналов считывания меньше, чем при требовании снижения шумов считывания, но может достигать числа столбцов в фотоприемной матрице. Целесообразность использования множественных потоков данных в ВСнК может быть проиллюстрирована на примере специальных ВСнК для стабилизации изображений [7, 5].
Видеосистемы на кристалле позволяют также реализовать известный в компьютерной технике принцип множественного потока данных. В частности, для скоростной стабилизации изображений формируются дополнительные фотоприемные массивы для измерения смещения изображения с частотой, существенно превышающей частоту считывания кадров основного фотоприемного массива [5].
Заключение
Рассмотренные в статье вопросы приобретают большую значимость и формируются, объединяясь вокруг стержневой идеи системного подхода, в новую процедуру начального этапа оптимального проектирования видеосистем на кристалле, включающего, во-первых, введенную триаду: критерий эффективности видеосистем на кристалле; понятие эпсилон-энтропии с ограничением сложности и функционал, связывающий скорость передачи и сложность; во-вторых, оптимальное распределение площади кристалла между фотоприемной и вычислительной подсистемами с учетом формализованной взаимосвязи скорости передачи и сложности кодера и принцип распараллеливания ввода изображения из фотоприемного массива в кодер-вычислитель.
Данная модификация маршрута проектирования видеосистем на кристалле позволяет рационально объединить эвристические приемы, обобщающие опыт, интуицию и здравый смысл, с математическими методами моделирования, анализа и синтеза. Эти методы ориентированы на формализацию вектора концепции системы, который помогает в принятии решений на начальном этапе проектирования. В результате модифицированный маршрут проектирования должен повышать выход годных изделий и сократить сроки проектирования.
*****
ЛИТЕРАТУРА
1. Немудров В.Г., Мартин Г. Системы на кристалле. Проблемы проектирования и развития. М.: Техносфера, 2004. 216 с.
2. Моисеев Н.Н. Математические задачи системного анализа. М.: Наука, 1981. 488 с. 3. Аблогин В.В., Адамов Д.Ю., Зимогляд В.А., Кокин С.А., Макаров С.В., Перминов В.Н., Стешенко В.Б. САПР
АВОКАД для проектирования КМОП фотоприемников и аналого-цифровых интегральных схем // Вопросы радиоэлектроники. Серия “Техника телевидения”. 2010. № 2. С. 83–92.
82 “Оптический журнал”, 79, 11, 2012
4. Reichel J., Ziliani F. Method of selecting among N “spatial video codes” the optimum codes for a same input signal. International Application Number: PCT/IB2003/005852. Priority Data: 17.12.2002.
5. Цыцулин А.К., Фахми Ш.С., Манцветов А.А., Малашин О.Д., Зубакин И А. Стабилизация изображений на основе измерения их смещения при совместном использовании матричного и двух линейных фотоприемников // Оптический журнал. 2012. Т. 79. № 11. С. 67–75.
6. Фахми Ш.С. Модели, методы и алгоритмы кодирования изображений в системах на кристалле. Автореф. докт. дис. СПб.: СПбГЭТУ “ЛЭТИ”, 2011. 50 с.
7. Цыцулин А.К., Фахми Ш.С. Видеосистемы на кристалле: новые архитектурные решения в задачах обработки видеоинформации // Датчики и системы. 2011. № 4. С. 58–62.
8. Зубакин И.А., Цыцулин А.К., Фахми Ш.С. Начальный этап проектирования кодера источника непрерывного сигнала // Вопросы радиоэлектроники. Серия “Техника телевидения”. 2010. № 2. С. 1732.
9. Хромов Л.И., Цыцулин А.К. Основания космической видеоинформатики // Вопросы радиоэлектроники. Серия “Техника телевидения”. 2011. № 2. С. 631.
10. Гуткин Л.С. Оптимизация радиоэлектронных устройств. М.: Сов. радио, 1975. 366 с.
11. Ричардсон Я. Видеокодирование. Н.264 в MPEG-4 – стандарты нового поколения. М.: Техносфера, 2005. 368 с.
12. Цыцулин А.К., Фахми Ш.С. Программа для ЭВМ “Итерационный спектральный кодер изображений” // Свидетельство № 2011614671. Зарегистрировано в гос. реестре изобретений РФ 10.06.2011, RU ОБПТ № 3 (76) ч. II, с. 474, 2011 г.
13. Умбиталиев А.А., Цыцулин А.К., Шипилов Н.Н., Ибатуллин С.М., Ибатулин В. Ф., Фахми Ш. С. Способ кодирования и декодирования видеоинформации на основе трехмерного дискретного косинусного преобразования // Патент РФ № 2375838. 2009.
14. Березин В.В., Умбиталиев А.А., Фахми Ш.С., Цыцулин А.К., Шипилов Н.Н. Твердотельная революция в телевидении. М.: Радио и связь, 2006. 312 с.
“Оптический журнал”, 79, 11, 2012
83
© 2012 г. В. В. Березин*, доктор техн. наук; Ш. С. Фахми**, доктор техн. наук; А. К. Цыцулин**, доктор техн. наук. ** ФГУП НИИ Прикладных проблем, Санкт-Петербург
** ОАО “Научно-исследовательский институт телевидения”, Санкт-Петербург
** Е-mail: atsytsulin@mail.ru
Предложена методика начального этапа проектирования видеосистем, включающая структурный и параметрический синтез объединенных на одном кристалле устройств фотоприема и кодирования. Обоснован подход к синтезу видеосистем на кристалле, использующий показатель эффективности, учитывающий взаимосвязь сложности и скорости передачи. Предложен метод распределения площади кристалла между фотоприемником и вычислителем. Рассмотрена концепция параллельного ввода видеоинформации из фотоприемника в вычислитель.
Ключевые слова: проектирование видеосистем на кристалле, взаимообмен сложности и скорости передачи, распределение площади кристалла.
Коды OCIS 100.2000, 150.4065, 150.6044
Поступила в редакцию 18.06.2012
Введение
Тенденция развития видеоинформационных систем получила дополнительный импульс благодаря освоению новых технологий и современных систем автоматического проектирования (САПР) на их основе, в первую очередь, технологии “система на кристалле” с проектными нормами 90 нм и менее [1].
Создание сложных видеоинформационных систем и внедрение новых методов кодирования сопровождается значительными изменениями в методах проектирования, изменениями требований к квалификации проектировщика. При этом важнейшей проблемой системных исследований становится совершенствование маршрута проектирования с целью достижения оптимальных параметров систем обработки видеоинформации. В роли системного критерия оптимальности видеоинформационных систем должна выступать совокупность (взвешенная сумма) информационных показателей (точности, скорости передачи, сложности), позволяющая на ранних стадиях проектирования решить проблему формирования требований к проектируемой системе в целом [2]. Для решения данной проблемы учитываются три принципиальных особенности видеосистем на кристалле (ВСнК):
а) кроме скорости передачи и точности в ВСнК необходимо учитывать сложность обработки (число операций, необходимых для кодирования изображений);
б) проектирование ВСнК – неразрывный процесс, не допускающий декомпозиции системы на подсистемы, в ходе которого фотоприемник и вычислитель оптимизируются совместно;
в) при создании быстродействующих ВСнК следует опираться на модель с множественным потоком данных и включать в принятый маршрут проектирования определение степени параллелизма передачи сигналов от массива фотоприемных элементов к кодеру-вычислителю.
Системный уровень проектирования
Проектирование видеосистем на кристалле предполагает единство вопросов фотоэлектрического преобразования, микроэлектроники и аппаратно-программного обеспечения и имеет свою специфику, выражающуюся в создании специализированных САПР [3]. Упрощенная типовая последовательность процедур при проектировании сверхбольших интегральных схем (СБИС) класса “система на кристалле” (СнК) включает следующие этапы [1]: разработка архитектуры системы, функциональ-
76 “Оптический журнал”, 79, 11, 2012
ное, логическое и топологическое проектирование.
Очевидно, что при нисходящем проектировании в большинстве предшествующих процедур приходится задаваться ориентировочными данными, истинные значения которых становятся известными только после выполнения последующих процедур. Это обусловливает итерационный характер процесса проектирования с возвратами от последующих этапов к предыдущим, что существенно увеличивает затраты на проектирование [2]. Поэтому усилия разработчиков системных вопросов создания САПР направлены на поиск методов сокращения числа итераций в цикле проектирования СБИС. Такой поиск привел к положительным результатам в следующих двух направлениях [1].
Во-первых, это технологии так называемого “физического” проектирования, в которых уже на ранних этапах проектирования (архитектурном и регистровом) стараются учесть физические параметры задержки, рассеиваемые мощности и др. Во-вторых, это разумное сочетание элементов нисходящего и восходящего проектирования, при котором на ранних этапах проектирования функции ориентировочно распределяются между блоками, что позволяет проектировать эти блоки независимо друг от друга. И если принятые ранее значения параметров блоков оказываются достигнутыми, то дополнительные итерации не требуются.
Целесообразность внедрения ВСнК в практику приборостроения во многом связана с допустимостью объединения на одном кристалле фотоприемного массива и процессора обработки изображений из-за опасности перегрева кристалла, весьма опасного в силу роста темновых сигналов фотоприемного массива. При этом, чем сложнее обработка в вычислительной подсистеме, тем больше опасность перегрева ВСнК. Поэтому особое внимание при структурном и параметрическом синтезе ВСнК уделяется вычислительной сложности, например, сжатию изображения. Вычислительная сложность большинства стандартных алгоритмов сжатия по-прежнему высока. В то же время разрешение и частота кадров фотоприемных матриц продолжают расти, и время обработки становится “узким местом” у высокоскоростных видеоинформационных систем. В типовых решениях изображение сначала регистрируется, затем сохраняется и лишь только потом сжимается. Хранение значений от-
счетов изображения с большим динамическим диапазоном и высоким разрешением приводит к очень жестким требованиям к устройству памяти. Например, типичные приборы с зарядовой связью имеют одинаковые по площади кристалла фотоприемные секции и секции хранения, что является весьма нерациональным. КМОП технология видеосистем на кристалле дает возможность изменения такой парадигмы проектирования путем параллельной и распределенной обработки видеоинформации, в том числе при сжатии. Эта идея была одновременно осознана отечественными и зарубежными специалистами. Американскими исследователями для вещательных систем предложено фазу фотоприема дополнить сжатием на этапе захвата изображения до начала фазы хранения [4]. Этот подход смещает парадигму проектирования видеосистем на кристалле от обычной: фотоприемхранениесжатие, на вновь предлагаемую: фотоприемсжатиехранение.
Потенциальные преимущества новой парадигмы проектирования: уменьшение площади кристалла кремния, необходимого для организации хранения цифрового массива пикселей, уменьшение требований к устройству памяти, интеграция в кристалл кодера источника и потенциально кодера канала. Отечественными специалистами подобные подходы предложены в прикладных телевизионно-компьютерных решениях, например для стабилизации изображений [5, 6]. Несмотря на различие в областях применения можно констатировать что:
1. Концепция параллельного накопления, давно известная в телевидении, сочетается в КМОП ВСнК с концепцией параллельной обработки (давно известной в вычислительной технике) с использованием относительно новой идеи – параллельных каналов считывания.
2. Принцип последовательной передачи пикселов (телевизионной развертки) модифицируется в последовательную передачу либо спектральных составляющих, вычисляемых пофрагментно для всего кадра изображения, либо результатов классификации изображений (распознавание образов).
Таким образом, уменьшение проектных норм и увеличение сложности ВСнК предъявляет новые требования к методологии проектирования, и все более возрастает необходимость в концептуальном совершенствовании маршрута проектирования на начальном (до системного) уровне (рис. 1) [7, 8].
“Оптический журнал”, 79, 11, 2012
77
Синтез на основе обобщенного информационного показателя качества системы
и взаимообмена сложности и скорости передачи
Определение соотношения площадей фотоприемного массива и вычислителя
Определение степени распараллеливания ввода изображений из фотоприемного массива в процессор видеосистемы на кристалле
Разработка ТЗ с учетом вектора концепции
Начальный этап проектирования ВСнК
Определение параметров алгоритмов с учетом вектора концепций
Системное проектирование ВСнК
Вертификация ВСнК
Нет
Проверка правильности функционирования
Да
Кристальный уровень проектирования ВСнК
Рис. 1. Начальный этап проектирования видеосистем на кристалле.
Уровень системного проектирования
Начальный этап создания ВСнК включает следующие проектные процедуры:
а) Синтез на основе обобщенного показателя эффективности. Для обеспечения общего информационного подхода к решению задачи оптимизации системы необходимо все частные показатели качества привести к единому виду, имеющему размерность информации (бит). В частности, учет снижения отношения сигнал/помеха следует характеризовать потерей полезной информации I, вычисляемой как логарифм отношения фактической ошиб-
ки к минимально возможной, лимитируемой
фотонным шумом. Следуя методике вектор-
ного синтеза системы связи [8], целесообразно
сформировать обобщенный показатель эффективности Р, включающий “вектор концепции системы” {ci} и совокупность {Pi} частных информационных показателей качества системы связи – потери полезной информации I, скорости передачи R, сложности Wк кодера и сложности Wд декодера. Так как все частные информационные показатели качества системы связи связаны с ошибкой передачи , назнача-
78 “Оптический журнал”, 79, 11, 2012
емой проектировщиком исходя из требуемого качества видеоинформации (определяемого компромиссом между потерей полезной информации и передачей шумовой информации [9]), то ниже они будут обозначаться как Pi()
Р = c0I() + c1R() + + c2Wк() + c3Wд() min,
(1)
где c1, c2 и c3 – весовые коэффициенты, составляющие вектор концепции системы.
Для систем телевизионного вещания характерна ситуация, когда затраты сложности на один кодер пренебрежимо малы по сравнению с совокупными затратами сложности на миллионы декодеров в телевизорах. Для бортовых систем характерна обратная ситуация: цена космического аппарата с учетом его вывода на орбиту много больше цены наземного декодера. Для выявления основных свойств обобщенного показателя качества рассмотрим его частный случай при с3 = 0, характерный для бортовых видеоинформационных систем, акцентирующих внимание на сложности кодера, включаемого в состав ВСнК
Р = c0I() + c1R() + c2Wк() min. (2)
Обобщенный показатель эффективности кодирования (1) и (2) позволяет объективно сравнивать произвольные кодеры, отличающиеся по всем параметрам – ошибке передачи, скорости передачи и сложности, если зафиксировать выборку испытательных сигналов.
Искомый минимум Р при вариации назначаемой ошибки передачи может быть найден аналитически, если известны статистические свойства источника и зависимости сложности и скорости передачи от назначаемой ошибки. Известно [10], что обобщенный показатель качества допускает множество решений. Это разнообразие решений в первую очередь связано с взаимообменом скорости передачи и сложности кодера [11].
б) Учет взаимообмена скорости передачи и сложности кодирования. Минимальная сложность, следующая из существования конструктивного итерационного метода [12] построения кода, связана с передачей лишь тех спектральных компонентов, отношение сигнал/шум в которых превышает порог. Такая зависимость аналогична зависимости эпсилонэнтропии от спектрального отношения сигнал/ шум. Это позволяет формализовать интуитивные представления о взаимосвязи скорости пе-
редачи, сложности и ошибки передачи. По аналогии с эпсилон-энтропией с задержкой можно ввести понятие об эпсилон-энтропии при ограничении сложности [8].
Опираясь на экспериментальные исследования по взаимообмену скорости передачи и сложности кодирования [8, 12] можно считать, что, так же, как и в формуле вероятности ошибки для дискретного канала с аддитивным белым гауссовским шумом и с неограниченной полосой частот, требуемое предельное количество информации R и сложность W оказывают одинаковое влияние на ошибку передачи. Такое положение при любом способе вычисления эпсилон-энтропии можно записать аналитически в виде, объединяющем эпсилон-энтропию с ограничением сложности Нw и сложности W кодирования в виде функционала, восходящего к гармоническому среднему [8]
H = Нw W/(Нw + W).
(3)
Этот предел достигается лишь при условии использования разложения Карунена–Лоэва и стремлении к бесконечности доступной сложности W описания базисных функций и операций вычисления соответствующих скалярных произведений.
Начальный этап проектирования кодера источника на основе выражений (2) и (3) иллюстрируется рис. 2, где показана взаимосвязь трех важнейших величин: ошибки передачи, скорости передачи и сложности (–R–W). Из него видно, что при одной и той же ошибке передачи 1 переход от способа кодирования Z1 к способу кодирования Z2 ценой перехода от сложности W1 к большей сложности W2 обеспечивает лучшее приближение к эпсилон-
R
2 1 H H
H =
HHиW Hw + W
W
Рис. 2. Взаимообмен скорости передачи и сложности кодера. 1 – запретная область, 2 – область реализуемых кодов.
“Оптический журнал”, 79, 11, 2012
79
H1
W H1 W2
R H
Z1 Z2 W
R1 R2 1
max
Рис. 3. Взаимосвязь ошибки кодирования, скорости передачи и сложности кодера.
энтропии: R2 < R1. Уменьшение назначаемой ошибки ведет к увеличению эпсилон-энтропии и сдвигу границы реализуемых кодов на рис. 2 вправо и вверх, на рис. 3 влево и вверх.
Важной иллюстрацией взаимообмена сложности кодера источника и приближения к эпсилон-энтропии является метод создания библиотек базисов для кодирования сигналов с большой априорной неопределенностью. Для достижения максимального сжатия кодер существенно усложняется введением множества устройств хранения информации о различных совокупностях базисных функций и устройства выбора из них наиболее эффективных. Эта же тенденция существенного увеличения сложности для относительно небольшого увеличения сжатия видеоинформации наблюдается и при переходе от стандарта MPEG-2 к стандарту MPEG-4. Вместе с тем сложность различных кодеров при сопоставимых коэффициентах сжатия может существенно отличаться. Например, при кодировании динамических сюжетов использование адаптивного трехмерного дискретного косинусного преобразования (ДКП-3D) позволяет на несколько порядков сократить сложность кодера источника по сравнению с кодером MPEG-4 [13]. Это обусловлено, во-первых, тем, что ДКП является асимптотически оптимальным (при больших размерах фрагментов) разложением стационарного сигнала с экспоненциальной автокорреляционной функцией, хорошо аппроксимирующей реальные изображения. Во-вторых, эти два вида кодеров оптимальны для различных характеристик изменения сюжета во времени: MPEG-4 ориентирован на слежение за объек-
тами, а ДКП-3D выделяет любые изменения в сюжете.
Выбор того или иного способа кодирования непрерывного источника означает выбор конкретного соотношения коэффициентов с1 и с2 в обобщенном показателе эффективности (1), а выбор назначаемой ошибки означает выбор отношения коэффициента с0 при потере полезной информации к коэффициентам с1 и с2. Учет взаимообмена скорости передачи информации и сложности кодера, формализуемый формулой (3), позволяет найти минимум в критерии (1), который достигается при оптимальных значениях скорости и сложности: 0 = = минc0/[c0 – (c11/2 + c12/2)2].
в) Процедура распределения площади кристалла видеосистем между фотоприемником и вычислителем. Задача распределения площади кристалла между фотоприемной и вычислительной подсистемами имеет место и при создании измерительных систем и при создании систем передачи изображений. Оптимизация распределения площади кристалла между фотоприемной частью кодера источника и собственно цифровым кодером может быть осуществлена по максимуму функционала, включающего взвешенную сумму полезной информации и взятой с обратным знаком переданной кодовой информации с учетом обменного соотношения (3).
В данной подзадаче вектор концепции видеосистемы на кристалле включает не только совокупность весовых коэффициентов {с0, с1} при варьируемых значениях скорости создания информации и скорости ее передачи, но и не варьируемые ограничения:
общей площади кристалла S, распределяемой между площадью Sф фотоприемной секции и площадью Sw вычислительной секции;
площади sт вентиля вычислительной подсистемы, определяемой нормой точности изготовления СБИС
требуемого (назначаемого) динамического диапазона изменения сигнала пиксела, равного отношению максимального числа электронов Q в пикселе к минимально различимому числу электронов q; динамический диапазон обычно определяют не только как отношение этих чисел, но и как двоичный логарифм этого отношения, имеющий смысл числа разрядов АЦП, m = log2Q/q. Значение динамического диапазона, требуемого от видеосистемы на кристалле, зависит от ее назначения и возможного диапазона изменений освещенности: в массовых
80 “Оптический журнал”, 79, 11, 2012
приборах он требует разрядности m = 8–12, в специальных приложениях он требует разрядности m = 12–18.
Можно показать [6], что для самой распространенной модели случайного процесса – марковского процесса, характеризуемого экспоненциальной автокорреляционной функцией, оптимальная площадь фотоприемной секции будет равна
SФ = S/[1 + m(m – )/2m] {1 – [c0/c1 + (2mc0c1 – 1)/m(m – )]},
где = 1/2logr, r – радиус корреляции изображений.
Полученная зависимость оптимального соотношения площадей фотоприемной и вычислительной подсистем в рамках одной ВСнК показывает, что распределение площади целиком определяется вектором концепции ВСнК. При этом требуемая разрядность АЦП и радиус корреляции сигнала изображения влияет на распределение площади значительно слабее, чем отношение весовых коэффициентов с0 и с1 при количестве и качестве переданной видеоинформации.
Концепция параллельного ввода изображений в процессор ВСнК
В современных цифровых фотоаппаратах время переноса изображения из фотоприемной матрицы во флэш-ЗУ не является критическим и концепция единственного потока данных сохраняется. Но в видеосистемах реального времени, в частности в бортовых системах, работающих в условиях большой нестабильности положения визирной оси и существенного ограничения на мощность передатчика, требуется проведение большого количества вычислений по коррекции и сжатию изображений за весьма малые промежутки времени.
Системный подход требует отказа от старой концепции единственного потока данных между фотоприемником и вычислителем и переходу к новой концепции распараллеливания потоков видеоинформации не только внутри вычислителя, но и на его входе (рис. 4). Многие специалисты в области создания матричных фотоприемников выдвигали сомнение в целесообразности объединения на одном кристалле фотоприемного массива и процессора обработки изображений из-за опасности перегрева кристалла. Одним из путей преодоления
этой опасности является снижение рабочих частот считывания и обработки изображения. Это может быть достигнуто при существенном распараллеливании не только вычислений, но и ввода видеоинформации в процессор. Идея, развиваемая российскими [6] и американскими исследователями [4], нуждается в широкой пропаганде и внедрении в системы прикладной видеоинформатики.
Множественные потоки данных широко применяются в вычислительной технике и используются при построении моделей, структурных схем и алгоритмов кодирования изображений. Подход к распараллеливанию ввода видеоинформации в вычислительную подсистему ВСнК должен основываться на максимизации количества и качества видеоинформации, концептуально близком рассмотренному в процедуре в) распределения площади ВСнК между фотоприемником и вычислителем. Отличие состоит в том, что оптимизация структуры ВСнК нацелена на увеличение быстродействия (не учитываемое в рамках функционала (1)) и должна осуществляться с учетом какого-либо согласования структуры вычислителя с варьируемым числом каналов связи фотоприемного массива с вычислителем. Например, если будет организован множественный поток данных из фотоприемного массива так, что параллельно считываются n соседних пикселов (например, при 8 – типичном значении
ВСнК Мультиплексор адресов столбцов
Синхронизатор
n каналов по m разрядов
Матричный фотоприемный массив
Nn Аналоговых каналов
Nn m-разрядных АЦП
n каналов по m разрядов
n каналов по m разрядов
Мультиплексор
адресов строк
n каналов по m разрядов
Процессор сжатия данных
Процессор сжатия данных
Всего N процессо-
ров
Процессор сжатия данных
Процессор сжатия данных
Контроллер
Выход сжатого видео
Рис. 4. Функциональная схема распараллеливания считывания и вычислений в видеосистеме на кристалле с кодированием источника.
“Оптический журнал”, 79, 11, 2012
81
для формировании фрагментов при дискретном косинусном преобразовании изображений), то такой вид параллельности считывания должен быть ориентирован на структуру вычислителя с одним процессором без буферного ЗУ, но работающего при той же скорости, что и вычислитель при единственном потоке видеоинформации. Если будет организован множественный поток данных так, что параллельно считываются N разнесенных пикселов (например, равном отношению числа пикселов в строке к числу пикселов в кодируемом фрагменте), то такой вид параллельности считывания должен быть ориентирован на структуру вычислителя с N процессорами, снабженными буферными ЗУ, но работающими со скоростью в N раз меньшей.
Следует различать возможные цели распараллеливания считывания:
борьба с шумами считывания путем снижения частоты считывания. При этом количество каналов считывания (количество АЦП в ВСнК) может достигать числа столбцов в фотоприемной матрице и даже числа пикселов в ней [14]. Вместе с тем такие фотоприемные матрицы содержат лишь цифровые мультиплексоры и сопрягаются с внешним кодером источника через умеренное число каналов связи. Типовое значение числа каналов 10, что при 10–12 разрядном коде становится предельным значением для реализации системы в виде набора СБИС;
борьба за повышение кадровой частоты ВСнК. При этом количество каналов считывания меньше, чем при требовании снижения шумов считывания, но может достигать числа столбцов в фотоприемной матрице. Целесообразность использования множественных потоков данных в ВСнК может быть проиллюстрирована на примере специальных ВСнК для стабилизации изображений [7, 5].
Видеосистемы на кристалле позволяют также реализовать известный в компьютерной технике принцип множественного потока данных. В частности, для скоростной стабилизации изображений формируются дополнительные фотоприемные массивы для измерения смещения изображения с частотой, существенно превышающей частоту считывания кадров основного фотоприемного массива [5].
Заключение
Рассмотренные в статье вопросы приобретают большую значимость и формируются, объединяясь вокруг стержневой идеи системного подхода, в новую процедуру начального этапа оптимального проектирования видеосистем на кристалле, включающего, во-первых, введенную триаду: критерий эффективности видеосистем на кристалле; понятие эпсилон-энтропии с ограничением сложности и функционал, связывающий скорость передачи и сложность; во-вторых, оптимальное распределение площади кристалла между фотоприемной и вычислительной подсистемами с учетом формализованной взаимосвязи скорости передачи и сложности кодера и принцип распараллеливания ввода изображения из фотоприемного массива в кодер-вычислитель.
Данная модификация маршрута проектирования видеосистем на кристалле позволяет рационально объединить эвристические приемы, обобщающие опыт, интуицию и здравый смысл, с математическими методами моделирования, анализа и синтеза. Эти методы ориентированы на формализацию вектора концепции системы, который помогает в принятии решений на начальном этапе проектирования. В результате модифицированный маршрут проектирования должен повышать выход годных изделий и сократить сроки проектирования.
*****
ЛИТЕРАТУРА
1. Немудров В.Г., Мартин Г. Системы на кристалле. Проблемы проектирования и развития. М.: Техносфера, 2004. 216 с.
2. Моисеев Н.Н. Математические задачи системного анализа. М.: Наука, 1981. 488 с. 3. Аблогин В.В., Адамов Д.Ю., Зимогляд В.А., Кокин С.А., Макаров С.В., Перминов В.Н., Стешенко В.Б. САПР
АВОКАД для проектирования КМОП фотоприемников и аналого-цифровых интегральных схем // Вопросы радиоэлектроники. Серия “Техника телевидения”. 2010. № 2. С. 83–92.
82 “Оптический журнал”, 79, 11, 2012
4. Reichel J., Ziliani F. Method of selecting among N “spatial video codes” the optimum codes for a same input signal. International Application Number: PCT/IB2003/005852. Priority Data: 17.12.2002.
5. Цыцулин А.К., Фахми Ш.С., Манцветов А.А., Малашин О.Д., Зубакин И А. Стабилизация изображений на основе измерения их смещения при совместном использовании матричного и двух линейных фотоприемников // Оптический журнал. 2012. Т. 79. № 11. С. 67–75.
6. Фахми Ш.С. Модели, методы и алгоритмы кодирования изображений в системах на кристалле. Автореф. докт. дис. СПб.: СПбГЭТУ “ЛЭТИ”, 2011. 50 с.
7. Цыцулин А.К., Фахми Ш.С. Видеосистемы на кристалле: новые архитектурные решения в задачах обработки видеоинформации // Датчики и системы. 2011. № 4. С. 58–62.
8. Зубакин И.А., Цыцулин А.К., Фахми Ш.С. Начальный этап проектирования кодера источника непрерывного сигнала // Вопросы радиоэлектроники. Серия “Техника телевидения”. 2010. № 2. С. 1732.
9. Хромов Л.И., Цыцулин А.К. Основания космической видеоинформатики // Вопросы радиоэлектроники. Серия “Техника телевидения”. 2011. № 2. С. 631.
10. Гуткин Л.С. Оптимизация радиоэлектронных устройств. М.: Сов. радио, 1975. 366 с.
11. Ричардсон Я. Видеокодирование. Н.264 в MPEG-4 – стандарты нового поколения. М.: Техносфера, 2005. 368 с.
12. Цыцулин А.К., Фахми Ш.С. Программа для ЭВМ “Итерационный спектральный кодер изображений” // Свидетельство № 2011614671. Зарегистрировано в гос. реестре изобретений РФ 10.06.2011, RU ОБПТ № 3 (76) ч. II, с. 474, 2011 г.
13. Умбиталиев А.А., Цыцулин А.К., Шипилов Н.Н., Ибатуллин С.М., Ибатулин В. Ф., Фахми Ш. С. Способ кодирования и декодирования видеоинформации на основе трехмерного дискретного косинусного преобразования // Патент РФ № 2375838. 2009.
14. Березин В.В., Умбиталиев А.А., Фахми Ш.С., Цыцулин А.К., Шипилов Н.Н. Твердотельная революция в телевидении. М.: Радио и связь, 2006. 312 с.
“Оптический журнал”, 79, 11, 2012
83