МНОГОФУНКЦИОНАЛЬНЫЙ АКТИВНЫЙ ПРОТЕЗ РУКИ
86 А. С. Боргуль, К. А. Зименко, А. А. Маргун, А. С. Кремлев
УДК 681.51
А. С. БОРГУЛЬ, К. А. ЗИМЕНКО, А. А. МАРГУН, А. С. КРЕМЛЕВ
МНОГОФУНКЦИОНАЛЬНЫЙ АКТИВНЫЙ ПРОТЕЗ РУКИ*
Рассматриваются конструкция, принцип действия и система управления активного протеза руки, имеющего семь степеней свободы. Предложен алгоритм управления, основанный на использовании сигналов электроэнцефалографа, датчиков силового воздействия и акселерометра.
Ключевые слова: управляемый протез, электроэнцефалограмма, компенсация возмущений, человеко-машинный интерфейс.
Введение. Средством реабилитации людей, страдающих от заболеваний и последствий травм опорно-двигательного аппарата, могут служить активные протезы — устройства, повторяющие биомеханику человека для пропорционального увеличения усилий при движениях.
Создание технических средств для восстановления функций руки является сложной и во многом нерешенной задачей вследствие необходимости изготавливать легкие прочные устройства с высоким уровнем миниатюризации отдельных частей, а также реализовать принципы построения систем управления.
Постановка задачи. Целью настоящей статьи является разработка активного протеза руки и интуитивно-понятной системы управления для устройств реабилитации, позволяющей считывать большое количество команд и обладающей дружественным интерфейсом, предназначенным для использования в управляемых протезах, экзоскелетах и других мехатронных восстановительных комплексах.
В настоящей работе предложена модель активного протеза руки, в которой учитываются и компенсируются погрешности положения исполнительного механизма при внешних воздействиях на корпус устройства и человека, включая воздействие исполнительного устройства, реактивный момент которого при пуске воспринимается как внешнее воздействие. Использование предложенной модели повысит точность манипулирования, функциональность устройства возрастет благодаря управлению с учетом внешних силовых воздействий и возможности гибкого управления кистью за счет управления посредством сигналов электроэнцефалографа.
Описание устройства. Многофункциональный активный протез руки, содержащий наплечник, исполнительный механизм, выполненный в виде трехзвенной шарнирно-рычажной цепи с тремя датчиками углов, системы независимого управления исполнительным механизмом ротации искусственной кисти и исполнительным механизмом искусственной кисти, три системы управления связным движением исполнительных механизмов сгибания-разгибания плеча, предплечья и искусственной кисти, каждая из которых содержит микроконтроллер, усилитель мощности и привод, задающий механизм, выполненный в виде плоского трехзвенного кинематического аналога исполнительной цепи, содержащий три датчика управления связным движением. При этом протез снабжен жестким креплением исполнительного устройства и закрепленным на нем блоком коррекции положения звена плеча, содержащим последовательно соединенные акселерометр, блок двойного интегрирования и определитель угла коррекции. Шарнирно-рычажный механизм снабжен девятью датчиками силового воз-
* Исследование выполнено при поддержке министерства образования и науки Российской Федерации, соглашение 14.В37.21.1928 „Применение биотехнической системы управления для реабилитации людей с проблемами опорно-двигательного аппарата“.
ИЗВ. ВУЗОВ. ПРИБОРОСТРОЕНИЕ. 2013. Т. 56, № 4
Многофункциональный активный протез руки
87
действия, на исполнительном устройстве расположен регистратор сигналов электроэнцефалографа, электроды которого присоединены к голове оператора, блок обработки сигналов электроэнцефалографа, соединенный с регистратором и устройством управления независимым исполнительным механизмом ротации кисти и кисти [1]. Принцип действия устройства описывается в работе [2].
Устройство имеет каналы связного и независимого управления движением исполнительных механизмов, а также канал коррекции положения звена плеча.
Каналы связного управления включают следующие цепи составляющих элементов. Датчики углов исполнительного механизма и датчики управления связным движением задающего устройства соединены с системами управления связным движением, которые скреплены с исполнительными механизмами сгибания-разгибания плеча, предплечья и кисти. При этом исполнительный механизм закреплен со стороны шарнира сгибания плеча на жестком
креплении, а задающий прикреплен к наплечнику, развернут на 180° и соединен концевым звеном с поясом. Два датчика силового воздействия располагаются на концах схвата и объединены в блок, четыре — на верхней, нижней и боковых частях кисти, один датчик — на локте, два — на концах изгиба локтевого сустава. Каждый силовой датчик прикреплен к соответствующим системам управления связным и независимым движением.
Каналы независимого управления включают следующие цепи составляющих элементов. Выход регистратора сигнала электроэнцефалографа связан с системами независимого управления, которые, в свою очередь, соединены с исполнительными механизмами ротации искусственной кисти.
Канал коррекции положения звена плеча включает следующий набор элементов. Блок коррекции положения звена плеча закреплен на жестком креплении исполнительного механизма. Он содержит последовательно соединенные акселерометр, блок двойного интегрирования и определитель угла коррекции. Определитель угла коррекции скреплен с микроконтроллером системы управления связным движением сгибания плеча.
Система управления. Для людей с различной степенью повреждения опорно-двигательного аппарата предназначена система интуитивного управления активным протезом верхней конечности с помощью сигналов электроэнцефалографа [3]. Система характеризуется высокой скоростью идентификации нейросигналов и распознавания управляющих команд. Используемый метод частично описан в статьях знаменитого советского физиолога Н. А. Бернштейна [4].
Система управления предполагает использование неинвазивных способов снятия данных. Применение подобного рода устройств регистрации биологической активности человека основано на распознавании психофизических состояний. Сложность управления связана с изменчивостью психофизического состояния оператора. Принцип работы данной системы предполагает получение управляющих команд от оператора с предварительной обработкой сигналов встроенной программой системы регистрации биопотенциалов (обработка проводилась с использованием беспроводной системы регистрации и анализа электроэнцефалограммы (ЭЭГ) человека „Нейробелт“), передачу данных в среду Matlab для дальнейшей обработки и классификации команд. После этого происходит пакетная передача обработанных команд управления на микроконтроллер, который запрограммирован на управление приводами с учетом данных, получаемых с датчиков, либо на работу с программным симулятором в виртуальной среде [5].
Достоинством системы является мобильность, так как используются беспроводные протоколы передачи данных. Система регистрации биопотенциалов „Нейробелт“ связана с компьютером через интерфейс Wi-Fi, а компьютер с микроконтроллером — через интерфейс ZigBee посредством плат-адаптеров.
ИЗВ. ВУЗОВ. ПРИБОРОСТРОЕНИЕ. 2013. Т. 56, № 4
88 А. С. Боргуль, К. А. Зименко, А. А. Маргун, А. С. Кремлев
Таким образом, разработан человеко-машинный интерфейс, позволяющий управлять сложными мехатронными комплексами с большим количеством степеней свободы для решения различных задач. Отличие разработанного человеко-машинного интерфейса от уже существующих состоит в высокой скорости идентификации команд оператора. ЭЭГ оператора снимается с использованием эластичной шапки, к которой подсоединены электроды. Электроды „мокрого“ типа крепятся на голове оператора. Обработанные данные передаются на устройство управления средством реабилитации [6].
Для распознавания движений оператора на основе ЭЭГ использована искусственная нейронная сеть с регуляризируемой функцией издержек. Из различных сетей наилучший результат показал однослойный перцептрон [7].
Прежде чем сигнал электроэнцефалографа поступает на входной слой перцептрона, он проходит предварительную обработку фильтром низких частот для уменьшения влияния шумов. Затем применяется вейвлетное преобразование сигнала. При представлении сигнала на первом уровне декомпозиции получаются аппроксимирующая и детализирующая составляющие, в которых уменьшено влияние шумов. При этом размерность сигнала снижается вдвое. Для оценки качества работы системы был проведен эксперимент: данные от оператора поступали на ПК. После обучения нейронной сети классификатор должен был распознавать желаемые движения оператора. После описанной выше обработки сигнала точность определения планируемого движения нейронной сетью превысила 94 %.
В программе QTcreator было разработано приложение — симулятор руки, позволяющий через протоколы доступа Wi-Fi и TCP/IP снимать показания с усилителя биосигналов и визуализировать их, а также обрабатывать и корректировать данные. Учтены как общее управление ориентацией кисти, так и определенное количество движений кисти. Каждая фаланга пальцев представлена сервоприводом, энкодером и закрепленным датчиком силы. Таким образом, возможно максимально точно идентифицировать параметры руки и апробировать сложные регуляторы с целью повышения точности отработки управления.
Заключение. В работе предложена модель активного протеза руки, в которой учитываются и компенсируются погрешности положения исполнительного устройства. Также модель обеспечивает возможность гибкого управления кистью за счет управления посредством сигналов электроэнцефалографа.
Разработана схема построения устройств с человеко-машинным интерфейсом для системы управления протезом руки с использованием потенциалов на поверхности кожи головы человека. Такой подход позволяет использовать систему в условиях, приближенных к режиму реального времени, и получать точность классификации данных более 94 %.
СПИСОК ЛИТЕРАТУРЫ
1. Бобцов А. А., Боргуль А. С., Зименко К. А., Маргун А. А., Кремлев А. С. Заявка № 2012132879 от 10.07.2012 на получение патента РФ на полезную модель „Многофункциональный активный протез руки“.
2. Буров Г. Н., Ясин Я. Х. Патент РФ на изобретение RU 2427349 C1 от 16.02.2010, заявка № 2010105615/14 от 16.02.2010.
3. Borgul A. S., Zimenko K. A., Margun A. A., Kremlev A. S., Krasnov A. Y. Intuitive Control for Robotic Rehabilitation Devices by Human-Machine Interface with EMG and EEG Signals // MMAR 2012. 17th Intern. Conf. on Methods and Models in Automation and Robotics. 2012. P. 308—311.
4. Бернштейн Н. А. Физиология движений и активность. М.: Наука, 1990. 689 с.
5. Боргуль А. С., Зименко К. А., Маргун А. А. Биоинформационные технологии в управлении техническими системами // XIX Всерос. науч.-метод. конф. „Телематика'2012“. СПб, 2012.
ИЗВ. ВУЗОВ. ПРИБОРОСТРОЕНИЕ. 2013. Т. 56, № 4
Коррекция искажения перспективой в системе технического зрения
89
6. Боргуль А. С., Зименко К. А., Маргун А. А. Биотехническая система управления устройством реабилитации // I Всеросс. конгресс молодых ученых, III сессия „Интеллектуальные системы управления и обработки информации“. СПб, 2012.
7. Ohnishi K., Weir R. F., Kuiken T. A. Neural machine interfaces for controlling multifunctional powered upper-limb prostheses // Expert Rev. Med. Devices. 2007. Vol. 4. P. 43—53.
Александр Сергеевич Боргуль Константин Александрович Зименко Алексей Анатольевич Маргун Артем Сергеевич Кремлев
Сведения об авторах — студент; Санкт-Петербургский национальный исследовательский
университет информационных технологий, механики и оптики, кафедра систем управления и информатики; E-mail: borgulalexandr@gmail.com — студент; Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики, кафедра систем управления и информатики; E-mail: kostyazimenko@gmail.com — студент; Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики, кафедра систем управления и информатики; E-mail: alexeimargun@gmail.com — канд. техн. наук; Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики, кафедра систем управления и информатики; доцент; E-mail: kremlev_artem@mail.ru
Рекомендована кафедрой систем управления и информатики
Поступила в редакцию 13.12.12 г.
ИЗВ. ВУЗОВ. ПРИБОРОСТРОЕНИЕ. 2013. Т. 56, № 4
УДК 681.51
А. С. БОРГУЛЬ, К. А. ЗИМЕНКО, А. А. МАРГУН, А. С. КРЕМЛЕВ
МНОГОФУНКЦИОНАЛЬНЫЙ АКТИВНЫЙ ПРОТЕЗ РУКИ*
Рассматриваются конструкция, принцип действия и система управления активного протеза руки, имеющего семь степеней свободы. Предложен алгоритм управления, основанный на использовании сигналов электроэнцефалографа, датчиков силового воздействия и акселерометра.
Ключевые слова: управляемый протез, электроэнцефалограмма, компенсация возмущений, человеко-машинный интерфейс.
Введение. Средством реабилитации людей, страдающих от заболеваний и последствий травм опорно-двигательного аппарата, могут служить активные протезы — устройства, повторяющие биомеханику человека для пропорционального увеличения усилий при движениях.
Создание технических средств для восстановления функций руки является сложной и во многом нерешенной задачей вследствие необходимости изготавливать легкие прочные устройства с высоким уровнем миниатюризации отдельных частей, а также реализовать принципы построения систем управления.
Постановка задачи. Целью настоящей статьи является разработка активного протеза руки и интуитивно-понятной системы управления для устройств реабилитации, позволяющей считывать большое количество команд и обладающей дружественным интерфейсом, предназначенным для использования в управляемых протезах, экзоскелетах и других мехатронных восстановительных комплексах.
В настоящей работе предложена модель активного протеза руки, в которой учитываются и компенсируются погрешности положения исполнительного механизма при внешних воздействиях на корпус устройства и человека, включая воздействие исполнительного устройства, реактивный момент которого при пуске воспринимается как внешнее воздействие. Использование предложенной модели повысит точность манипулирования, функциональность устройства возрастет благодаря управлению с учетом внешних силовых воздействий и возможности гибкого управления кистью за счет управления посредством сигналов электроэнцефалографа.
Описание устройства. Многофункциональный активный протез руки, содержащий наплечник, исполнительный механизм, выполненный в виде трехзвенной шарнирно-рычажной цепи с тремя датчиками углов, системы независимого управления исполнительным механизмом ротации искусственной кисти и исполнительным механизмом искусственной кисти, три системы управления связным движением исполнительных механизмов сгибания-разгибания плеча, предплечья и искусственной кисти, каждая из которых содержит микроконтроллер, усилитель мощности и привод, задающий механизм, выполненный в виде плоского трехзвенного кинематического аналога исполнительной цепи, содержащий три датчика управления связным движением. При этом протез снабжен жестким креплением исполнительного устройства и закрепленным на нем блоком коррекции положения звена плеча, содержащим последовательно соединенные акселерометр, блок двойного интегрирования и определитель угла коррекции. Шарнирно-рычажный механизм снабжен девятью датчиками силового воз-
* Исследование выполнено при поддержке министерства образования и науки Российской Федерации, соглашение 14.В37.21.1928 „Применение биотехнической системы управления для реабилитации людей с проблемами опорно-двигательного аппарата“.
ИЗВ. ВУЗОВ. ПРИБОРОСТРОЕНИЕ. 2013. Т. 56, № 4
Многофункциональный активный протез руки
87
действия, на исполнительном устройстве расположен регистратор сигналов электроэнцефалографа, электроды которого присоединены к голове оператора, блок обработки сигналов электроэнцефалографа, соединенный с регистратором и устройством управления независимым исполнительным механизмом ротации кисти и кисти [1]. Принцип действия устройства описывается в работе [2].
Устройство имеет каналы связного и независимого управления движением исполнительных механизмов, а также канал коррекции положения звена плеча.
Каналы связного управления включают следующие цепи составляющих элементов. Датчики углов исполнительного механизма и датчики управления связным движением задающего устройства соединены с системами управления связным движением, которые скреплены с исполнительными механизмами сгибания-разгибания плеча, предплечья и кисти. При этом исполнительный механизм закреплен со стороны шарнира сгибания плеча на жестком
креплении, а задающий прикреплен к наплечнику, развернут на 180° и соединен концевым звеном с поясом. Два датчика силового воздействия располагаются на концах схвата и объединены в блок, четыре — на верхней, нижней и боковых частях кисти, один датчик — на локте, два — на концах изгиба локтевого сустава. Каждый силовой датчик прикреплен к соответствующим системам управления связным и независимым движением.
Каналы независимого управления включают следующие цепи составляющих элементов. Выход регистратора сигнала электроэнцефалографа связан с системами независимого управления, которые, в свою очередь, соединены с исполнительными механизмами ротации искусственной кисти.
Канал коррекции положения звена плеча включает следующий набор элементов. Блок коррекции положения звена плеча закреплен на жестком креплении исполнительного механизма. Он содержит последовательно соединенные акселерометр, блок двойного интегрирования и определитель угла коррекции. Определитель угла коррекции скреплен с микроконтроллером системы управления связным движением сгибания плеча.
Система управления. Для людей с различной степенью повреждения опорно-двигательного аппарата предназначена система интуитивного управления активным протезом верхней конечности с помощью сигналов электроэнцефалографа [3]. Система характеризуется высокой скоростью идентификации нейросигналов и распознавания управляющих команд. Используемый метод частично описан в статьях знаменитого советского физиолога Н. А. Бернштейна [4].
Система управления предполагает использование неинвазивных способов снятия данных. Применение подобного рода устройств регистрации биологической активности человека основано на распознавании психофизических состояний. Сложность управления связана с изменчивостью психофизического состояния оператора. Принцип работы данной системы предполагает получение управляющих команд от оператора с предварительной обработкой сигналов встроенной программой системы регистрации биопотенциалов (обработка проводилась с использованием беспроводной системы регистрации и анализа электроэнцефалограммы (ЭЭГ) человека „Нейробелт“), передачу данных в среду Matlab для дальнейшей обработки и классификации команд. После этого происходит пакетная передача обработанных команд управления на микроконтроллер, который запрограммирован на управление приводами с учетом данных, получаемых с датчиков, либо на работу с программным симулятором в виртуальной среде [5].
Достоинством системы является мобильность, так как используются беспроводные протоколы передачи данных. Система регистрации биопотенциалов „Нейробелт“ связана с компьютером через интерфейс Wi-Fi, а компьютер с микроконтроллером — через интерфейс ZigBee посредством плат-адаптеров.
ИЗВ. ВУЗОВ. ПРИБОРОСТРОЕНИЕ. 2013. Т. 56, № 4
88 А. С. Боргуль, К. А. Зименко, А. А. Маргун, А. С. Кремлев
Таким образом, разработан человеко-машинный интерфейс, позволяющий управлять сложными мехатронными комплексами с большим количеством степеней свободы для решения различных задач. Отличие разработанного человеко-машинного интерфейса от уже существующих состоит в высокой скорости идентификации команд оператора. ЭЭГ оператора снимается с использованием эластичной шапки, к которой подсоединены электроды. Электроды „мокрого“ типа крепятся на голове оператора. Обработанные данные передаются на устройство управления средством реабилитации [6].
Для распознавания движений оператора на основе ЭЭГ использована искусственная нейронная сеть с регуляризируемой функцией издержек. Из различных сетей наилучший результат показал однослойный перцептрон [7].
Прежде чем сигнал электроэнцефалографа поступает на входной слой перцептрона, он проходит предварительную обработку фильтром низких частот для уменьшения влияния шумов. Затем применяется вейвлетное преобразование сигнала. При представлении сигнала на первом уровне декомпозиции получаются аппроксимирующая и детализирующая составляющие, в которых уменьшено влияние шумов. При этом размерность сигнала снижается вдвое. Для оценки качества работы системы был проведен эксперимент: данные от оператора поступали на ПК. После обучения нейронной сети классификатор должен был распознавать желаемые движения оператора. После описанной выше обработки сигнала точность определения планируемого движения нейронной сетью превысила 94 %.
В программе QTcreator было разработано приложение — симулятор руки, позволяющий через протоколы доступа Wi-Fi и TCP/IP снимать показания с усилителя биосигналов и визуализировать их, а также обрабатывать и корректировать данные. Учтены как общее управление ориентацией кисти, так и определенное количество движений кисти. Каждая фаланга пальцев представлена сервоприводом, энкодером и закрепленным датчиком силы. Таким образом, возможно максимально точно идентифицировать параметры руки и апробировать сложные регуляторы с целью повышения точности отработки управления.
Заключение. В работе предложена модель активного протеза руки, в которой учитываются и компенсируются погрешности положения исполнительного устройства. Также модель обеспечивает возможность гибкого управления кистью за счет управления посредством сигналов электроэнцефалографа.
Разработана схема построения устройств с человеко-машинным интерфейсом для системы управления протезом руки с использованием потенциалов на поверхности кожи головы человека. Такой подход позволяет использовать систему в условиях, приближенных к режиму реального времени, и получать точность классификации данных более 94 %.
СПИСОК ЛИТЕРАТУРЫ
1. Бобцов А. А., Боргуль А. С., Зименко К. А., Маргун А. А., Кремлев А. С. Заявка № 2012132879 от 10.07.2012 на получение патента РФ на полезную модель „Многофункциональный активный протез руки“.
2. Буров Г. Н., Ясин Я. Х. Патент РФ на изобретение RU 2427349 C1 от 16.02.2010, заявка № 2010105615/14 от 16.02.2010.
3. Borgul A. S., Zimenko K. A., Margun A. A., Kremlev A. S., Krasnov A. Y. Intuitive Control for Robotic Rehabilitation Devices by Human-Machine Interface with EMG and EEG Signals // MMAR 2012. 17th Intern. Conf. on Methods and Models in Automation and Robotics. 2012. P. 308—311.
4. Бернштейн Н. А. Физиология движений и активность. М.: Наука, 1990. 689 с.
5. Боргуль А. С., Зименко К. А., Маргун А. А. Биоинформационные технологии в управлении техническими системами // XIX Всерос. науч.-метод. конф. „Телематика'2012“. СПб, 2012.
ИЗВ. ВУЗОВ. ПРИБОРОСТРОЕНИЕ. 2013. Т. 56, № 4
Коррекция искажения перспективой в системе технического зрения
89
6. Боргуль А. С., Зименко К. А., Маргун А. А. Биотехническая система управления устройством реабилитации // I Всеросс. конгресс молодых ученых, III сессия „Интеллектуальные системы управления и обработки информации“. СПб, 2012.
7. Ohnishi K., Weir R. F., Kuiken T. A. Neural machine interfaces for controlling multifunctional powered upper-limb prostheses // Expert Rev. Med. Devices. 2007. Vol. 4. P. 43—53.
Александр Сергеевич Боргуль Константин Александрович Зименко Алексей Анатольевич Маргун Артем Сергеевич Кремлев
Сведения об авторах — студент; Санкт-Петербургский национальный исследовательский
университет информационных технологий, механики и оптики, кафедра систем управления и информатики; E-mail: borgulalexandr@gmail.com — студент; Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики, кафедра систем управления и информатики; E-mail: kostyazimenko@gmail.com — студент; Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики, кафедра систем управления и информатики; E-mail: alexeimargun@gmail.com — канд. техн. наук; Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики, кафедра систем управления и информатики; доцент; E-mail: kremlev_artem@mail.ru
Рекомендована кафедрой систем управления и информатики
Поступила в редакцию 13.12.12 г.
ИЗВ. ВУЗОВ. ПРИБОРОСТРОЕНИЕ. 2013. Т. 56, № 4