Известия РАН. Серия физическая, 2021, T. 85, № 12, стр. 1793-1798

Оптико-электронная система навигации гибкого хирургического инструмента на основе инерциальных микроэлектромеханических датчиков

А. А. Роженцов 1, А. А. Баев 1*, М. Халимов 1, Н. Н. Митракова 2

1 Федеральное государственное бюджетное образовательное учреждение высшего образования “Поволжский государственный технологический университет”
Йошкар-Ола, Россия

2 Общество с ограниченной ответственностью “Эндоскопическая диагностика желудка и толстой кишки”
Нижний Новгород, Россия

* E-mail: BaevAA@volgatech.net

Поступила в редакцию 05.07.2021
После доработки 26.07.2021
Принята к публикации 27.08.2021

Полный текст (PDF)

Аннотация

Предложен подход к построению оптико-электронной системы определения положения гибкого хирургического (эндоскопического) инструмента в трехмерном пространстве на основе набора инерциальных микроэлектромеханических датчиков. Предложена методика калибровки датчиков на основе алгоритма Левенберга–Марквардта и представлены результаты калибровки и измерения параметров движения хирургического инструмента. Предложена методика сопряжения систем координат инструмента, пациента и системы визуализации.

ВВЕДЕНИЕ

Современные медицинские навигационные системы предназначены, как правило, для позиционирования жесткого хирургического инструмента [13]. Отдельные системы позволяют определять положение в пространстве рабочего органа и гибкого медицинского инструмента [48], но они не дают информацию обо всех частях инструмента, и не позволяют сопоставлять эти данные с цифровой моделью пациента, что может быть важно, например, в эндоскопии.

Один из возможных подходов к решению данной задачи состоит в построении навигационной медицинской системы на основе использования инерциальных микроэлектромеханических систем (МЭМС-датчиков). МЭМС-датчики – это устройства, объединяющие в себе микроэлектронные и микромеханические компоненты. Такие системы состоят из механических микроструктур, микродатчиков, и микроэлектроники, объединенных на одном кремниевом чипе [9]. В современных МЭМС-датчиках в одном корпусе объединяются трехосевые акселерометр, гироскоп и магнетометр, позволяющие определять ориентацию и параметры движения датчика в трехмерном пространстве. Расположение подобных датчиков вдоль хирургического инструмента должно позволить определять положение в пространстве каждой его точки. Для этого система датчиков может интегрироваться либо непосредственно в тело инструмента, либо вводиться в его технологические каналы.

Целью данной работы является исследование возможности применения МЭМС-датчиков для навигации гибкого хирургического инструмента, разработка структурной схемы системы, а также проведение экспериментальных исследований для оценки работоспособности предложенных подходов.

СТРУКТУРНАЯ СХЕМА СИСТЕМЫ НАВИГАЦИИ ГИБКОГО ХИРУРГИЧЕСКОГО ИНСТРУМЕНТА

Для обеспечения возможности определения положения в пространстве каждой части гибкого хирургического инструмента предлагается располагать МЭМС-датчики вдоль всего прибора с некоторым шагом, величина которого определяется требуемой точностью и механическими характеристиками инструмента. Могут использоваться МЭМС-датчики от таких производителей, как Honeywell, InvenSense, Atlantic Inertial Systems, Bosch, Northrop Grumman, Panasonic, Sagem, Litef, Thales, Atlantic Inertial Systems, L3Communications, IXSEA, EADS Astrium, Systron Donner Inertial, Goodrich, iMAR, Crossbow, KVH, Gladiator Technologies, Murata, Kearfott и другие. В этих датчиках находятся трехосевые акселерометр, гироскоп и магнитометр [10, 11]. Акселерометр измеряет линейное ускорение, гироскоп – угловую скорость, магнитометр – напряженность магнитного поля.

На рис. 1 представлено расположение МЭМС датчиков в хирургическом инструменте. Каждый датчик позволяет выполнить измерение координат определенной точки хирургического инструмента в пространстве. По полученным значениям формируется трехмерное изображение хирургического инструмента в пространстве в режиме реального времени.

Рис. 1.

Расположение МЭМС датчиков на хирургическом инструменте и структурная схема системы навигация гибкого хирургического инструмента, где: 1 – блок датчиков хирургического инструмента, 2 – микроконтроллер, 3 – интерфейс передачи данных, 4 – персональный компьютер.

Блок хирургического инструмента с МЭМС датчиками через шины питания и данных подключается к микроконтроллеру (рис. 1). Микроконтроллер принимает зафиксированные МЭМС датчиками значения и передает их через интерфейс передачи данных в персональный компьютер (ПК), где рассчитываются параметры движения каждого датчика и на их основе в реальном масштабе времени выполняется визуализация.

КАЛИБРОВКА МЭМС ДАТЧИКОВ

Для обеспечения возможности измерения параметров движения МЭМС-датчика в трехмерном пространстве с требуемой точностью необходимо выполнять процедуру калибровки. Целью данной процедуры по отношению к акселерометру является определение величины ускорения свободного падения, действующей на датчик в данной точке, величины постоянного смещения, присутствующего в каждом из каналов, неидентичности коэффициентов передачи каналов. Для гироскопа в МЭМС датчиках требуется оценка постоянного смещения, для магнетометра – определение величины постоянного магнитного поля Земли, действующей на датчик в данной точке, величины постоянного смещения, присутствующего в каждом из каналов, неидентичности коэффициентов передачи каналов.

В качестве исходных данных для калибровки используются наборы значений, полученные с датчиков при их фиксированных положениях с различной ориентацией в пространстве.

Для калибровки МЭМС-акселерометра необходимо определить значения коэффициентов, задающих уравнение эллипса:

(1)
$\begin{gathered} \left[ {{{{{{\left( {a_{{xn}}^{k} - {{b}_{x}}} \right)}}^{2}}} \mathord{\left/ {\vphantom {{{{{\left( {a_{{xn}}^{k} - {{b}_{x}}} \right)}}^{2}}} {k_{x}^{2}}}} \right. \kern-0em} {k_{x}^{2}}} + {{{{{\left( {a_{{yn}}^{k} - {{b}_{y}}} \right)}}^{2}}} \mathord{\left/ {\vphantom {{{{{\left( {a_{{yn}}^{k} - {{b}_{y}}} \right)}}^{2}}} {k_{y}^{2}}}} \right. \kern-0em} {k_{y}^{2}}} + } \right. \\ {{\left. { + \,\,{{{{{\left( {a_{{zn}}^{k} - {{b}_{z}}} \right)}}^{2}}} \mathord{\left/ {\vphantom {{{{{\left( {a_{{zn}}^{k} - {{b}_{z}}} \right)}}^{2}}} {k_{z}^{2}}}} \right. \kern-0em} {k_{z}^{2}}}} \right]}^{{0.5}}} - g = 0, \\ \end{gathered} $

на поверхности которого располагаются отсчеты, полученные при калибровке. Здесь $a_{{xn}}^{k},a_{{yn}}^{k},a_{{zn}}^{k}$ – элементы векторов $\vec {a}_{n}^{k}$ результатов измерений, для угловых положений k = 1, 2, … n, (n – количество угловых положений МЭМС-акселерометра); ${{b}_{x}},{{b}_{y}},{{b}_{z}}$ – элементы вектора $\vec {b},$ определяющего смещение относительно нуля показаний акселерометра по каждой из осей, а ${{k}_{x}},{{k}_{y}},{{k}_{z}}$ – элементы вектора ${{\vec {k}}_{a}},$ определяющего неидентичность коэффициентов передачи акселерометра по каждому их трех каналов; g – проекции вектора ускорения свободного падения на его оси чувствительности.

Калибровка МЭМС датчиков заключается в оценке вектора параметров $\vec {w} = {{\left[ {{{{\vec {k}}}_{a}},\vec {b}} \right]}^{T}}$ и может быть основана на использовании метода оптимизации Левенберга–Марквардта [1214]. Аналогичным образом может выполняться калибровка магнетометра. На рис. 2 представлены результаты визуализации исходных калибровочных данных на поверхности эллипсоида, построенного по рассчитанным коэффициентам.

Рис. 2.

Визуализация эллипсоида чувствительности (облако точек) на фоне эталонной сферы (мелкие точки) датчика акселерометра.

АЛГОРИТМ ПОСТРОЕНИЯ ТРАЕКТОРИИ ДВИЖЕНИЯ МЭМС-ДАТЧИКА

Измерение параметров движения производится на основе анализа и обработки данных, получаемых от акселерометра и гироскопа. Для обеспечения возможности компенсации влияния силы притяжения Земли в начале цикла измерений производится накопление данных при неподвижном состоянии датчика:

(2)
${{\vec {A}}^{{\left( k \right)}}} = \frac{1}{{{{N}^{{\left( k \right)}}}}}\sum\limits_{n = 0}^{{{N}^{{\left( k \right)}}} - 1} {{{{\vec {A}}}_{n}}} ,$
где ${{\vec {A}}^{{\left( k \right)}}}$ – вектор показаний акселерометра, используемый в дальнейшем для расчета вектора компенсации ускорения свободного падения, ${{\vec {A}}_{n}}$ – векторы отсчетов с выхода акселерометра, пересчитанные с учетом данных калибровки, ${{N}^{{\left( k \right)}}}$ – количество отсчетов, используемых для калибровки.

Для оценки параметров вращения датчика используются показания гироскопа, содержащие информацию об угловой скорости вращения вокруг каждой из трех осей. Матрица вращения на интервале дискретизации связана с угловыми скоростями вращения вокруг осей соотношением:

(3)
${{{\mathbf{R}}}_{n}} = {{{\mathbf{R}}}^{{\left( z \right)}}}\left( {{\mathbf{G}}_{n}^{{\left( z \right)}} \cdot T} \right){{{\mathbf{R}}}^{{\left( y \right)}}}\left( {{\mathbf{G}}_{n}^{{\left( y \right)}} \cdot T} \right){{{\mathbf{R}}}^{{\left( x \right)}}}\left( {{\mathbf{G}}_{n}^{{\left( x \right)}} \cdot T} \right),$
где – ${{{\mathbf{R}}}^{{\left( z \right)}}}\left( \bullet \right),$ ${{{\mathbf{R}}}^{{\left( y \right)}}}\left( \bullet \right),$ ${{{\mathbf{R}}}^{{\left( x \right)}}}\left( \bullet \right)$ – матрицы вращений вокруг осей z, y и x. ${\mathbf{G}}_{n}^{{\left( z \right)}},$ ${\mathbf{G}}_{n}^{{\left( y \right)}}$ и ${\mathbf{G}}_{n}^{{\left( x \right)}}$ – угловые скорости вращений вокруг осей z, y и x. T – период дискретизации.

Матрица O, задающая параметры ориентации датчика в текущий момент времени относительно ориентации в начальный момент времени, определяется соотношением

(4)
${{{\mathbf{O}}}_{n}} = {{{\mathbf{R}}}_{{n - 1}}} \cdot {{{\mathbf{O}}}_{{n - 1}}},$
где ${{{\mathbf{O}}}_{0}} = 1.$

Вектор компенсации ускорения свободного падения $\vec {A}_{n}^{{\left( {{\text{комп}}} \right)}}$ рассчитывается как:

(5)
$\vec {A}_{n}^{{\left( {{\text{комп}}} \right)}} = {\mathbf{O}}_{n}^{{ - 1}} \cdot {{\vec {A}}^{{\left( k \right)}}}.$

Для расчета траектории используется разностный сигнал “очищенного” от воздействия ускорения свободного падения сигнала акселерометра:

(6)
${{\vec {A}}^{{\left( {{\text{очищ}}} \right)}}} = \vec {A} - \vec {A}_{n}^{{\left( {{\text{комп}}} \right)}}.$

Для представления сигнала акселерометра в неподвижной системе координат необходимо выполнить обратный поворот вектора ускорения:

(7)
$\vec {A}_{n}^{{\left( {{\text{очищ}},{\text{исх}}} \right)}} = {{{\mathbf{O}}}_{n}} \cdot \vec {A}_{n}^{{\left( {{\text{очищ}}} \right)}}.$

Далее путем численного интегрирования вычисляются отсчеты вектора скорости и вектора траектории движения датчика:

(8)
${{\vec {V}}_{n}} = {{\vec {V}}_{{n - 1}}} + \frac{{\vec {A}_{n}^{{\left( {{\text{очищ}},{\text{\;\;исх}}} \right)}} + \vec {A}_{{n - 1}}^{{\left( {{\text{очищ}},{\text{исх}}} \right)}}}}{2} \cdot T,$
(9)
${{\vec {S}}_{n}} = {{\vec {S}}_{{n - 1}}} + \frac{{{{{\vec {V}}}_{n}} + {{{\vec {V}}}_{{n - 1}}}}}{2} \cdot T.$

В качестве значений координат для вектора ${{\vec {S}}_{0}}$ принимаются координаты датчика в начальный момент времени в собственной системе координат инструмента (см. след. раздел).

На рис. 3 представлен примеры сигналов датчиков и восстановления траектории его движения, по данным, полученным путем моделирования перемещения датчика в программной среде MATLAB [1518].

Рис. 3.

Полученные сигналы с выхода акселерометра (а), с выхода гироскопа (б) и восстановленная траектория движения датчика (в), где: n – номер отсчетов, a – ускорение, м/с2, w – угловая скорость, град/с, 1 – ускорение по оси Z, 2 – ускорение по оси X, 3 – ускорение по оси Y, 4 – угловая скорость по оси Z, 5 – угловая скорость по оси X, 6 – угловая скорость по оси Y.

РАСЧЕТ ТРАЕКТОРИИ ДВИЖЕНИЯ ИНСТРУМЕНТА В ГЛОБАЛЬНОЙ СИСТЕМЕ КООРДИНАТ

Практической значимостью при визуализации гибкого хирургического инструмента обладает сопоставление траектории его движения с компьютерной моделью исследуемых органов пациента, построенных, например, по данным томографических исследований. Для этого необходимо приведение координат и ориентации модели и всех точек инструмента к единой (глобальной) системе координат.

Пусть в начальный момент времени инструмент находится в специальном ложементе в строго заданном относительно него положении. При этом координаты всех точек инструмента $\vec {S}\left( m \right) = {{\left[ {x\left( m \right),y\left( m \right),z\left( m \right)} \right]}^{T}},$ $m = 0,1,...,M - 1$ (M – количество датчиков), относительно ложемента считаются известными, а матрица ориентации, как отмечалось в (4) в собственной системе координат инструмента задается единичной матрицей (${{{\mathbf{O}}}_{0}} = 1$).

Для перехода к единой системе координат на инструменте или ложементе необходимо выделить не менее четырех опорных точек (рис. 4). Их координаты считаются известными в системе координат инструмента и образуют матрицу

(10)
${{{\mathbf{M}}}_{i}} = \left[ {\begin{array}{*{20}{c}} {\begin{array}{*{20}{c}} {{{X}_{{1i}}}}&{{{X}_{{2i}}}} \\ {{{Y}_{{1i}}}}&{{{Y}_{{2i}}}} \end{array}}&{\begin{array}{*{20}{c}} {{{X}_{{3i}}}}&{{{X}_{{4i}}}} \\ {{{Y}_{{3i}}}}&{{{Y}_{{4i}}}} \end{array}} \\ {\begin{array}{*{20}{c}} {{{Z}_{{1i}}}}&{{{Z}_{{2i}}}} \\ 1&1 \end{array}}&{\begin{array}{*{20}{c}} {{{Z}_{{3i}}}}&{{{Z}_{{4i}}}} \\ 1&1 \end{array}} \end{array}} \right].$
Рис. 4.

Системы координат в медицинской навигационной системе, где Xi, Yi, и Zi – известные координаты в системе координат инструмента, Xb, Yb, и Zb – базовые координаты в системе координат оптической системы или механической измерительной системы, Xm, Ym, и Zm – глобальные координаты в системе координат пациента.

Далее необходимо выполнить измерение координат в глобальной системе координат. Для этого может использоваться либо оптическая система со стереоскопическими камерами, либо механическая измерительная система (3D-дигитайзер). В результате будет сформирована матрица координат точек

(11)
${{{\mathbf{M}}}_{b}} = \left[ {\begin{array}{*{20}{c}} {\begin{array}{*{20}{c}} {{{X}_{{1b}}}}&{{{X}_{{2b}}}} \\ {{{Y}_{{1b}}}}&{{{Y}_{{2b}}}} \end{array}}&{\begin{array}{*{20}{c}} {{{X}_{{3b}}}}&{{{X}_{{4b}}}} \\ {{{Y}_{{3b}}}}&{{{Y}_{{4b}}}} \end{array}} \\ {\begin{array}{*{20}{c}} {{{Z}_{{1b}}}}&{{{Z}_{{2b}}}} \\ 1&1 \end{array}}&{\begin{array}{*{20}{c}} {{{Z}_{{3b}}}}&{{{Z}_{{4b}}}} \\ 1&1 \end{array}} \end{array}} \right].$

Переход от одной матрицы к другой определяется матрицей перехода:

(12)
${{{\mathbf{M}}}_{{i - b}}} \cdot {{{\mathbf{M}}}_{i}} = {{{\mathbf{M}}}_{b}}.$

Тогда искомая матрица перехода находится как:

(13)
${{{\mathbf{M}}}_{{i - b}}} = {{{\mathbf{M}}}_{b}} \cdot {\mathbf{M}}_{i}^{{ - 1}}.$

Аналогично проводится измерение координат опорных точек на поверхности тела пациента для привязки модели к глобальной системе координат и вычисляется матрица перехода для модели ${{{\mathbf{M}}}_{{m - b}}}.$

При проведении обследования текущие значения координат каждого датчика, вычисленные согласно методике из предыдущего раздела, преобразуются в координаты в глобальной системе по формуле (12). Аналогичным образом при отображении модели пересчитываются координаты ее элементов с использованием матрицы ${{{\mathbf{M}}}_{{m - b}}}.$

ЗАКЛЮЧЕНИЕ

Рассмотрены принципы построения системы навигации гибкого хирургического инструмента на основе МЭМС-датчиков. Система базируется на использовании совокупности датчиков, расположенных с заданным шагом вдоль рабочего органа инструмента, что позволяет отслеживать положение в пространстве каждой его точки. Предложена оригинальная методика калибровки МЭМС-датчиков, базирующаяся на алгоритме Левенберга–Марквардта, позволяющая оценить постоянные сдвиги нуля и неидентичность коэффициентов передачи каналов датчиков. Изложена методика расчета ориентации и траектории датчиков по данным акселерометра и гироскопа. Приведен пример расчета траектории движения датчика. Предложена методика отображения координат инструмента и компьютерной модели пациента в общей системе координат.

Работа выполнена с использованием ресурсов ЦКП “Экология, биотехнологии и процессы получения экологически чистых энергоносителей” Поволжского государственного технологического университета, г. Йошкар-Ола при финансовой поддержке Министерства науки и высшего образования РФ (соглашение № 075-15-2021-674).

Список литературы

  1. Figueras G., Urbano L., Acero A. et al. // Proc. VII Int. Conf. Electr. Eng. (FIE 2014). (Santiago de Cuba, 2014). V. 1.

  2. Herrmann K., Nieweg O., Povoski S. et al. Radioguided surgery. Springer, 2016. P. 57.

  3. Прудков М.И. Основы минимально инвазивной хирургии. Монография. Екатеринбург: Изд. Урал. ун-та. 2007. 64 с.

  4. Матвеев В.В., Распопов В.Я. Основы построения бесплатформенных инерциальных навигационных систем. СПб: ОАО “Концерн “ЦНИИ “Электроприбор”, 2009. 278 с.

  5. Желамский М.В. Электромагнитное позиционирование подвижных объектов. Монография. М.: Физматлит, 2013. 320 с.

  6. Kong X. Inertial navigation system algorithms for low cost IMU. PhD Thesis. Sydney: Univ. of Sydney, 2000. 178 p.

  7. Шестова Е.А., Синявская Е.Д., Финаев В.И. и др. // Изв. ЮФУ. 2016. № 5(178). С. 30.

  8. Алалуев Р.В., Иванов Ю.В., Малютин Д.М. и др. // Изв. Тульск. гос. ун-та. 2016. № 10. С. 223.

  9. Козин С.А., Федулов А.В., Пауткин В.Е., Баринов И.Н. // Компоненты и технол. 2010. № 3. С. 24.

  10. Сысоева С. // Компоненты и технол. 2010. № 5. С. 20.

  11. Калинкин А.И., Кислицына Т.С., Кудинов И.А. и др. // Вестн. РГРТУ. 2020. № 73. С. 37.

  12. Шаврин В.В., Конаков А.С., Тисленко В.И. // Докл. ТУСУР. 2012. № 1(25). Ч. 2. С. 265.

  13. Холопов И.С., Лютков И.А. // Вестн. РГРТУ. 2020. № 71. С. 15.

  14. More J. // Num. Analysis. Lect. Notes Math. 1978. V. 630. P. 105.

  15. https://www.mathworks.com/help/fusion/ref/imusensor-system-object.html.

  16. https://www.mathworks.com/help/fusion/ug/imu-and-gps-fusion-for-inertial-navigation.html.

  17. https://www.mathworks.com/help/fusion/ug/estimate-orientation-and-height-using-imu-magnetometer-and-altimeter.html.

  18. https://www.mathworks.com/help/radar/ground-truth-trajectories.html.

Дополнительные материалы отсутствуют.