Ежегодно в Европейском Союзе и США выполняется более 19 миллионов процедур, поэтому колоноскопия является «золотым стандартом» в лечении колоректальных заболеваний 1 . Ожидается, что потребность в колоноскопии вырастет на 16% в следующем десятилетии 2 , при этом основным преимуществом будет раннее выявление и профилактика колоректального рака (CRC), третьего по частоте злокачественного новообразования в мире 3 . Профилактический скрининг толстой кишки может повысить частоту выявления колоректального рака на ранней стадии, когда пятилетняя выживаемость пациента превышает 90%. Выживаемость резко падает до менее 10% при диагностике на поздней стадии 4 . Доступность колоноскопии в значительной степени ограничивается устаревшей конструкцией гибкого эндоскопа (FE), используемого для этой процедуры 5. Первоначально представленные в 1960-х годах 6 , FE имеют несколько недостатков и очень мало улучшений. Конкретные конструктивные ограничения FE 7 включают (1) сложность, присущую устройству, которая препятствует одноразовому использованию и, таким образом, требует очистки и стерилизации 8 , (2) боль пациента из-за растяжения ткани при проталкивании эндоскопа через толстую кишку. , ограничивая общественное признание и создавая риски, такие как перфорация тканей и побочные эффекты, связанные с анестезией, и (3) отсутствие интуиции, требующее высококвалифицированного персонала и, следовательно, длительного и дорогостоящего процесса обучения 9 и нехватку эндоскопистов для удовлетворения спроса 10. This reduces the availability of early screening and increases the potential loss of human lives. Overcoming the limitations of FEs would allow colonoscopies to become ubiquitous and have a substantial impact in the early detection of malignant diseases.
Ограничения FE мотивировали разработку альтернативных подходов. Отсутствие интуитивности и простоты использования было устранено с помощью роботизированного срабатывания обычных эндоскопов 11 , 12 , что привело к сокращению продолжительности процедуры, но не решены проблемы боли и обработки. Беспроводные капсульные эндоскопы (WCE) 13 и роботизированные устройства 14 , 15, приводимые в действие изнутри , решают проблемы боли и дискомфорта, но беспроводные устройства не могут обеспечить терапевтические функции, такие как биопсия и удаление полипов. Кроме того, сложность механизмов с внутренним приводом приводит к громоздкости конструкции и предотвращает существенное снижение затрат. Эндоскопы с магнитным приводом 16 ,17 , 18 , 19 , 20 продемонстрировали потенциал для уменьшения боли, снижения затрат, улучшения диагностических возможностей 21 и улучшения терапевтических вмешательств. Хотя это было многообещающим, использование эндоскопов с магнитным приводом для клинического использования не удалось из-за проблем с контролем. Внешние исполнительные магнитные полягенерируемые, путем изменения электромагнитных катушек 22 , или путем перемещения постоянных магнитов 23 (обычно монтируется на манипуляторов;фиг. 1), нелинейно связаны с движением магнитного эндоскопа. Предоставление пользователю сложной и интуитивно понятной задачи по управлению эндоскопом путем управления полем требует опыта и приводит к неудовлетворительному времени проведения процедуры 24 . Разработка передовых стратегий управления, способных помочь и предложить интуитивно понятный пользовательский интерфейс с сокращенным временем процедуры, послужит для обеспечения клинического воплощения магнитной колоноскопии с общей целью расширения и улучшения ухода за пациентами.
Рис. 1: Обзор системы роботизированного гибкого магнитного эндоскопа (MFE).
фигура 1
Магнитный эндоскоп (справа внизу) оснащен эндоскопической камерой, каналом инсуффляции и рабочим каналом. Подсветку обеспечивает светодиод (LED). Роботизированная рука KUKA LBR Med используется для управления внешним постоянным магнитом. Эндоскопический видеопоток проецируется на монитор с графическим интерфейсом, показывающим такие параметры, как относительная скорость робота и межмагнитное расстояние.
Полноразмерное изображение
К настоящему времени работа по улучшению навигации в магнитной эндоскопии была продемонстрирована в магнитных эндоскопах для скрининга желудка 25 , управления катетером 26 и бронхоскопии 27 . В контексте мобильных и сложных сред, таких как толстая кишка, навигация была показана только при следовании простым, заранее заданным траекториям 28, таким образом не предоставив существенных доказательств клинической осуществимости. Ободочная кишка представляет собой неструктурированную и динамичную среду, состоящую из извитых мягких тканей, которая подвержена заметным изменениям из-за силы тяжести, изменений положения пациента, перистальтики и инсуффляции. Кроме того, толстая кишка содержит препятствия, такие как складки тканей, воду и мусор. Предопределенные траектории вскоре станут неточными в этой постоянно меняющейся среде. Чтобы обеспечить практическую и клинически жизнеспособную альтернативу, интеллектуальное управление магнитными эндоскопами должно быть существенно продвинуто.
Мы предполагаем, что управление эндоскопами с магнитным управлением за счет повышения уровня интеллекта и автономности может улучшить их навигационные характеристики. Это в конечном итоге сократит время процедуры, а также умственную и физическую нагрузку на оператора, что позволит больше сосредоточиться на клинических аспектах процедуры, так как для ручного манипулирования эндоскопом потребуется меньшее обучение. Это положительно скажется на доступности процедуры. Автономность магнитных эндоскопов может быть контекстуализирована в общей тенденции к усилению автономности, которая набирает обороты в области медицинской робототехники. Вдохновленное стандартизацией уровней автономности беспилотных автомобилей 29 , сообщество медицинских робототехников приближается к определению шести уровней автономии.30 , 31 , 32 отличаются повышенным интеллектом. В этой работе обсуждение нашего магнитного эндоскопа и развития автономного управления будет способствовать анализу того, как можно указать общие определения для роботизированной эндоскопии, а также функций, необходимых для достижения каждого уровня автономии. Наш вклад в область машинного интеллекта - это способность исследовать, как различные уровни компьютерной помощи могут улучшить процедуру и снизить нагрузку на пользователя при роботизированной колоноскопии.
Основные научные вопросы, которые мы исследуем в данной работе, следующие. (1) Как интеллектуальные стратегии управления могут преодолеть сложность, присущую управлению магнитными интракорпоральными эндоскопами? (2) Какой уровень автономии требуется, чтобы позволить неспециалисту работать с магнитным эндоскопом в неструктурированной среде, такой как толстая кишка, при сохранении продолжительности процедуры, сопоставимой с FE? (3) Могут ли эффективные интеллектуальные стратегии управления снизить физическую и психологическую нагрузку на оператора?
Успешный ответ на эти вопросы в сочетании с такой технологией, как гибкий магнитный эндоскоп (MFE; рис. 1 ), предназначенный для безболезненной колоноскопии, может обеспечить значительное улучшение и долгожданный прорыв в раннем обнаружении и лечении колоректальных заболеваний. MFE разрабатывался нашей группой в течение последних 12 лет 17 , 24 , 33 , и в этой статье мы представляем комплексный подход к автономной навигации эндоскопа.
Помимо того, что эта работа имеет решающее значение для колоноскопии, эта работа применима к ряду других эндоскопических приложений, где окружающая среда неструктурирована и создает значительные проблемы для эффективной навигации. Это также уменьшило бы чистую зависимость от ручного опыта. Благодаря роботизированной помощи в навигации, учебные ресурсы могут быть направлены на когнитивные аспекты эндоскопии, такие как распознавание патологии, дифференциальная диагностика и создание планов лечения.
Чтобы исследовать эти научные вопросы, мы разработали методологию управления, которая позволяет упростить ввод данных пользователем и автономную навигацию на основе изображений, способную вычислять движение на основе визуального анализа окружающей среды в реальном времени. Эта методология была сравнительно протестирована на настольных компьютерах и в естественных условиях (модель свиньи) с неспециалистами. При этом мы вносим следующие вклады:
(1)
Демонстрация интеллектуального и автономного управления, позволяющая пользователям, не являющимся экспертами, успешно выполнять магнитную колоноскопию, путешествуя на значительное расстояние in vivo, и с продолжительностью, сопоставимой со стандартным FE
(2)
Рамки для определения растущих уровней автономии медицинской робототехники, применяемой в роботизированной гибкой эндоскопии
(3)
Анализ автономных функций, необходимых для преодоления сложностей магнитных манипуляций в неструктурированных трубчатых полостях.
(4)
Разработка интеллектуальных и автономных стратегий управления магнитной эндоскопией, которые позволили снизить нагрузку на пользователя.
Схематический обзор нашего подхода к управлению представлен на рисунке 2 и описан в дополнительном видео 1 . Система навигации состоит из нескольких элементарных блоков, организованных в три основных уровня. Каждый уровень предоставляет набор функций, характеризующихся повышенной автономностью, в зависимости от функций, предлагаемых нижележащими уровнями.
Рис. 2: Схематический обзор уровней управления, связанных с уровнями автономии.
фигура 2
На первом уровне, где автономия недоступна, пользователь вручную управляет конечным эффектором робота с пятью степенями свободы (DOF) в попытке манипулировать MFE. На втором уровне пользователь управляет эндоскопом, и система выполняет подходящие движения робота, принимая во внимание информацию о локализации и взаимодействие магнитного поля. На третьем уровне пользователь имеет дискретный контроль над эндоскопом, и просвет выявляется и отслеживается автономно. В стандартном определении уровней автономии они соответствуют уровням 0, 1 и 3 соответственно. Уровень 2 определяется как «автономность задач» и в роботизированной эндоскопии описывает автономное выполнение таких задач, как ретрофлексия или управляемая биопсия.
Полноразмерное изображение
Первый и самый простой уровень определяется как «прямое управление роботом». На этом уровне пользователь манипулирует роботом (который держит внешний постоянный магнит, EPM), чтобы влиять на движение MFE. Этот уровень демонстрирует функциональность, предлагаемую механической платформой, и элементарный уровень ручного управления, при котором пользователь сам должен контролировать изменения взаимодействующих магнитных полей. Предлагаемая функциональность может быть связана с уровнем 0, поскольку манипулятор является простым исполнителем движений, выполняемых человеком-оператором (с добавлением некоторых ограничений безопасности). Этот уровень служит сравнительной базой для последующих разработок в области управления и автономии, определенных в этой работе.
На втором уровне пользовательский ввод непосредственно ориентирован на перемещение эндоскопа через толстую кишку, в то время как система несет бремя создания подходящего магнитного управляющего воздействия для выполнения желаемого движения эндоскопа. На этом уровне присутствие робота не имеет значения для пользователя, входы которого напрямую управляют наконечником эндоскопа через видеопоток. При этом пользователь интуитивно указывает, как он хочет, чтобы камера эндоскопа перемещалась внутри толстой кишки. Использование позиционной информации в реальном времени для MFE (точность 5 мм (± 1 мм) и 6 ° (± 0,8 °), 100 Гц, дополнительный рисунок 1 ), как это предусмотрено в предыдущей работе 34на алгоритме магнитной локализации и цепи датчика блока измерения эффекта Холла / инерции в конце MFE, этот уровень управления вычисляет лучшую стратегию движения для выполнения требуемого действия и впоследствии управляет роботом для соответствующей адаптации магнитного поля. Мы определяем этот уровень как «интеллектуальную телеоперацию эндоскопа», которая может быть связана с уровнем 1 или роботизированной помощью в соответствии с классификацией, представленной в справочниках. 30 , 31 . Человек-оператор постоянно контролирует навигацию, а робот помогает с магнитными манипуляциями.
На третьем уровне система управляет движением MFE на основе анализа эндоскопического видео в реальном времени, в сочетании со знанием позы эндоскопа от системы локализации. Направление движения вычисляется алгоритмом анализа изображения, который определяет центр просвета. Затем эндоскоп автономно направляется и продвигается через толстую кишку с помощью элемента управления навигацией, разработанного в нижележащем слое. Местные знания анатомии в реальном времени, полученные в результате анализа изображений, имеют решающее значение для обеспечения такого уровня автономии. При желании пользователь может отменить выбор системы, щелкнув нужное место на изображении. Чтобы выделить автономные функции, мы определяем этот слой как «полуавтономная навигация». Этот уровень может быть связан с уровнем 3 или условной автономией, где система генерирует стратегии задач и полагается на оператора для утверждения или отмены выбора. В нашей системе задача навигации выполняется автономно, но под наблюдением оператора, который может выполнять дискретные управляющие действия и отменять автономное управление для выбора другого выхода ориентации.
При обсуждении уровней автономии уровень 2 был опущен. Этот уровень, определяемый как «автономность задач», описывает систему, которая выполняет полуавтономное движение, но зависит от человека в контуре, чтобы указать конечную цель и путевые точки этого движения. Примеры уровня 2 в контексте эндоскопии: движение по заранее заданным траекториям 28 , автономная ретрофлексия 33.и стабилизация кончика эндоскопа во время интервенционных задач (например, биопсии). Хотя автономность задач является многообещающей и может способствовать упрощению общей процедуры, эта работа сосредоточена на навигации внутри толстой кишки. Поскольку форма толстой кишки не является фиксированной и часто меняется, пользователю необходимо постоянно обновлять путевые точки и конечные цели заранее определенных траекторий под контролем уровня 2. С технической точки зрения функции, необходимые для выполнения этой задачи, такие же, как и на уровне 1, поскольку пользователь остается под постоянным контролем. Соответственно, обсуждение уровня 2 в данной работе опущено.
Настольные и in vivo результаты
Экспериментальная проверка
Мы провели ряд экспериментов для оценки разработанных стратегий управления, оценив их эффективность с точки зрения навигации и нагрузки на пользователя. Сначала мы разработали эксперимент для оценки эффективности контроллера ориентации эндоскопа (показан на рис. 1 с расширенными данными и дополнительном видео 2 ), а затем провели лабораторное исследование, в котором пользователей, не обученных колоноскопии, просили сделать несколько попыток навигации по MFE в латексный фантом (схема представлена на рис. 3c ) с использованием различных интеллектуальных стратегий управления. Наконец, мы провели исследование in vivo на двух моделях свиней с целью дальнейшего сравнения эффективности и простоты использования различных методов контроля у живых существ.
Рис. 3: Настольная экспериментальная установка и результаты.
рисунок3
а , экспериментальная установка. Пользователь управляет джойстиком правой рукой и подает шнур левой рукой. Фантом накрыт, а в пользовательском интерфейсе видна эндоскопическая видеопоток. б , время успешного завершения для каждой стратегии управления: прямая операция робота, n = 29; интеллектуальная телеоперация эндоскопа, n = 48; полуавтономная навигация, n = 50. Красные полосы обозначают медианное значение, края - 25-й и 75-й процентили, усы указывают диапазон, а красные кресты обозначают выбросы. Значения P были рассчитаны с использованием критерия Краскела – Уоллиса. c, Деталь латексного фантома, представляющего толстую кишку человека (M40, Kyoto Kagaku Co.). Анатомические особенности воспроизводятся с помощью шаблонных фиксаторов, предоставленных производителем. Была выбрана стандартная конфигурация. г , Пример завершенной траектории MFE с использованием прямого действия робота. e , Пример завершенной траектории MFE с использованием интеллектуальной телеоперации эндоскопа. е , Пример пути эндоскопа во время полуавтономного выполнения. Пользовательская коррекция отображается желтым цветом, а автономное движение - синим.
Полноразмерное изображение
Результаты настольных экспериментов
Чтобы сравнить различные стратегии, мы провели сравнительное испытание на настольной платформе (дополнительное видео 3 ). Имитатор латекса был сконфигурирован в стандартную форму толстой кишки, используемую практиками в области желудочно-кишечного тракта во время тренировки (рис. 3c ), а затем скрыт из поля зрения (рис. 3a).). Десять начинающих участников (без опыта эндоскопии) были проинструктированы перемещать MFE из прямой кишки в слепую как можно быстрее, пять раз для каждой стратегии контроля (всего 15 на пользователя). Каждое задание повторялось пять раз перед переходом к следующему, и все участники выполняли задания в одном и том же порядке. Каждый участник выполнил все задания в один и тот же день, но разные участники были допущены в лабораторию в разные дни. Конец навигационной задачи (слепая кишка) был помещен и зажат в девяти гаустральных складках от конца толстой кишки в соответствии с инструкциями производителя. В результате расстояние от прямой кишки до слепой кишки составило 100 см. Тест считался завершенным после перехода от прямой кишки к слепой кишке за 20 минут или меньше. Пользователям было дано 20 минут для ознакомления с каждой из трех стратегий контроля, чтобы ознакомиться с ними до начала испытания. Выбор 20-минутного ограничения по времени основан на исх.35 , в котором сообщается, что среднее время интубации слепой кишки для стажера при стандартной колоноскопии составляет 14,1 минуты, а также время, выбранное в исследовании на симуляторе колоноскопии 36 . Подробные данные по каждой задаче доступны в дополнительном наборе данных 1 .
После каждой попытки пользователей просили заполнить опросник NASA Task Load Index (TLX) 37 . NASA TLX - это широко используемый инструмент оценки рабочей нагрузки, который направлен на оценку воспринимаемой человеком рабочей нагрузки по шести субъективным субшкалам: умственная потребность (насколько требовательной была эта задача?), Физическая потребность (насколько физически требовательной была задача?), Временная потребность (насколько поспешность или поспешность был темп выполнения задачи?), производительность (насколько успешно вы выполнили задачу?), усилия (насколько усердно вам пришлось работать, чтобы достичь своего уровня производительности?) и разочарование (насколько разочарован, неуверен, обескураженный, раздраженный, напряженный или раздраженный?). Все субшкалы находятся в диапазоне от 0 (очень низкий) до 100 (очень высокий), за исключением производительности, которая колеблется от 0 (идеально) до 100 (сбой).
Общие показатели завершения (процент успешно пройденных из прямой кишки в слепую кишку за 20 минут или меньше) для прямого действия робота, интеллектуального дистанционного управления и полуавтономной навигации составили 58% (29/50), 96% (48/50) и 100%. % (50/50) соответственно. Как показано на рис. 3b , из всех успешных попыток прямая операция робота показала самое медленное среднее время завершения 11 мин 8 с ± 3 мин 59 с, а MFE обычно создавал извилистые траектории (пример показан на рис. 3d).). Часто это происходило из-за того, что пользователь размещал MFE нежелательным образом, застревал, затем ему приходилось тянуть наконечник через шнур, отрегулировать положение MFE и попробовать снова. Интеллектуальная дистанционная работа и полуавтономная навигация были значительно быстрее и сопоставимы друг с другом, со средним временем выполнения 4 мин 6 с ± 2 мин 8 с и 4 мин 14 с ± 1 мин 31 с, соответственно. Эти результаты превосходят результаты колоноскопии, выполненной на том же фантоме новичками, которая в другом исследовании 36 длилась в среднем 17 ± 8 мин. Более подробная информация представлена в Обсуждении . Завершенные траектории MFE с использованием телеоперации эндоскопа (пример показан на рис. 3e ) и автономной навигации (рис. 3f) были гораздо более прямыми и плавными по сравнению с работой робота - MFE было легче позиционировать, и достижение слепой кишки не требовало от пользователя неэффективного извлечения и повторения сложных участков. Значения P на рис. 3b указывают на статистическую значимость при сравнении времени завершения.
Что касается простоты использования (рис. 4), пользователи обнаружили, что прямое управление роботом является значительно более требовательным во всех категориях нагрузки НАСА. Из-за того, что эндоскоп потерял магнитную связь с EPM, возникли большие усилия и разочарование. В разных относительных положениях двух магнитов пользовательские команды производили разные изменения магнитных сил и моментов, которые представлялись пользователям как случайный эффект на движение MFE. Основными причинами отказа при использовании прямого действия робота были изгибы печени и селезенки, а отсутствие интуитивной связи между командой и движением делало эти крутые повороты особенно трудными для навигации. Из трех стратегий управления полуавтономная навигация показала самые низкие оценки пользовательской нагрузки во всех категориях. Производительность автономной системы позволяла пользователям брать на себя большую роль мониторинга; Это в свою очередь,
Рис. 4: Индекс нагрузки задач НАСА означает оценки пользовательской нагрузки по результатам лабораторных испытаний.
фигура 4
Высокие значения с оранжевой заливкой указывают на неудовлетворительное взаимодействие с пользователем, а низкие значения с зеленой заливкой указывают на хорошее взаимодействие с пользователем.
Полноразмерное изображение
В 50 успешных полуавтономных повторениях MFE автономно работал в среднем в течение 91% от общего времени, необходимого для перехода от прямой кишки к слепой кишке, при этом 12 завершенных процедур выполнялись полностью автономно без необходимости ручного управления. Из процедур, требующих ручного вмешательства, пользователям чаще всего приходилось вводить данные с помощью джойстика в прямой кишке из-за множества резких поворотов, обнаруживаемых в быстрой последовательности, в результате чего просвет камеры находился позади и вне поля зрения камеры. Пример полуавтономного исполнения показан на рис. 3е .
Результаты экспериментов in vivo
После того, как лабораторное исследование выявило повышенную простоту использования и производительность, связанные с повышенной автономностью MFE, мы провели исследование in vivo на модели свиней (две самки свиней Йоркшир-Ландрас, 33 кг и 35 кг; дополнительное видео 3). Основные цели экспериментов заключались в следующем: (1) выявить недостатки простой телеоперации робота при магнитных манипуляциях; (2) сравнить преимущества, предоставляемые нетренированным пользователям все более интеллектуальными стратегиями контроля в изменчивой и сложной среде, такой как свиная кишка; (3) учитывая, что по толстой кишке свиньи сравнительно сложнее ориентироваться, чем по толстой кишке человека, обеспечить надежный индикатор потенциала системы в менее сложной анатомии человека. Увеличились извитость результатов толстой кишки свиньи от его высокой спирали структуры (Дополнительного рис. 3). Эта непрерывно спиралевидная траектория, вероятно, создает больше точек контакта ткань-MFE и увеличивает трение, которое требует более высокой магнитной силы для преодоления. Кроме того, петли толстой кишки представляют собой навигационную проблему, которая требует непрерывного вращения внутреннего постоянного магнита (IPM) и EPM, часто достигая пределов магнитного срабатывания или суставов роботизированных манипуляторов. В результате может потребоваться изменение положения животного (например, вращение) или реконфигурация суставов роботизированного манипулятора, что приведет к увеличению общего времени процедуры.
Схема эксперимента выполнялась двумя операторами без опыта работы в эндоскопии. Эксперименты были разработаны для сравнения использования обычного FE (Olympus PCF-160AL) и различных уровней стратегий управления, разработанных для MFE. В начале эксперимента каждому пользователю дали 10-минутный вводный период и проинструктировали использовать стандартный FE для путешествия как можно дальше внутрь толстой кишки свиньи. Через 10 минут конечная точка - самое дальнее расстояние, достигнутое в толстой кишке - была татуирована, чтобы служить маркером сопоставимого расстояния для последующих попыток (рис. 5b). Пройденное расстояние измерялось с помощью инкрементальных отметок на вводной трубке эндоскопа. На каждой итерации, если достигнутое расстояние до конечной точки превышало маркер, новая самая дальняя достигнутая точка измерялась, татуировалась и обновлялась, чтобы стать новой целью.
Рис. 5: Результаты in vivo.
цифра 5
а , Экспериментальная установка испытания in vivo. Роботизированная рука управляет MFE. Эндоскопический видеопоток отображается в пользовательском интерфейсе. б) Деталь тату-маркера, используемого для определения максимального расстояния, достигаемого с помощью обычного эндоскопа. c - Путь, пройденный MFE с использованием автономного управления (уровень 3), достигающий 85 см. Можно наблюдать две анатомические петли, при этом MFE может успешно преодолевать сложные повороты. d , пример видеокадра системы, автономно обнаруживающей и направляющей MFE в направлении свиной полости (зеленая точка).
Полноразмерное изображение
Впоследствии каждый пользователь пытался перемещаться по толстой кишке свиньи с помощью MFE, используя различные стратегии контроля (рис. 5a ). Испытания были разделены на наборы в следующем порядке: одна прямая операция робота, одна интеллектуальная телеоперация и одна полуавтономная навигация. Количество выполненных наборов составляло четыре для первого животного и три для второго животного, поскольку на доступное время влияли ограничивающие факторы, такие как риск продолжительной анестезии. Во время каждого повторения фиксировалось время, необходимое для достижения татуированного маркера, и положение EPM и MFE. Пользователь заполнял NASA TLX после каждой попытки сравнить простоту использования различных подходов. Подробные данные представлены в дополнительном наборе данных 2 .
Время выполнения и процент завершения для двух пользователей указаны в дополнительной таблице 1.. На первом животном расстояние, на которое была нанесена татуировка с использованием стандартного FE, составляло 45 см. Существенная извилистость толстой кишки не позволяла преодолевать дальнейшее расстояние. Затем пользователь мог выполнить четыре попытки, используя каждую стратегию управления MFE. Поскольку время позволяло выполнить четыре подхода с использованием MFE, в этом сравнении были использованы четыре самых быстрых попытки с использованием FE. Среднее время выполнения составило 1 мин 39 с для стандартного FE, 9 мин 4 с для прямого управления роботом, 2 мин 20 с для интеллектуального телеуправления эндоскопа и 3 мин 9 с для полуавтономной навигации. Такой же подход был применен ко второму животному. На начальном этапе с обычным FE пользователь достиг заметного расстояния в 85 см, которое стало целью татуированного расстояния для последующих попыток. Фекальная закупорка не позволяла путешествовать дальше на расстояние.
Время позволило выполнить три набора попыток с использованием MFE, при этом для сравнения использовались три самых быстрых стандартных попытки FE. Среднее время выполнения для второго пользователя составило 3 мин 29 с для стандартного FE, 8 мин 36 с для интеллектуальной телеоперации эндоскопа и 9 мин 39 с для полуавтономной навигации. Самый нижний уровень, прямая операция робота, не смог достичь маркера.
Траектория MFE во время одного из автономных контрольных испытаний (уровень 3, пользователь 2, цель 85 см) показана на рис. 5c , а изображение с бортовой камеры, обнаруживающее просвет, показано на рис. 5d . Траектория показывает, что MFE может преодолеть две петли и несколько извилистых поворотов. Что касается загруженности пользователей (рис. 6), оба пользователя обнаружили, что использование стандартного FE и прямое управление роботом было наиболее требовательным во всех категориях рабочих нагрузок NASA. Прямое управление роботом было более требовательным, чем стандартное FE для большинства категорий умственной нагрузки. FE, хотя его сложно освоить, имеет физическую кабельную связь между интерфейсом управления и наконечником, что обеспечивает прямую и предсказуемую реакцию на движение наконечника. Отсутствие интеллектуального управления для непосредственной работы робота и физической связи между взаимодействующими магнитными полями означало, что пользователь должен был мысленно предсказать результат своего следующего ввода, учитывая текущее состояние магнитной системы, что часто приводило к разочарованию, когда движение MFE не двигался, как предполагалось. Интеллектуальное дистанционное управление и полуавтономная навигация были значительно менее требовательны для начинающего пользователя. Как и в настольных экспериментах, в автономном режиме пользователь имел возможность отменить движение с помощью ручного управления. Во время полуавтономных повторов MFE находился в автономном режиме (в среднем) 87% времени, необходимого для достижения маркера для пользователя 1 (общее расстояние 45 см) и 78% для пользователя 2 (общее расстояние 85 см). см). Этот замечательный результат был получен под наблюдением ветеринарного врача, который постоянно проверял безопасность процедуры. Такой высокий уровень автономности указывает на то, что полуавтономный режим в сочетании с использованием таких мер безопасности, как ограниченное минимальное межмагнитное расстояние, обеспечивает удовлетворительный уровень безопасности. MFE находился в автономном режиме (в среднем) 87% времени, необходимого для достижения маркера для пользователя 1 (общее расстояние 45 см) и 78% для пользователя 2 (общее расстояние 85 см). Этот замечательный результат был получен под наблюдением ветеринарного хирурга, который постоянно проверял безопасность процедуры. Такой высокий уровень автономности указывает на то, что полуавтономный режим в сочетании с использованием таких мер безопасности, как ограниченное минимальное межмагнитное расстояние, обеспечивает удовлетворительный уровень безопасности. MFE находился в автономном режиме (в среднем) 87% времени, необходимого для достижения маркера для пользователя 1 (общее расстояние 45 см) и 78% для пользователя 2 (общее расстояние 85 см). Этот замечательный результат был получен под наблюдением ветеринарного хирурга, который постоянно проверял безопасность процедуры. Такой высокий уровень автономности указывает на то, что полуавтономный режим в сочетании с использованием таких мер безопасности, как ограниченное минимальное межмагнитное расстояние, обеспечивает удовлетворительный уровень безопасности.
Рис. 6. Индекс нагрузки задач НАСА - средние оценки рабочей нагрузки на моделях свиней.
рисунок6
Высокие значения с оранжевой заливкой указывают на неудовлетворительное взаимодействие с пользователем, а низкие значения с зеленой заливкой указывают на хорошее взаимодействие с пользователем.
Полноразмерное изображение
Обсуждение
В этой работе мы обеспечиваем интеллектуальную и автономную навигацию магнитных эндоскопов в сложных средах, таких как толстая кишка, и определяем, как повышенные уровни автономии могут быть применены к роботизированной эндоскопии. Мы обсуждаем функции, необходимые для включения каждого уровня автономии, и синтезируем интегрированную схему управления, в которой программные уровни с более высоким интеллектом извлекают выгоду из функций, предлагаемых нижележащими уровнями. Эффективность наших методик была проверена на лабораторных условиях и in vivo на модели свиней. В отношении научных вопросов, изложенных в начале статьи, мы показываем следующее:
(1)
Сложность, присущая навигации магнитных эндоскопов с одним внешним постоянным магнитом, может быть преодолена с помощью разработанных интеллектуальных стратегий управления. Они смогли замаскировать неинтуитивный характер взаимодействующих магнитных полей и градиентов поля. В частности, одновременное использование локализации и усовершенствованной стратегии управления с обратной связью имеет решающее значение для достижения удовлетворительного времени выполнения процедуры. Доступность надежного механизма локализации может быть заменена методами 27 на основе оценки или визуальной обратной связью 38 в приложениях, где окружающая среда более структурирована и ограничена, таких как навигация в легких или сердечно-сосудистом аппарате. Однако сложность, присущая колоноскопии, требует внутренней (как в данной работе) или внешней локализации.39 .
Более того, мы показываем, как эффективная стратегия управления может преодолеть ограничения, налагаемые срабатыванием одного постоянного магнита. Системы, основанные на различных источниках магнитного поля, таких как катушки 40 или вращающиеся постоянные магниты 41, могут обеспечивать аналогичные возможности со сравнимыми результатами, хотя непрерывное вращение эндоскопа (и, следовательно, камеры) может препятствовать интеграции зрения, локализации и управления.
(2)
Минимальный уровень автономии, необходимый неспециалисту для эффективной навигации в сложной среде, такой как двоеточие, - уровень 1. В исх. 36время, необходимое для достижения слепой кишки с помощью обычного эндоскопа (на том же фантоме, который использовался в этом исследовании), было оценено на 32 начинающих пользователях и 21 опытном эндоскопе. В среднем 17 мин ± 8 мин требовалось для полностью неподготовленных операторов, снижаясь до 11 мин ± 7 мин после 11 часов обучения. Кроме того, опытные колоноскописты, выполнившие тот же тест, дали среднюю продолжительность процедуры 7 мин ± 5 мин. Результаты этого исследования показывают, что телеоперация эндоскопа и полуавтономная навигация превосходят обычную колоноскопию для новичков и недавно обученных операторов, сокращая время, необходимое для достижения слепой кишки, до значения, сопоставимого с показателями опытных врачей.
(3)
Автономная навигация представляет собой важный шаг на пути к автономному выполнению колоноскопии, обеспечивая тем самым существенные преимущества с точки зрения снижения умственной и физической нагрузки. Более того, степень автономности, обеспечиваемая этой функцией, как и в других задачах, таких как хирургическое наложение швов, может революционизировать клинический рабочий процесс, требуя минимального и прерывистого вмешательства со стороны оператора. В будущем скорость робота будет увеличена для достижения более быстрого движения и дальнейшего сокращения продолжительности процедуры.
Другие примеры манипуляций с магнитными эндоскопами доступны в литературе 42 , но им либо не хватает локализации 27 , троса для эндоскопа (необходимого для возможности вмешательства) 43 или интеллектуальной системы управления 44 , что ограничивает перевод в клиническое использование. В этой статье показан привязанный магнитный эндоскоп, успешно перемещающийся по толстой кишке модели свиньи с помощью комбинированного использования магнитной локализации, роботизированного управления с обратной связью и обработки изображения камеры эндоскопа.
Показанные здесь результаты основаны на работе, проделанной в течение 12 лет, в ходе которых были разработаны основы платформы MFE. В предыдущих работах наша группа оценивала различные стратегии управления, направленные на решение определенных аспектов навигации, таких как заранее определенные траектории на рабочем столе 34 , левитация 45 или преодоление препятствий 46, но здесь мы описываем полный контроль над процессом навигации, успешное пилотирование MFE в модели свиньи. Мы также демонстрируем автономную навигацию эндоскопов с магнитным управлением in vivo. Используя сочетание магнитной и визуальной обратной связи, мы разработали систему, которая может сделать эндоскопическое обследование кишечника автономным и более удобным для пользователя по сравнению с использованием обычных эндоскопов. Наша цель - снизить сложность эндоскопических процедур за счет автоматизации ручных операций с эндоскопом, тем самым снижая нагрузку на оператора и позволяя сосредоточиться на клинических аспектах процедуры. Эта работа может облегчить внедрение колоноскопии, требуя ограниченного набора навыков для навигации устройств магнитного эндоскопа, тем самым позволяя более эффективно использовать ранее необходимые учебные ресурсы для диагностики и лечения пациентов. Учитывая спрос на колоноскопию и ожидаемый рост кампаний профилактического обследования в следующем десятилетии, результаты этой работы могут внести существенный вклад в спасение человеческих жизней. Эта работа также имеет решающее значение как научная основа для перехода к клиническим испытаниям, где могут быть проверены другие важные гипотезы, такие как приемлемость и уровень боли, связанной с процедурой.
Поскольку ежегодно в Соединенных Штатах и Европейском Союзе проводится 19 миллионов колоноскопий, а спрос постоянно растет, эта технология имеет революционный потенциал и революционизирует текущую практику. Потенциальное влияние этой работы также касается контроля магнитных эндоскопов для других приложений, таких как гастроскопия 47 и бронхоскопия 48 . Структура, определенная в этой работе, может быть адаптирована с различными конструкциями эндоскопов и закладывает основу для развития дополнительных уровней автономии.
Методы, применяемые в этой работе, сильно зависят от локализации эндоскопа, который работает при условии отсутствия искажений магнитного поля, создаваемого EPM. Это может быть серьезным ограничением в клинической среде, хотя чувствительное рабочее пространство ограничено брюшной полостью пациента, и наличие устройств, совместимых с МРТ, может смягчить это препятствие. Более того, эффективное рабочее пространство ограничено силой магнитов. Это может отрицательно сказаться на пациентах с высоким индексом массы тела, для которых минимальное безопасное расстояние от EPM до эндоскопа выше. Сила магнита также влияет на маневренность эндоскопа; более сильные магниты потребуют меньшего движения EPM, таким образом улучшая реактивность эндоскопа и подавляя помехи. Самым жизнеспособным решением было бы изменить конструкцию эндоскопа, который в настоящее время ограничивается использованием автономных камер, требующих выделенных кабелей и уменьшающих пространство, доступное для магнита. Для дальнейшей проверки методов, описанных в этой статье, в будущем мы рассмотрим обширные испытания настольных фантомов со сложной конфигурацией, такой как альфа-петли, которые могут быть значительно более сложными для навигации.
В настольном исследовании целью было проверить наши методы контроля и проверить гипотезу о том, что неспециалист может перемещаться по толстой кишке с небольшими умственными и физическими нагрузками, используя MFE и увеличивая помощь роботов. Таким образом, когорта полных новичков была сочтена наиболее подходящей. Для будущей работы было бы интересно провести исследование с участием пользователей с различным уровнем квалификации, которое укажет кривую обучения этой технологии - то, что мы исследовали ранее 49 и намерены исследовать в будущих работах с аппаратной платформой следующего поколения.
Результаты этой работы также открывают путь к развитию других автономных задач в эндоскопии. Дальнейшие преимущества могут быть получены за счет разработки автономных стратегий контроля, помогающих решать такие терапевтические задачи, как биопсия и полипэктомия. Современная диагностическая практика основана на опыте оператора и его обучении анализу эндоскопического изображения. Мы предполагаем, что в будущем искусственный интеллект и автономная навигация могут быть объединены, чтобы в конечном итоге улучшить уход за пациентами (диагностика и терапия), и что с развитием специальных стратегий управления (которые полностью интегрируют модуль зрения с искусственным интеллектом), более высокие уровни автономии (то есть 4-го уровня) станет возможным. Кроме того, эта работа особенно своевременна,50 . Стандартная эндоскопия требует наличия нескольких сотрудников и их близости к пациенту. Это проблематично, потому что КЭ генерируют аэрозоли, которые могут легко распространять инфекцию между многочисленным сгруппированным персоналом. MFE и разработанные здесь средства управления демонстрируют возможность проведения процедур роботизированной эндоскопии с меньшим количеством персонала и, с небольшими изменениями в системе MFE (например, с помощью простого тросового питателя), возможность уменьшить контакт между персоналом и пациентом. Это может упростить процедуры со значительно меньшим риском вирусной инфекции или перекрестного заражения и позволить эндоскопической практике избежать любых будущих пандемий.
Интеллектуальное управление и автономная навигация
Эксперименты, описанные в этой работе, нацелены на оценку характеристик различных уровней автономии, необходимых для успешной навигации по толстой кишке с помощью платформы MFE. В этом разделе мы сначала описываем систему и функции, предоставляемые каждым уровнем. Затем мы обсудим процесс проверки автономного алгоритма обнаружения просвета.
Системный Обзор
Основными компонентами системы являются роботизированная рука с установленным на ее конце EPM и магнитный эндоскоп. Эндоскоп, показанный на рис. 1 , состоит из трехмерной (3D) печатной оболочки, схемы локализации, эндоскопической камеры и интракорпорального постоянного магнита (IPM), который погружается в поле, создаваемое EPM.
Взаимодействие между EPM и IPM, показанным на дополнительном рис. 4 , обеспечивается магнитной связью. Силы ( f 1 ) и моменты ( τ 1 ), действующие на IPM, вычисленные относительно мировой системы отсчета O W , описываются моделью магнитного диполя:
fl=∇(mI⋅BE)τl=mI×BE
(1)
где m E и m I - магнитные моменты EPM и IPM, выраженные относительно глобальной системы координат O W , B E - вектор, представляющий магнитное поле, создаваемое EPM в позиции IPM, а m E , m I- векторы, описывающие декартовы положения EPM и IPM. Манипулятор с 5 степенями свободы теоретически может перемещать EPM в любой позе, соответственно генерируя все возможные комбинации сил и моментов. На практике манипулятор с 7 степенями свободы, такой как KUKA LBR Med R820, используемый в этой работе, обеспечивает повышенную маневренность и сводит к минимуму риск достижения пределов суставов. Система была реализована через ROS (Robot Operating System), при этом робот-манипулятор управлялся в суставном пространстве. Для всех тестов пользовательский ввод осуществлялся с помощью джойстика с 6 степенями свободы (3D Space Pilot, 3D Connexion). Этот джойстик с высокой глубиной резкости был необходим, поскольку уровень управления 0 требует, чтобы пользователь управлял движениями EPM с несколькими степенями свободы (тангаж, рыскание и перемещение вверх, вниз, вперед и назад). Этот джойстик затем также использовался для телеоперации эндоскопа и автономной навигации, чтобы оставаться эргономичной во всех тестах. После завершения этого исследования было отмечено, что более успешные интеллектуальные уровни управления требовали упрощенного пользовательского ввода с уменьшенной глубиной резкости. Таким образом, для будущих разработок можно использовать более подходящий джойстик, например, контроллер навигации PlayStation 3 (рис.2 , Sony Corporation).
Прямое управление роботом
Этот уровень обеспечивает базовую функциональность дистанционного управления EPM для косвенного воздействия на MFE. Концевой эффектор роботизированной руки управляется через интерфейс джойстика, подключенный к низкоуровневому контроллеру. Команды оператора, поступающие через интерфейс джойстика, представляют собой запрос пользователя на перемещение рабочего органа робота. Входы, включающие угловые смещения (где - единичный вектор, связанный с m E ) и линейные перемещения , собираются и преобразуются в вариации углов суставовδm^E∈R3m^E\ updelta {{{\ bf {p}}}} _ {{{{\ bf {E}}}} \ in {\ Bbb R} ^ 3 \ updelta {{{\ bf {q}}}} \ in {\ Bbb R} ^ 7δpE∈R3δq∈R7 с помощью дифференциального отношения:
δq=J†Was[δpEδm^E]+γ(I−J†J)δq0
(2)
где - это псевдообратный якобиан робота, а - подходящая матрица весов. Чтобы избежать совместных ограничений, была принята модифицированная версия насыщения в алгоритме 51 нулевого пространства . Это включает в себя масштабирование задачи с помощью коэффициента масштабирования (дополнительный алгоритм 2 ) и введение подходящего действия в нулевом пространстве якобиана робота, умноженного на коэффициент масштабирования γ , функцию увеличения скорости робота (настраивается вручную). В данной работе δ qJ†∈R7×6Wa∈R6×6s∈R6\ updelta {{{\ bf {q}}}} _ 0 \ in {\ Bbb R} ^ 7δq0∈R70 был выбран таким образом, чтобы минимизировать расстояние углов суставов робота от центрального положения (Дополнительный алгоритм 3 ). Из соображений безопасности абсолютное вращение и вертикальная высота концевого эффектора были ограничены и регулируются через пользовательский интерфейс. Углы суставов робота q ( t ) вычисляются на каждом временном шаге алгоритма управления путем интегрирования по времени (прямой метод Эйлера).
Положение и ориентация наконечника эндоскопа показаны пользователю в сочетании с позой робота с помощью виртуальной трехмерной среды. Одновременно с этим пользователю предоставляется видеопоток камеры, встроенной в капсулу. Концевой эффектор робота дистанционно управляется при условии, что эндоскоп будет следовать за движением EPM из-за магнитной связи. Этот подход, хотя и очень простой с вычислительной и архитектурной точки зрения, имеет несколько недостатков: (1) магнитная связь нелинейна, следовательно, аналогичные вариации позы EPM могут не привести к такому же эффекту на эндоскоп, (2) ориентация камера не совмещена с перспективой пользователя (сила тяжести может быть в любом направлении в кадре камеры),
Благодаря осевой симметрии постоянных магнитов вращение вокруг их продольной оси не влияет на магнитное поле. По этой причине ориентация оси вращения эндоскопа неуправляема, и поэтому выравнивание камеры по этой оси неуправляемо. От оператора требуется мысленно вычислить поворот изображения относительно горизонта и учесть его при работе с роботом. Эндоскописты обычно решают эту сложную задачу методом проб и ошибок, но требуется опыт, и оператор может испытывать значительный стресс. Более того, эффект, создаваемый движением EPM на эндоскоп, может изменяться в различных относительных положениях из-за нелинейности магнитной связи, что усложняет задачу навигации.
Во время предварительных испытаний несколько пользователей сообщили о серьезных трудностях с раздельным запросом вращения и перемещения рабочего органа. Это может быть связано со сложностью нажатия на джойстик контроллера без вращения, и наоборот. Чтобы упростить дистанционное управление, движение EPM было ограничено путем предотвращения движений по оси y.оси и вращения вокруг оси крена, так как первое соответствует боковому движению эндоскопа, а второе - вращению вокруг оси намагничивания. Кроме того, были определены два режима работы с целью разделения управления движением и ориентацией эндоскопа. В первом предотвращается продольное вращение EPM. Во втором случае линейные движения аннулируются в пользу управления вращением. Эта особенность достигается путем присвоения подходящих весов матрице W a , показанной в дополнительном уравнении ( 1 ).
Интеллектуальная телеоперация эндоскопа
Основная особенность этого уровня состоит в том, чтобы замаскировать сложность дистанционного управления роботом для желаемого движения эндоскопа, так как воздействие на IPM посредством командных движений EPM не интуитивно понятно. Эта подсистема обеспечивает непосредственное управление наконечником эндоскопа пользователю, тем самым преодолевая ограничения нижнего уровня с точки зрения простоты использования.
Интеллектуальное дистанционное управление MFE обеспечивается системой локализации в реальном времени, как подробно описано в исх. 34 . Это основано на оценке фильтром частиц позы кончика носа относительно предварительно рассчитанной карты магнитного поля, созданной EPM 52 . Система способна определять ориентацию и положение наконечника MFE с точностью 5 мм (± 1 мм) и 6 ° (± 0,8 °) в статических и динамических условиях. Используя преимущества обнаружения, обеспечиваемого локализацией, была исследована схема управления с обратной связью, направленная на навигацию по эндоскопу.
Чтобы разработать систему управления на основе линейной модели, модель магнитного диполя для сил и моментов, описанных в уравнении ( 1 ), может быть выражена относительно положения и ориентации магнитов и локально линеаризована, что приведет к следующему дифференциальному соотношению:
[δ fлδτл]знак равнознак равно⎡⎣⎢∂Fм∂пE∂τм∂пE∂Fм∂пя∂τм∂пя∂Fм∂м^E∂τм∂м^E∂Fм∂мяˆ∂τм∂м^я⎤⎦⎥⎡⎣⎢⎢⎢⎢δ pEδ pяδмEˆδмяˆ⎤⎦⎥⎥⎥⎥JF A(пE,пя,мEˆ,мяˆ)⎡⎣⎢⎢⎢⎢δ pEδ pяδмEˆδмяˆ⎤⎦⎥⎥⎥⎥
(3)
где и - нелинейные выражения магнитных сил и моментов (полное выражение представлено в Дополнительном уравнении ( 2 )) 53 , p E и - позиции EPM и IPM, и - единичные векторы, представляющие ориентацию EPM и IPM в мировой системе отсчета, а δ f lin иFм∈р3τм∈р3пя∈р3м^Eм^я∈р3δτл я н∈р3 представляют собой вариант F m и относительно изменения локальной конфигурации. Предполагая постоянное положение эндоскопа, уравнение ( 3 ) можно упростить доτм∈р3
[δжлδτл] =JF(пE,пя,мEˆ,мяˆ) [δпEδмEˆ]
(4)
Несмотря на то, магнитный дипольный модель является глобально нелинейным, локальной линеаризация и постоянный эндоскоп поза разумных допущения , как движение эндоскопа медленно (~ 0,01 м с -1 ) по отношению к частоте контура управления (100 Гц). Якобиан J F вычисляется на каждом временном шаге; таким образом, упрощенная линейная модель применима локально и обеспечивает удовлетворительные характеристики.
Управление ориентацией осуществляется замкнутой системой, описываемой следующим выражением:
δ τлзнак равнорягp d (δϑа , я¯¯¯¯¯¯¯¯¯¯,ωа , я¯¯¯¯¯¯¯¯)
(5)
Функция pd () вычисляет действие пропорционально-производного управления по отношению к вводу пользователя и текущие угловые скорости эндоскопа выраженные в локальных координатах (верхняя черта указывает на локальную систему координат). - матрица вращения, описывающая ориентацию эндоскопа относительно (относительно) глобальной системы отсчета, показанной на дополнительном рис. 5 .δϑа , я¯¯¯¯¯¯¯¯¯¯∈р3ωа , я¯¯¯¯¯¯¯¯∈р3ряг∈р3 х 3
Управление линейным перемещением эндоскопа не основано на линеаризованной магнитной модели уравнения ( 5 ). Когда требуется линейное движение, ориентация эндоскопа проецируется на горизонтальную самолет на оператор proj xy () и умноженный на команду движения . Демпфирующий член вводится для поддержания EPM вблизи эндоскопа, где - сила, действующая со стороны EPM в направлении z (вертикальном),м^яδИкса , я¯¯¯¯¯¯¯¯¯¯¯∈р3( α [ 1 -FмzFмz, м а х] )FмzFмz, м а х - максимальное значение той же силы, а α - весовая константа. Наконец, является термином активации, таким образом, активируя член с прямой связью, когда поступает команда движения. Общая функция управления показана в уравнении ( 6 ), в то время как вычисление псевдообратной функции якобиана выполняется с помощью алгоритм взвешенных / затухающих наименьших квадратов, как показано в дополнительном алгоритме 4 :WF F∈ { 0 , 1 }J†F
[δ pEδмEˆ] =J†F[0δ τл] +WF F(δ Xа , я¯¯¯¯¯¯¯¯¯¯¯)п р о джх у(мяˆ) (δ Xа , я¯¯¯¯¯¯¯¯¯¯¯- α [ 1 -FмzFмz, м а х] )
(6)
Предварительные испытания показали, что линеаризованный подход к дистанционному управлению эндоскопом может вызвать дрейф в EPM относительно оптимальной позы (то есть точно над эндоскопом), что приведет к снижению управляемости MFE. В состоянии нормального движения робот управляется уравнением ( 6 ). Если магнитная связь не оптимальна (номер условия ), система переходит в состояние «воссоединения» магнит возвращается в оптимальное состояние, и уравнение ( 7 ) управляет движением робота. Функция pi () вычисляет пропорциональное интегральное управляющее действие для перемещения EPM непосредственно над эндоскопом, сохраняя ориентацию в плоскости x - y :JF≫ 1
δ pE= p i⎡⎣⎢⎢пЯ ,х-пE ,xпЯ ,у-пE ,yчасr e s e t-пE ,x⎤⎦⎥⎥δмEˆ= p i (п р о джх у(мяˆ-мEˆ) )
(7)
Точно так же можно использовать моменты, когда эндоскопу не поступает команда на движение, чтобы максимизировать магнитные манипуляции. Когда джойстик не генерирует ввод в систему управления, управляющее воздействие переключается в другое состояние, где поступательная динамика управляется уравнением ( 7 ), а вращательная динамика описывается уравнением ( 8 ). Вращательные смещения EPM вычисляются как задача оптимизации, когда гаечные ключи, применяемые к эндоскопу, сводятся к минимуму, чтобы предотвратить любое нежелательное движение эндоскопа:
δмEˆ= m i nJF A⎡⎣⎢⎢⎢δ pE0δмEˆ0⎤⎦⎥⎥⎥
(8)
Автономная навигация
Этот уровень нацелен на дальнейшее повышение автономности, предлагая возможности автономной навигации для приложения MFE. Для автономной навигации по толстой кишке мы используем комбинацию алгоритмов магнитной манипуляции, определенных в предыдущих разделах, и обработки изображений для автономного определения направления толстой кишки. С помощью этой информации о направлении мы можем (1) автономно направить рамку камеры MFE к центру просвета ободочной кишки и (2) автономно продвинуть MFE вперед через толстую кишку после совмещения с просветом.
Из-за присущей толстой кишки сильно изменчивой подвижности (обусловленной движением тела пациента, дыханием, перистальтикой и низким модулем упругости ткани) мы попытались применить подход к автономной навигации, лишенный заранее определенных траекторий. Наш подход основывается на понимании пути толстой кишки в режиме реального времени с помощью обработки изображений. Несколько групп разработали методы обработки изображений для определения направления движения в эндоскопических изображениях, отметив, что будущие преимущества будут найдены в применении этих методов для активного управления эндоскопами 54 , таких как работа, которую мы представляем здесь. Выбранный нами подход к определению направления в толстой кишке не основан на конкретных особенностях толстой кишки, таких как хаустральные складки 55. И наоборот, он основан на подходе, который, возможно, можно адаптировать к множеству трубчатых полостей. Отсутствие специфической функции позволяет перенести автономную навигационную работу, которую мы представляем здесь, на другие устройства магнитного эндоскопа, предназначенные для навигации в других трубчатых полостях.
Чтобы обнаружить просвет толстой кишки на изображении эндоскопа, мы основываемся на алгоритме адаптивной пороговой сегментации, представленном в исх. 54 (псевдокод этого алгоритма показан в дополнительном алгоритме 1 ). Изображение сначала сегментируется (расширенные данные, рис. 2a, b ), чтобы удалить все, кроме самой темной и наиболее отчетливой области, при условии, что эта область, скорее всего, содержит дистальный просвет. Эта сегментация выполняется с использованием красного канала изображения RGB, поскольку этот канал усиливает различие между яркими и темными областями в толстой кишке с преобладанием красного цвета.
Затем изображение субдискретизируется на 50%, чтобы уменьшить вычислительную сложность, а затем конвертируется в оттенки серого. Соответствующая гистограмма уровней серого изображения содержит отдельные точки впадины, которые можно использовать для разделения пикселей на два класса: класс области без просвета и класс области просвета. Чтобы определить оптимальный порог для разделения пикселей на эти два класса, каждое возможное пороговое значение измеряется на предмет разделимости его класса с использованием меры дискриминантного критерия. Порог, который возвращает максимальное значение для этой меры, дает порог, который наиболее эффективно сегментирует изображение. Однако после этой сегментации на изображении может остаться несколько областей. Таким образом, каждая область оценивается по ее вероятности содержать просвет, причем область наивысшей оценки является функцией самой большой площади и самой темной средней интенсивности пикселей.54 . В этой последней области удаляются все пиксели, кроме самых темных, причем точка центра масс этих оставшихся пикселей является окончательной оценкой центра просвета.
Чтобы продвинуть эндоскоп в толстой кишке, мы предполагаем, что камера должна быть направлена в просвет до того, как будет требоваться какое-либо движение вперед. Управление ориентацией основано на том, что описано в предыдущем разделе, и на входе в контроллер ориентации эндоскопа создается, как описано уравнением ( 9 ). Пропорциональный контроллер выравнивает центр изображения ( x c , y c ) с обнаруженным просветом ( x l , y l ), как показано на рис. 2c расширенных данных :δϑа , я¯¯¯¯¯¯¯¯¯
δθа , я¯¯¯¯¯¯¯¯¯= β[Иксc-Икслyc-yл]
(9)
скорость, сообщающая поступательное движение эндоскопу , прямо пропорциональна выравниванию между эндоскопическим изображением и центром просвета, как описано уравнением ( 10 ) и показано на рис. 2d с расширенными данными :δИкса , я¯¯¯¯¯¯¯¯¯¯
δИкса , я¯¯¯¯¯¯¯¯¯¯= 1 -еκ(Иксc-Иксл)2+ (yc-yл)2√
(10)
Поскольку линейная скорость снижается за счет расположения просвета, приоритет отдается управлению эндоскопом. Эндоскоп продвигается через толстую кишку только тогда, когда просвет направлен к центру изображения, что предотвращает попадание эндоскопа в складку ткани или против изгибов.
Однако, если эндоскоп направлен на стенку толстой кишки и просвет не виден, автономной системе необходимо отреагировать и избежать продвижения эндоскопа к неправильно идентифицированному просвету. По этой причине алгоритм обнаружения FAST («признаки ускоренного тестирования сегмента») используется для определения различимых краев в изображении. В сценариях без просвета (расширенные данные, рис. 3а ) наблюдается явное уменьшение количества деталей на изображении по сравнению с изображениями, содержащими значительную часть просвета толстой кишки (расширенные данные, рис. 3b ). В частности, наличие гаустральных складок и перекрывающихся тканевых лоскутов составляет удовлетворительный набор признаков.
При установленном пороговом значении количества функций, основанном на опыте работы с системой, контроллер обнаружит отсутствие просвета и инициирует процедуру смягчения последствий. Эта процедура включает в себя систему, перемещающую EPM от MFE, так что, будучи свободным от противодействующего магнитного момента, эндоскоп может естественным образом выровняться с просветом толстой кишки, когда пользователь слегка оттягивает трос. После перемещения просвета автономная навигация возобновляется.
Дополнительная информация об экспериментах in vivo
Испытания in vivo проводились в экспериментальном центре на крупных животных в Университете Лидса в соответствии с лицензией Министерства внутренних дел (Великобритания) (лицензия на проектную процедуру PC71ADE55) в соответствии с Законом о животных (научные процедуры) 1986 года и руководящими принципами NC3Rs. Отчетность проводилась в соответствии с директивами ARRIVE.
Свиньи Йоркшир-Ландрас весили 33 кг и 35 кг и были помещены в положение лежа на спине под общей, терминальной анестезией, с водной клизмой, которую проводили после общей седации для очистки кишечника перед началом исследования. Пользователи, проводившие испытание, прошли обучение по вопросам защиты животных и содержания животных, а также под наблюдением квалифицированного гастроэнтеролога и ветеринарного врача. При перемещении по толстой кишке во время экспериментов in vivo пользователи имели доступ к инсуффляции воздуха для расширения толстой кишки, отсасыванию для удаления стула и мусора и к орошению водой для очистки камеры эндоскопа. Проведено вскрытие трупа, грубых травм или перфорации толстой кишки не выявлено.
Сводка отчетности
Дополнительная информация о дизайне исследования доступна в Резюме отчета об исследованиях природы, связанном с этой статьей.
Доступность данных
Все данные, подтверждающие выводы этого исследования, доступны в статье и файлах с дополнительной информацией.
Доступность кода
Все алгоритмы и математические методы, использованные в этом исследовании, доступны в статье и дополнительной информации к ней. Компьютерный код можно получить у соответствующего автора по разумной просьбе..
.jpg)
.png)
.jpg)
Комментарии