Трансформатор зрения для декодирования действий хирурга из хирургических видео.

Природная биомедицинская инженерия (2023 г.) Процитировать эту статью

6508 Доступов

2 цитаты

129 Альтметрика

Подробности о метриках

Интраоперационная деятельность хирурга оказывает существенное влияние на послеоперационные результаты. Однако для большинства хирургических процедур детали интраоперационных хирургических действий, которые могут широко варьироваться, недостаточно изучены. Здесь мы сообщаем о системе машинного обучения, использующей преобразователь зрения и контролируемое контрастное обучение для декодирования элементов интраоперационной хирургической деятельности из видео, обычно собираемых во время роботизированных операций. Система точно определяла хирургические этапы, действия, выполняемые хирургом, качество этих действий и относительный вклад отдельных видеокадров в декодирование действий. Путем тщательного тестирования данных из трех разных больниц, расположенных на двух разных континентах, мы показываем, что система обобщает видео, хирургов, больницы и хирургические процедуры и что она может предоставлять информацию о хирургических жестах и ​​навыках из неаннотированных видео. Расшифровка интраоперационной активности с помощью точных систем машинного обучения может использоваться для предоставления хирургам обратной связи об их операционных навыках, а также может позволить определить оптимальное хирургическое поведение и изучить взаимосвязь между интраоперационными факторами и послеоперационными результатами.

Главной целью хирургии является улучшение послеоперационных результатов лечения пациентов1,2. Недавно было продемонстрировано, что на такие результаты сильно влияет интраоперационная хирургическая деятельность3, то есть то, какие действия выполняет хирург во время хирургической процедуры и насколько хорошо эти действия выполняются. Однако для подавляющего большинства хирургических процедур детальное понимание интраоперационной хирургической активности остается неясным. Этот сценарий слишком распространен в других областях медицины, где факторы, влияющие на определенные результаты лечения пациентов, либо еще не обнаружены, либо проявляются по-другому. Статус-кво в хирургии таков, что интраоперационная хирургическая активность просто не измеряется. Из-за такого отсутствия измерений сложно выявить различия в способах выполнения хирургических процедур в зависимости от времени, хирургов и больниц, проверить гипотезы, связывающие интраоперационную активность с исходами пациентов, а также предоставить хирургам обратную связь об их операционной технике.

Интраоперационную хирургическую деятельность можно расшифровать по видео, обычно снимаемым во время хирургических процедур с помощью робота. Такое декодирование дает представление о том, какие процедурные этапы (например, рассечение тканей и наложение швов) выполняются с течением времени, как эти этапы выполняются (например, посредством набора дискретных действий или жестов) оперирующим хирургом и с каким качеством они выполняются. выполняются (т.е. овладение навыком; рис. 1). В настоящее время, если бы видео нужно было декодировать, это было бы сделано посредством ручного ретроспективного анализа опытным хирургом. Однако этот подход, ориентированный на человека, является субъективным, поскольку зависит от интерпретации действий наблюдающего хирурга; ненадежен, поскольку предполагает, что хирург осведомлен обо всех интраоперационных действиях; и не масштабируем, поскольку требует присутствия опытного хирурга и большого количества времени и усилий. Эти предположения особенно необоснованны в тех случаях, когда опытные хирурги недоступны (например, в условиях ограниченных ресурсов) и уже ограничены во времени. Таким образом, существует острая необходимость объективной, надежной и масштабируемой расшифровки интраоперационной хирургической деятельности.

а. Хирургические видео, обычно собираемые во время роботизированных операций, декодируются с помощью SAIS в несколько элементов интраоперационной хирургической деятельности: что выполняет хирург, например, этапы наложения швов при обращении с иглой, введении иглы и извлечении иглы, а также то, как эта деятельность выполняется хирургом. хирургом, например, с помощью отдельных жестов и на разных уровнях квалификации. б. SAIS представляет собой единую систему, поскольку одну и ту же архитектуру можно использовать для независимого декодирования различных элементов хирургической деятельности: от распознавания субфаз до классификации жестов и оценки навыков.