Спосіб інтегрованого тривимірного моделювання біомедичних об’єктів
Формула / Реферат
Спосіб інтегрованого тривимірного моделювання біомедичних об'єктів, що включає створення воксельних та векторних тривимірних моделей частин тіла, який відрізняється тим, що проводять напівавтоматичне сегментування ультразвукових даних, даних комп'ютерної та магнітно-резонансної томографії, мікроскопії, використовують стереофотограмметрію фотографічних, ендоскопічних та інших біомедичних даних, поєднують моделі, створені на основі даних з різних джерел візуальної інформації у єдиному тривимірному середовищі, проводять їх анімування, використовують методики "захоплення руху", а також створюють стереоскопічні зображення.
Текст
Спосіб інтегрованого тривимірного моделювання біомедичних об'єктів, що включає створення воксельних та векторних тривимірних моделей частин тіла, який відрізняється тим, що прово 3 мається на увазі множина плоских зображень шарів, отримана при комп'ютерній або магнітнорезонансної томографії. Зазвичай, шари мають рівну товщину (наприклад, один шар на міліметр) і рівну кількість пікселів на кожен шар. Таким чином, вхідними даними є регулярна сітка у вокселях, де кожному вокселю відповідає усереднене значення (переважно, щільність матеріалу) у цій точці тривимірного об'єкта. Відомий спосіб отримання тривимірних зображень (патент США № 6825838, опубл. 30.11.2004) - комп'ютерна система тривимірного моделювання для побудови віртуальних моделей з великої кількості томографічних зображень, що мають визначені взаємні просторові розташування. Сьогодні при порівнянні діагностичної ефективності різних методів непрямої візуалізації якісно нового значення почала набувати сонографія, що пов'язано як з вдосконаленням самого методу ультразвукової візуалізації, так і з результатами тривимірної реконструкції, виконаної за сонографічними даними [Robb R.A. Three-Dimensional Biomedical Imaging. Principles and Practice. VCH Publishers, Inc., New York, NY, 1995.]. Сучасні ультразвукові апарати дають можливість отримувати зображення з роздільною здатністю до 0,1 мм, що значно вище, ніж може бути досягнуто за допомогою магнітно-резонансної томографії (МРТ) напруженістю магнітного поля навіть 3 Тесла, роздільною здатністю до 0,2х0,2х1,0 мм [Saupe N, Prüssmann KP, Luechinger R, Bösiger P, Marincek B, Weishaupt D. MR imaging of the wrist: comparison between 1.5- and 3-T MR imaging–preliminary experience. Radiology 2005; 234: 256-64]. Останні технічні розробки дозволяють використовувати більш високі частоти ультразвуку з досягненням кращої роздільної здатності УЗ зображення, а постпроцесінг підвищує зручність для користувача. Крім того, слід враховувати наявність іонізуючого навантаження при комп'ютерній томографії, а також малодоступність та високі кошти магнітнорезонансної томографії. Тому створення тривимірних зображень з використанням даних ультрасонографії є актуальним завданням. Відомий спосіб тривимірної системи ультразвукової візуалізації (патент США 5454371, опубл. 03.10.1995), який включає в себе передачу в комп'ютер послідовних двомірних УЗ зображень цільового об'єкту, які перетворюються за допомогою програми для формування тривимірних зображень, а також спосіб відображення на дисплеї монітора ультразвукового апарату (патент США № 5709206, опубл. 20.01.1998), ультразвукових зображень, отриманих з великої кількості ультразвукових сканів протокової системи молочних залоз. Відомий ультразвуковий тривимірний скануючий пристрій (патент США № 5396890 від 30.09.93), який на додаток до площинного (двовимірного) зображення, одержуваного за допомогою стандартної скануючої системи типу ехотомоскоп, забезпечує побудову та візуалізацію тривимірних зображень шляхом формування координованого пакету двомірних зображень досліджуваного об'єкта. Проте, ці методи ґрунтуються на використанні 61777 4 воксельної графіки та об'ємного рендерингу, який використовується для отримання плоского зображення тривимірного дискретного набору даних, більшість описаних методів реалізовані безпосередньо в апаратах УЗД, КТ, МРТ існуючих виробників. Об'ємна модель може бути отримана також шляхом побудови полігональної мережі на основі вхідних даних, або прямим об'ємним рендерингом. Алгоритм Marching cubes (патент США № 4710876, опубл. 01.12.1987) є стандартним для перетворення набору вокселів в полігональну модель. Прямий об'ємний рендеринг є складною обчислювальної завданням, яку можна виконати декількома способами. У патенті США № 5782762, кл. А61В 5/05, опубл. 21.07.98 описаний спосіб створення об'ємного зображення внутрішнього органу живого організму. Згідно названого патенту, за допомогою спіральної комп'ютерної томографії шляхом пошарового сканування досліджуваного органу проникаючим випромінюванням отримують серію зображень шарів цього органу, які комплектують у вигляді об'ємного файлу. Для забезпечення формування узгодженого тривимірного зображення органу, набір даних, що містяться у згаданому файлі, піддають обробці для зменшення роздільної здатності в певних зонах зображення та/або для поділу об'ємного файлу на певні об'ємні зони. Потім у зазначених зонах виділяють і сегментують зображення досліджуваного органу. За отриманими даними будують модель зображення сегментованого органу, використовувану для формування узгодженого тривимірного зображення досліджуваного органу. Проте, досі метод тривимірної реконструкції ультразвукових даних, навряд чи можна розглядати як повноцінний метод отримання тривимірного зображення. Його можна вважати способом вдосконаленого подання двомірних даних, над якими виконуються так звані "растрові перетворення". Очевидно, що побудова справжніх тривимірних зображень можливо тільки при коректній текстурної сегментації вихідних ультрасонограм [S.L, Sehgal С.М., Sutton M.S. Quantitation of organ symmetry by diagnostic ultrasonic imaging: a group theoretical approach. Med. Phys., 1995 Oct; 22 (10): 1611-8]. Найбільш складним з методологічної точки зору в тривимірній ультразвуковій діагностиці є проблема автоматизованої текстурної сегментації ультрасонограм. Саме коректністю виділення на ультразвуковому зображенні експертно значимих зон визначається загальна придатність тривимірних діагностичних даних. У той же час результати автоматизованої сегментації ультразвукових зображень є дуже незначними і, можливо, недостатніми для побудови повноцінних векторно-об'єктних тривимірних сцен. Застосування "ручної" експертної сегментації для отримання таких об'єктів може дати прийнятні результати, якщо її метою є, наприклад, виділення одного об'єкта, а число двомірних перерізів відносно невелике [С.А. Панфилов, О.М. Фомичев, М.В. Тарасов, Р.А. Магомедов Диагностические возможности ультрасонографического исследования / Визуализация в клинике N16, 5 Июнь 2000]. Відомий також спосіб використання фотограмметрії - методу одержання вимірювань в тривимірному просторі з множини фотографічних зображень (Патент Російської Федерації 2171487). Цей метод описує також використання стереоскопічних зображень. Стандартний спосіб формування зображень на екрані комп'ютера забезпечує тільки 2½вимірне зображення. Перспективна проекція, оклюзії і тіньові ефекти забезпечують досить сильну глибину, але зображення все ще двовимірним. З метою забезпечення більш реалістичної тривимірної перспективи стереоскопічна графіка може використовуватися за умови існування двох зображень: для лівого і для правого ока користувача. Метод стереоскопічного зображення використовується у мистецтві (патент США № 7856181, опубл. 21.12.2010, патенті США № 0085912, опубл. 01.10.2008). Існують поодинокі повідомлення про її використання у біомедичних дисциплінах - анатомії [Shimizu Satoru, Tanaka Ryusui, Rhoton Albert L. et al. Anatomic Dissection and Classic Threedimensional Documentation: A Unit of Education for Neurosurgical Anatomy Revisited Neurosurgery: May 2006 -Volume 58 - Issue 5 - p E1000], молекулярній біології, мікроскопії [Heuser John E. Membrane Traffic in Anaglyph Stereo Traffic 2000 1: 35-37], проте, нами не знайдено жодного в променевій діагностиці, УЗД. Відомий і спосіб тривимірного моделювання запального процесу підшлункової залози і вибору місця оперативного доступу (корисна модель UA 6293 U), згідно якого виконують інструментальну ультразвукову діагностику панкреонекрозу та його гнійних ускладнень, який відрізняється тим, що отримані характеристики запального процесу в підшлунковій залозі і навколишніх тканинах при панкреонекрозі у фронтальній, сагітальній і поперечній площинах піддають комп'ютерній обробці з одержанням тривимірного віртуального зображення збуджених органів та тканин і програмним розрахунком вибору місця оптимального мінімально інвазивного операційного доступу до центру запалення. Як найближчий аналог взято спосіб тривимірного моделювання індивідуальної анатомії внутрішніх органів та планування оперативного втручання на них (корисна модель UA 21632 U), відповідно до якого, виконують діагностику внутрішніх органів, отримані візуальні характеристики внутрішніх органів в одній з площин піддають комп'ютерній обробці в створеній програмі з одержанням тривимірного зображення органів та тканин і програмним розрахунком вибору місця операційного доступу до внутрішніх органів, який відрізняється тим, що тривимірне зображення одержують за допомогою воксельного моделювання за даними зображень плоскопаралельних зрізів анатомічного об'єкта шляхом створення тривимірної матриці елементарних одиниць воксельної анатомічної моделі з наступним збереженням її в файлі текстури і подальшою візуалізацією воксельної анатомічної моделі із файла текстури та можливістю отримання зображень зрізів даної моделі 61777 6 в трьох взаємно перпендикулярних площинах. Проте, спосіб передбачає використання лише воксельної (растрової) графіки, при якій подається зображення як набір пікселів (точок), яка поряд з певними переваги (висока деталізація), має ряд недоліків (наприклад, складність архівування, обробки тощо) та не дозволяє використовувати очевидні переваги векторної графіки якзображення з сукупності геометричних примітивів (точок, ліній, кривих, полігонів), тобто об'єктів, які можна описати математичним рівнянням, що дозволяє постпроцесинг, має можливість математичної обробки тощо. У вказаному методі не проводиться поєднання моделей, створених на основі даних з різних джерел візуальної інформації у єдиному тривимірному середовищі, сегментування ультразвукових даних, даних комп'ютерної та магнітнорезонансної томографії, мікроскопії, не створюються тривимірні об'єкти на основі фотографічних, ендоскопічних та інших біомедичних даних, їх анімування, використання методик «захоплення руху», та не створюються стереоскопічні зображення. В основу даної корисної моделі поставлено задачу удосконалити спосіб тривимірного моделювання біомедичних об'єктів, що дозволить підвищити якість діагностики на основі інтегрованої обробки даних з різних джерел візуальної інформації з метою формування модельно-керованої інтервенційної медицини та загальної моделі знань про пацієнта, що може використовуватись з навчальною та науковою метою. Поставлена задача досягається тим, що в способі, що включає створення воксельних та векторних тривимірних моделей частин тіла, згідно з даною корисною моделлю, проводять напівавтоматичне сегментування ультразвукових даних, даних комп'ютерної та магнітно-резонансної томографії, мікроскопії, використовують стереофотограмметрію фотографічних, ендоскопічних, та інших біомедичних даних, поєднують моделі, створені на основі даних з різних джерел візуальної інформації, у єдиному тривимірному середовищі, проводять їх анімування, використовують методики «захоплення руху», а також створюють стереоскопічні зображення. Спосіб здійснюється наступним чином: хворого обстежують в положенні, що визначається анатомо-топографічним розташуванням ділянки дослідження. Ультразвукове обстеження проводять за допомогою апарату з використанням мультичастотних лінійного і конвексного датчиків, переміщення УЗ датчика здійснює лікар-оператор або використовується спеціальний пристрій для рівномірного просування для отримання серії поперечних сканів з використанням додаткових методики (допплерографія, соноеластографія, контрастні методи). Дані КТ, МРТ отримують за стандартними протоколами, при потребі з застосуванням спеціальних режимів (спектроскопія, фазового зсуву та часу прольоту, внутрішньовенне болюсне, внутрішньопорожнинне контрастування). Мікроскопічні дані отримуються шляхом реєстрації серії зображень різної глибини за допомогою зміни фокусної відстані. 7 Використовують програмне забезпечення для тривимірного моделювання різного напрямку (на обробку УЗ, КТ, МРТ, фото-, ендоскопічних зображень тощо) з їх подальшою інтеграцією в єдине реалістичне віртуальне середовище з наступною анімацією. Для обробки даних, реєстрації та сегментації УЗД, КТ, МРТ даних використовують спеціальні програми для обробки медичних зображень як Mimics, 3D doctor та ін. При обробці ультразвукових сканів використовують напівавтоматичне-напівручне експертне сегментування ультразвукових сканів, надаючи перевагу різним методам залежно від типу ультразвукового зображення. У деяких випадках немає особливої необхідності створювати безліч міліметрових зрізів, достатньо кількох ракурсів і центрального зрізу, щоб створити модель. Фотографічні дані формують з великої кількості фотографій виконаних з різних ракурсів. Подібним чином реєструються ендоскопічні, лапароскопічні зображення. Тривимірні моделі формують з застосуванням методу фотограмметрії на основі обробки множини фотографій. Тривимірний лазерний сканер оптимально використовувати для створення моделей дрібних об'єктів. В окремих випадках, коли не потрібна висока чіткість і деталізація, вважаємо допустимим створювати моделі або окремі деталі в програмах, наприклад 3DS Мах, з наступною інтеграцією їх з отриманими моделями з сонографічної та іншої медичної візуальної інформації. Усі отримані об'єкти залежно від поставленої мети моделювання імпортуються в єдине середовище, де оцінюють векторна та воксельна графічна інформація, отримана з різних джерел реєстрації. Тривимірні об'єкти відображається на моніторі комп'ютера. Інтерфейс користувача дозволяє маніпулювати зображенням. Зокрема, все зображення може обертатися навколо довільної осі, один відносно іншого. На основі моделей створюють стереоскопічні (анагліфні) зображення для більш повного відображення візуальної інформації тривимірним об'єктом на основі двох зображень тривимірного об'єкта. Досягнутий апаратно-програмний рівень у дистанційному позиціонуванні ультразвукового датчика, накопичений негативний і позитивний досвід автоматизованої сегментації ультрасонограм, бурхливий розвиток програм тривимірної анімації, доступних для використання на персональному комп'ютері середньої графічної та обчислювальної потужності, дозволяють обгрунтовано ставити питання про необхідність розробки і клінічної апробації прийнятних з практичної точки зору і уніфікованих методів тривимірної параметричної анімації на підставі комплексних медичних даних. Додатково проводять анімування моделей, також з використанням методики «захоплення руху» (motion capture, Mocap). За допомогою спеціальних програм (наприклад, REALVIZ Movimento) з використанням двох і більше камер здійснюють реєстрацію руху нетвердих об'єктів (людське тіло, інструменти, рух УЗ зображення), використовуючи 61777 8 для цього синхронізовані зображення. Метод використовується як на стадії постпродакшну, так і в реальному часі. Отримані дані експортуються в віртуальні середовища (наприклад, 3dS MAX, Maya, MotionBuilder та ін.) для специфічної анімації об'єктів. Всі ці дії можуть також виконуватися за допомогою різних графічних та механічних (наприклад, спеціальні рукавички) пристроїв введення. Це доцільне при створенні віртуальних тренажерів. Корисна модель пояснюється малюнками, на яких зображено: Фіг. 1. Використання тривимірного моделювання перед пункцією ворітної вени на основі даних КТ. Оптимальний доступ визначено через 5-у сегментарну і праву ворітну вени. Фіг. 2. Векторні моделі судин печінки на основі даних КТ та УЗД, інтегровані у єдине середовище зі збереженням воксельних ультразвукових даних перед постановкою портокавального шунта при портальній гіпертензії під комбінованим сонографічний і радіологічним контролем (ТІПС). Фіг. 3. А. Схема топографічного розташування латеральної огинаючої артерії стегна (LCFA). Зображені стегновий нерв (FN), стегнова артерія FA) пупартова зв'язка (IL) пахова складка (ІС), стегнова вена (FV), глибока артерія стегна (PFA). Б, В. Тривимірне моделювання судинних структур при виконанні стегнового блоку. Можна оцінити типове положення латеральної огинаючої артерії стегна на рівні поділу стегнової артерії на поверхневу і глибоку гілки розташовану дорзальніше стегнового нерва, яка щільно прилягає до нього, перетинаючи нерв на рівні пахової складки. Фіг. 4. Візуалізація розташування нерва, судин і фасціальних листків на створеній моделі. Фіг. 5. Реалістичне тривимірне моделювання поверхні тіла за допомогою методу фотограмметрії з накладанням реальної текстури для створення каркасу моделі і сонотопування. Приклад 1 Хворий Є., 69 роки, хворіє на гепатит С протягом 5 років, цироз печінки, портальна гіпертензія, профузна кровотеча з варикозно розширених кардіальних вен. При УЗД органів черевної порожнини - ознаки цирозу печінки, портальної гіпертензії, асцит. Прийняте рішення про виконання пункції і катетеризації ворітної вени під контролем УЗД з наступною емболізацією варикозно розширених кардіальних вен. Маніпуляція виконується вперше. Виконано тривимірне моделювання портальної системи на основі напівавтоматичного сегментування даних комп'ютерної томографії, та моделювання кавальної системи за допомогою експертного сегментування ультразвукових сканів з використанням допплерографії. Створені векторні моделі інтегровані у єдине середовище зі збереженням воксельних ультразвукових даних для моделювання через шкірної пункції ворітної вени (фіг. 1.). Оптимальний доступ введення голки через 5-у сегментарну і праву ворітну вени. Маніпуляція виконана успішно, кровотеча зупинена. Після купування кровотечі для попередження рецидивів призначена постановка портокавального шунта при портальній гіпертензії під комбінованим 9 сонографічний і радіологічним контролем (ТІПС). Використана інтерована модель яка включала попередній комплекс та дані КТ серця, УЗД судин шиї моделювання проведення провідника через внутрішню яремну вену, навігацію у магістральних судинах та черезвенозну пункцію паренхіми печінки (фіг. 2.). Оптимальний доступ постановки шунта - між правою печінковою веною та безпосередньо правою портальною веною на відстані до 25 мм від біфуркації. Маніпуляція виконана успішно. При УЗД органів черевної порожнини на 2-й день після маніпуляції - стан після ТІПС. Наявність фунціонуючого портосистемного шунта. Позитивна динаміка ознак портальної гіпертензії: зникнення асциту, зменшення поздовжнього розміру селезінки на 2 см, звуження вен портальної системи, перерозподіл кровоплину. Огляд через 1 місяць - стан пацієнта задовільний, кровоплин у вісцеральних судинах близький до фізіологічного, шунт функціонує. Приклад 2 Хворий Є., 52 роки, готується для операції з приводу ендопротезування колінного суглобу. Планується виконати операцію під реґіонарної анестезією. З метою моделювання процедури а також з науковою (вивчення варіантів анатомії) та педагогічною метою (створення віртуального тренажера для реґіонарної анестезії) виконано моделювання м'яких тканин пахової ділянки на основі ультразвукових даних. Обстеження проводили за 61777 10 допомогою ультразвукового апарату з використанням мультичастотного лінійного датчика з функцією соноеластографії. Оцінювали ультразвукові параметри стегнового нерва та пахової ділянки. Були отримані ультрасонографічні дані ділянки проведення стегнового блоку. Після отримання серії паралельних сканів (близько 400) проведено напівручну експертну сегментацію сонограм для виділення стегнового нерва, артерії, вени, латеральної огинаючої артерії стегна, та фасціальних листків (фіг. 3, 4). Додатково створені моделі інструментів на підставі фотограмметрії. Моделі об'єднані в єдиному трьохвимірному середовищі. Були використані основні прийоми анімації, в тому числі на підставі методики «захоплення руху». Вивчена анатомія, створений віртуальний тренажер для навчання методики. Маніпуляція виконана успішно. Таким чином, спосіб тривимірного моделювання біомедичних об'єктів, що дозволить підвищити якість діагностики на основі інтегрованої обробки даних з різних джерел візуальної інформації з метою формування модельно-керованої інтервенційної медицини та загальної моделі знань про пацієнта та може використовуватись з навчальною та науковою метою, є неінвазивним, доступним та інформативним методом та може рекомендуватися для впровадження у підрозділах променевої діагностики, ендоскопії, центрах малоінвазивних втручань. 11 61777 12 13 Комп’ютерна верстка А. Крулевський 61777 Підписне 14 Тираж 23 прим. Міністерство освіти і науки України Державний департамент інтелектуальної власності, вул. Урицького, 45, м. Київ, МСП, 03680, Україна ДП “Український інститут промислової власності”, вул. Глазунова, 1, м. Київ – 42, 01601
ДивитисяДодаткова інформація
Назва патенту англійськоюMethod for integral three-dimensional modeling of biomedical objects
Автори англійськоюBubnov Rostyslav Volodymyrovych
Назва патенту російськоюСпособ интегрированного трехмерного моделирования биомедицинских объектов
Автори російськоюБубнов Ростислав Владимирович
МПК / Мітки
МПК: A61B 8/14, G09B 23/30, A61B 8/00
Мітки: об'єктів, біомедичних, тривимірного, моделювання, спосіб, інтегрованого
Код посилання
<a href="https://ua.patents.su/7-61777-sposib-integrovanogo-trivimirnogo-modelyuvannya-biomedichnikh-obehktiv.html" target="_blank" rel="follow" title="База патентів України">Спосіб інтегрованого тривимірного моделювання біомедичних об’єктів</a>
Попередній патент: Спосіб одержання замороженого напівфабрикату овочевої суміші для перших та других страв
Наступний патент: Зерносховище-сушарка на сонячній енергії
Випадковий патент: Центрифуга фільтруюча