(Bu yazı GENÇ İVEK SAĞLIK BİLİM VE TEKNOLOJİLERİ DERGİSİ’nin 7. sayısında yayımlanmıştır.)
ARŞ. GÖR. DR. MÜRSEL HASPULAT
İstanbul Üniversitesi, İstanbul Tıp Fakültesi, Çocuk Cerrahisi
MHAS Medical Technologies – CEO
Sağlık eğitimi alanında arttırılmış gerçekliğin dahil edilebileceği ve edilmeye başlandığı temel branşlar; tıp eğitimi, diş fakültesi eğitimleri, hemşirelik, sağlık meslek yüksek okulları, biyoteknoloji, eczacılık, veterinerlik olmakla birlikte; sağlık alanındaki sayısı 60’ı geçen her branş için yüksek kaliteli, interaktif ve deneyim temelli uygulamalar geliştirilebilecektir. Yine örneğin tıp eğitimi için geliştirilen anatomi, fizyoloji, ilk yardım gibi ortak alanlardaki modeller; dişçilik, hemşirelik, acil tıp teknisyenliği (ATT) gibi birçok branşta kullanılabilecek ya da yeni uygulamaların çıkışında baz olarak kullanılabilecektir. Burada branş seçildikten sonra ise diğer bir ayrım hedeflenen kullanıcı grubunu belirlemektir. Tıp eğitimi için geliştirilen uygulamalar: mezuniyet öncesi, mezuniyet sonrası ve klinisyenlerin profesyonel gelişimi şeklinde üç ana gruba ayrılmaktadır. Bu uygulamalarda kullanılan yaklaşımlar AR, XR ve MR şeklindedir.
Arttırılmış gerçeklik (Augmented reality- AR) gerçek dünyaya yani içinde bulunduğumuz ve gördüğümüz mekana sanal modeller ekleyen teknolojidir. AR teriminin ilk ortaya çıkışı 1990’lı yıllara dayanmaktadır. Karma gerçeklik (Mixed Reality- MR ya da XR) ve arttırılmış sanallık (Augmented Virtualiry- AV) terimleri de sırasıyla arttırılmış gerçeklik sisteminde görülen hologramların çevredeki nesne ya da eşyalarla fiziksel olarak gerçekçi bir şekilde entegre davranması, sanal dünyanın gerçek dünya eklentileriyle yükseltgenmesi şeklinde tanımlanabilir. Fakat henüz bu kavramlar için teknoloji sektörü dahil bir görüş birliği oturmuş olmadığından; arttırılmış gerçeklik ve karma gerçeklik kavramlarını birlikte ele alarak devam edeceğiz. Gerçek görüşümüz üzerine sanal görseller ekleme işlemi 2015 yılı öncelerinde bilgisayar, laptop ya da mobil telefon kameraları açıldıktan sonra aktive olan programın holografik modeller eklemesi ile olurken; günümüzde genellikle giyilebilir görüş sistemleri (HMD-head-mounted display-) ya da sanal gösterge paneli (HUD -heads-up display-) yöntemiyle gerçekleştrilmektedir. Giderek kullanımı artan taşınabilir -giyilebilir görüş sistemleri (HMD- giyilebilir görüş sistemleri) ise video arayüzlü (video see-through), optik arayüzlü (optical see-through) olanların yanında görüş alanına projeksiyon yapan alt dallara ayrılmaktadır.
Son yıllarda çıkan Google Glass, Microsoft Hololens ve sonrasında Magic Leap gibi gözlüklerin çalışma prensibi optik arayüzlüdür. Bu tarz gözlüklerin kullandıkları hareket takip sistemi’nin (motion tracking system) elektromanyetik, ultrasonik ya da optik oluşuna göre ağırlıkları ve büyüklükleri değişmekle birlikte; kabaca çalışması şu şekilde tarif edilebilir. Gözlük çalışmazken normal cam gözlük ile dışarıyı görmekteyken, sistem çalıştığında görüş alanınıza ya da hedef objenin veya zeminin üzerine sanal görüntü eklenmektedir. Daha sonra gözlüğün algıladığı el hareketi, sesli komut ya da tıklayıcı (clicker) yardımı ile kullanıcı ara yüzü (user interface) üzerinden menü değiştirme, programı ilerletme ya da holografik içerikle etkileşim kurma gibi işlemler yapılabilmektedir.
Arttırılmış gerçeklik ve karma gerçeklik teknolojisinde sanal içerik ve modeller görüş alanımızdaki mekan koordinatlarına yerleştiğinden dolayı 3 boyutlu holografik modeller ile uzaysal düzlemde de yani hareket ederek de gerçekçi bir ilişki içinde olunmaktadır. Arttırılmış gerçeklik gözlükleri kullanırken gerçek dünyayı da aynı anda gördüğümüzden dolayı baş dönmesi ve mide bulantısı gibi semptomlar pek olmamaktadır. Özellikle sanal gerçekliğin geçek dünyadan kopma (disconnection) gibi psikolojik bağımlılık yapma ve fiziksel olarak da kişi gözlüğü taktığında etrafı göremediği için küçük ya da büyük çapta yaralanma riskleri mevcut iken arttırılmış gerçeklik teknolojisinde böyle riskler bulunmamaktadır. Ayrıca son 1-2 seneye kadar mekansal hareket etmenizi sağlayacak uygulamalarda çevreleyici bir görüş sunmaları nedeniyle yüksek işlem yükünden dolayı sanal gerçeklik gözlükleri genellikle kabloluydu ve bu da sensörlerin kurulumu, başınıza kablolu büyük bir gözlüğün takılması gibi pratik zorluklara yol açmaktaydı. Arttırılmış gerçeklik teknolojisinde modern gözlüklerin portatif ve kendi işlemcisi ile çalışan gözlükler oluşu, grup çalışmalarında gözlükleri takan kişilerin aynı holografik görüntüye fiziksel olarak aynı ortamda entegre olabilmeleri gibi avantajları ile önce 2013 yılında Google Glass devamında 2016 yılında Microsoft Hololens gözlükleri bu alanda heyecan uyandırdı.
Medikal Hologram Laboratuarı
2019 yılında İstanbul Üniversitesi’nde yürütülen ‘’Medikal Hologram Laboratuarı’’ projesine de stratejik partner olmuş olan ve Microsoft Amerika’nın eski medikal danışmanı Dr. Rafael Grossmann, 2014 yılında Google Glass gözlüğünü Dünya’da ilk kez ameliyatta kullanmış, aynı anda hasta verilerini gözlüğünde görme ve ameliyatı izlemek isteyenlerin de Grossmann’ın görüşünden ameliyatı izleme gibi avantajlarını deneyimlemiştir. Arttırılmış gerçeklik ve sanal gerçeklik teknolojilerinin tıp eğitiminde devrim yaratacağını savunan Grossmann, Kostarika, Puravida ilinde yaptığı TED konuşması ve ‘’Tıbbın Geleceği (The Future of Medicine) ‘’ konulu diğer global konuşmalarında İstanbul Üniversitesi Medikal Hologram Laboratuarı’nda geliştirilen demo uygulamayı da tanıtmıştır.
Arttırılmış gerçeklik; santral venöz kateter takılması, eklem içi enjeksiyon, lokal anestezi uygulamaları, endotrakeal entübasyon, ventrikülostomi, inguinal kanal anatomisi, sindirim kanalı fizyolojisi ve anatomisi, klinik meme muayenesi, ilk yardım eğitimi gibi alanlarda eğitim amaçlı kullanılmaya başlanmış ve en çok uygulamanın genellikle anestezi ve anatomi alanlarında üretildiği görülmüştür. Anatomi alanında da ilk çalışmalar mobil telefon uygulamaları ile başlamış ve bu çalışmaların etkinliği komplesk anatomik yapıların anlaşılmasını kolaylaştırması kontrol grupları ile kıyaslanara değerlendirilmiştir. Arttırılmış gerçeklik teknolojisinin en çok bu iki alanda kullanılması iki açıdan mantıklı olmuştur. Birincisi kendi işlemcisi ile çalışan arttırılmış gerçeklik gözlükleri anatomi gibi statik modellerin olduğu branşlarda; özellikle de katman katman transparanlaşma ile yüzeyden derine giden ilişkileri göstermede ayrılacağını ortaya koyabilecekti. İkinci olarak da girişimsel işlemler, görüş açısının (Field of View- FoV) güncel donanımlarda dar olarak deneyimlendiği bu teknolojide belli bir alana odaklı işlemi simüle etmek ve deneyimletmek; ileriki çalışmalarda yine arttırılmış gerçeklik teknolojisinin hasta cildi üzerine senkronize edilmesiyle daha doğru ve isabetli girişimlerin yapılmasına yardımcı olmak üzere güzel bir altyapı çalışması olması açısından mantıklı olmaktadır.
AR/MR/XR neyi hedefliyor?
Sonuç olarak literatürde incelediğimiz makalelerin %90’dan fazlası göstermiştir ki: AR ve MR/XR teknolojileri tıp eğitiminde; gerçek görüş üzerine sanallık eklenmesi yoluyla gittiğinden mekansal ilişki ve 3 boyutlu koordinasyon becerilerini, bilgi birikimini arttırmakta; kognitif ve psikomotor yetenekleri kuvvetlendirmekte, öğrenme eğrisinin daha kısa sürede tamamlanması ve öğrenimin de kalıcı olmasını sağlamaktadır. Ayrıca gerçekçi simülasyon deneyimi sağlayarak kullanıcının ilgi ve katılımını yüksek tutmaktadır. Arttırılmış gerçekliğin sağlık alanında eğitimi iyileştirirken; aynı zamanda objektif bireysel performans değerlendirmesi ve takibi ile öğrencilerin eksik yönlerini hem daha çabuk farketmesine hem de eksikliklerini daha hızlı tamamlanmasına yardım edecektir.
Tıp eğitiminde neden AR ihtiyacı doğmuştur?
Tıp eğitimi alanında arttırılmış gerçekliğin kullanımı ile ilgili ilk haberler 2017 yılında Microsoft’un Amerika’da Cleveland ve Casewestern Üniversiteleri ile birlikte geliştirmeyi planladığı anatomi uygulamasına dair çıkmıştır. 2019 yılında anatomi eğitimlerinde Hololens kullanımı ile holografik anatomi uygulamasına geçileceğini bildiren haberlerin ardından, halen aktif bir şekilde eğitim programına dahil edilmiş bir uygulama bilinmemektedir. Bununla birlikte sanal gerçeklik uygulamaları çevreleyen (immersive) bir deneyim sunması ve tracker (takipçi) cihazın el ile kullanılarak daha hassas işlemlere senaryo içinde izin vermesi dolayısıyla tıp eğitiminde son 1-2 yılda daha yaygın kullanılmaya başlamıştır. Arttırılmış gerçeklik teknolojisinin tıp eğitiminde yaygın kullanıma geçememe nedenlerini araştırdığımızda ise; gözlük fiyatlarının yüksek olması, görüş alanı (field of view- FoV) darlığı – yani kişinin çevresindeki holografik obje ve modellerin tamamını görmek için başını hareket etirmek zorunda olması- , henüz çok yüksek çözünürlüklü modellerin çalışılamaması, gecikme (latency) – dinamik bir klinik sahne yaratıldığında kullanıcının hareketleriyle holografik sahnenin akışı arasında uyumsuzluk olabilmesi-ve dokunma hissi yani duyusal geri bildirim (haptic feedback) olmaması gibi ana başlıklar sayılabilir. Bu açılardan bakıldığında yapılan pilot çalışmalar dışında geniş kapsamlı bir platform olarak arttırılmış ve karma gerçeklik teknolojisinin tıp eğitimine entegre edilmesi henüz ar-ge (araştırma geliştirme) aşamasında olarak düşünülebilir. Geliştirilmesi düşünülen uygulama ve projelerin, kullanılacak teknolojinin artılarını dahil etmesi ve eldeki donanımın da öğretilmek ya da denetilmek istenen içeriğin sahne, etkileşim, kullanıcı deneyimi gibi kriterlere uygun bir şekilde seçilmesi profesyonellik açısından büyük önem arzetmektedir.
Eğitim alanında bu açılardan gelişim aşamasında olan arttırılmış gerçeklik teknolojisi, diğer yandan gerçek görüşümüze data ve sanal modeller ekleyebilmesi sayesinde klinik hayatta hasta bilgi ve görüntülemelerinin gözümüze gelmesi; tıbbi müdahale, cerrahi işlem ve teknik görevlerde yardımcı olabilmesi nedeniyle büyük bir potansiyele sahiptir. Demo uygulamaların yapılması neticesinde dahi ameliyat esnasında hastanın bilgisayarlı tomografi (BT) görüntülerinin hastanın cildi üzerine süperpoze edilerek içerideki damar ve kemik yapılarının yüzeyden görünmesini sağlamasıyla Hololens gözlüğü yani arttırılmış ve karma gerçeklik teknolojisi, FDA (Food and Drug Administration) tarafından ameliyatlarda kullanılmak üzere onay almıştır (Eylül 2019)
Royal London Hospital, İstanbul Üniversitesi’ne partner oldu.
İstanbul Üniversitesi bünyesinde de 2017 yılında Tübitak 1512 (BİGG) çağrısını kazanarak başlatılan “Augmented Reality (AR; arttırılmış gerçeklik) teknolojisiyle Artifical Intelligence (AI; yapay zekâ) destekli medikal pratik eğitimi simulasyonu geliştirilmesi” projesinin devamında 29 Aralık 2018 tarihinde Türkiye’deki ilk arttırılmış ve karma gerçeklik laboratuarı olan ‘’İ.Ü. Medikal Hologram Laboratuarı’’ kurulmuştur. 2019 yılı Aralık ayında ise İstanbul Üniversitesi, İngiltere’nin köklü hastanelerinden Barts Hospital bünyesindeki Royal London Hospital ile; böbrek anatomisi ve böbrek nakli ameliyatlarının sanal gerçeklik ile simülasyonu projesi konusunda partner olmuştur.
AR/MR-XR’nin literatürdeki yeri
Microsoft HoloLens and Google Glass ve devamında Magic Leap gibi büyüklerin başı çektiği arttırılmış gerçeklik (augmented reality- AR) ve karma gerçeklik (mixed reality-MR ya da XR) teknolojilerinin tıp eğitiminde giyilebilir görüş sistemleri ile birlikte kullanımı ile ilgili yapılan çalışmalar henüz hem sayı olarak az iken hem de kanıt düzeyi açısından yeteri kadar olgun değildir. Dünya literatürüne giren çalışmalara bakıldığında ise %80’den fazlasının hangi öğrenim teorisini (learning theory) baz aldığının belli olmadığını görmekteyiz AR ve VR teknolojileri ile geliştirilecek olan uygulama ve içeriklerin öğreticilik etkinliklerinin bilimsel olarak kanıtlanması ve dizayn aşamasında tıbbi simülasyon şablonlarına göre hazırlanması çok önemli olmakta, dolayısıyla daha ileri ve büyük çalışmaların yapılması gerekmektedir.
Tüm bu gelişmeler gelecekte bize neler sağlayacak?
İlerleyen yıllarda hem bu teknolojileri deneyimlediğimiz gözlüklerin daha yüksek kaliteli ve gerçekçi deneyimler sunması hem de içerik dizaynlarının daha kapsamlı ve kanıta dayalı hazırlanmasıyla, tıp eğitimindeki dönüşüm gerçekleşecektir. Aynı zamanda esas artısı gerçek yaşama ve çalışma hayatına sanal bilgi ve modelleri entegre etmek olan arttırılmış gerçeklik ve karma gerçeklik dijital kontakt lensler ile deneyimlenerek, 5G ve daha yüksek internet hızlarının da hayata adapte olmasıyla teletıp (telemedicine) uygulamaları, örneğin İstanbul’dan bir profesörün Tokyo’daki arkadaşının gözüne bağlanarak ve bağlandığı kişinin duyusal hislerini deneyimleyerek ameliyatı anlık yönlendirmesi, öncesinde hastayı muayene etmesi mümkün olabilecek, diğer yandan tıbbi müdahale yapan doktor ise hastanın tüm iç anatomisini cilt yüzeyinden görerek adım adım yapay zekâ destekli sanal rehber eşliğinde işlemi gerçekleştirebilecektir. Bu ya da benzeri projeleri ürettirecek olan ve temelde yatan anlayış ise insanın ve yapılması gerekenlerin yer, zaman ve kişiden bağımsız olarak mükemmel hale getirme isteğidir.
