Hazırlanıyor kanser hastaları zor kararlar onkoloğun işidir. Ancak bunu yapmayı her zaman hatırlamazlar. Pensilvanya Üniversitesi Sağlık Sistemi'nde doktorlar bir hastanın tedavisi hakkında konuşmaya teşvik ediliyor ve yaşam sonu tercihleri Ölüm olasılığını tahmin eden yapay zekaya sahip bir algoritma tarafından.
Ancak bir kur ve unut aracı olmaktan çok uzaktır. 2022'de yapılan bir araştırmaya göre, rutin bir teknik kontrol, algoritmanın covid-19 salgını sırasında bozulduğunu ve kimin öleceğini tahmin etmede yüzde 7 puan daha kötü hale geldiğini ortaya çıkardı.
Muhtemelen gerçek hayattan etkiler vardı. Araştırmanın başyazarı Emory Üniversitesi onkoloğu Ravi Parikh, KFF Sağlık Haberleri'ne, aracın doktorları ihtiyacı olan hastalarla bu önemli tartışmayı başlatmaya (muhtemelen gereksiz kemoterapiyi önlemeye) teşvik etmede yüzlerce kez başarısız olduğunu söyledi.
Kendisi, salgın sırasında zayıflayan tıbbi bakımı geliştirmek için tasarlanmış çeşitli algoritmaların olduğuna inanıyor. pandemisadece Penn Medicine'deki değil. Parikh, “Birçok kurum, ürünlerinin performansını rutin olarak izlemiyor” dedi.
Algoritma hataları, bilgisayar bilimcileri ve doktorların uzun süredir kabul ettiği, ancak hastane yöneticilerini ve araştırmacılarını şaşırtmaya başlayan bir ikilemin bir yönüdür: Yapay zeka sistemlerinin devreye alınması ve iyi çalışmasını sağlamak için tutarlı izleme ve personel alımı gerekir.
Özünde: Yeni araçların bozulmamasını sağlamak için insanlara ve daha fazla makineye ihtiyacınız var.
Stanford Health Care'in baş veri bilimcisi Nigam Shah, “Herkes yapay zekanın erişim ve kapasitemiz konusunda bize yardımcı olacağını, bakımı iyileştireceğini vb. düşünüyor” dedi. “Bütün bunlar hoş ve güzel, ancak bakım maliyetini %20 artırırsa bu uygulanabilir mi?”
Hükümet yetkilileri, hastanelerin bu teknolojileri geliştirecek kaynaklara sahip olmadığından endişe ediyor. FDA Komiseri Robert Califf, yakın zamanda AI ile ilgili bir ajans panelinde “Çok uzaklara baktım” dedi. “Amerika Birleşik Devletleri'nde klinik bakım sisteminde uygulamaya konan bir yapay zeka algoritmasını doğrulayabilecek tek bir sağlık sisteminin olduğuna inanmıyorum.”
Yapay zeka zaten yaygın sağlık hizmetlerinde. Algoritmalar, hastaların ölüm veya kötüleşme riskini tahmin etmek, tanı önermek veya hastalara öncelik vermek, ziyaretleri kaydetmek ve özetlemek için kullanılır. doktorların işinden tasarruf edin ve sigorta taleplerini onaylamak.
Eğer teknoloji misyonerleri haklıysa teknoloji her yerde bulunabilecek ve karlı hale gelecektir. Yatırım şirketi Bessemer Venture Partners, her biri yılda 10 milyon dolar gelir elde etme yolunda olan, sağlık odaklı yaklaşık 20 yapay zeka girişimini belirledi. FDA bine yakın yapay zekalı ürünü onayladı.
Bu ürünlerin işe yarayıp yaramadığını değerlendirmek zordur. Çalışmaya devam edip etmediklerini veya şişmiş bir conta veya sızdıran motora eşdeğer bir yazılım geliştirip geliştirmediklerini değerlendirmek daha da zordur.
Yale Medicine'de, hastaların hızla kötüleşmesi ihtimali olduğunda klinisyenleri uyaran altı “erken uyarı sistemini” değerlendiren yakın tarihli bir çalışmayı ele alalım. Chicago Üniversitesi'nden doktor ve çalışma için bir algoritma sağlayan şirketin kurucu ortağı Dana Edelson, bir süper bilgisayarın verileri birkaç gün boyunca çalıştırdığını söyledi. Süreç verimli geçti ve altı ürün arasında performans açısından büyük farklılıklar görüldü.
Hastanelerin ve sağlayıcıların ihtiyaçlarına göre en iyi algoritmaları seçmeleri kolay değil. Ortalama bir doktorun ortalıkta duracak bir süper bilgisayarı yok ve yapay zeka için Tüketici Raporları da yok.
Amerikan Tabipler Birliği'nin bir önceki başkanı Jesse Ehrenfeld, “Hiçbir standartımız yok” dedi. “Bugün size, konuşlandırıldığında yapay zeka destekli olsun ya da olmasın bir algoritma modelinin performansını nasıl değerlendireceğiniz, izleyeceğiniz ve ona bakacağınız konusunda standart olarak gösterebileceğim hiçbir şey yok.”
Belki de doktor muayenehanelerindeki en yaygın yapay zeka ürünü, hasta ziyaretlerini dinleyen ve özetleyen teknoloji destekli bir asistan olan ortam dokümantasyonu olarak adlandırılıyor. Rock Health'teki yatırımcılar bu yıl şu ana kadar bu dokümantasyon şirketlerine akan 353 milyon doları takip etti. Ancak Ehrenfeld, “Şu anda bu araçların çıktılarını karşılaştıracak bir standart yok” dedi.
Ve bu, küçük hataların bile yıkıcı olabileceği bir sorundur. Stanford Üniversitesi'ndeki bir ekip, hastaların tıbbi geçmişini özetlemek için büyük dil modellerini (ChatGPT gibi popüler yapay zeka araçlarının temelini oluşturan teknoloji) kullanmayı denedi. Sonuçları bir doktorun yazacağı sonuçlarla karşılaştırdılar.
Stanford'dan Shah, “En iyi durumda bile modellerin hata oranı %35'ti” dedi. Tıpta, “bir özet yazarken 'ateş' gibi bir kelimeyi unuttuğunuz zaman, yani bu bir sorundur, değil mi?”
Bazen algoritmaların başarısız olmasının nedenleri oldukça mantıklıdır. Örneğin, hastanelerin laboratuvar sağlayıcılarını değiştirmesi gibi temel verilerde yapılan değişiklikler, bunların etkinliğini azaltabilir.
Ancak bazen tuzaklar görünürde hiçbir neden yokken ortaya çıkar.
Mass General Brigham'ın Boston'daki kişiselleştirilmiş tıp programında teknoloji yöneticisi olan Sandy Aronson, ekibinin genetik danışmanların DNA varyantlarıyla ilgili ilgili literatürü bulmasına yardımcı olmayı amaçlayan bir uygulamayı test ettiğinde ürünün “belirlenimsizlik” sorunu yaşadığını, yani aynı soru sorulduğunda söyledi. Kısa sürede birden çok kez sorulduğunda farklı sonuçlar verdi.
Aronson, aşırı yük taşıyan genetik danışmanlar için bilgiyi özetlemeye yönelik büyük dil modellerinin potansiyeli konusunda heyecan duyuyor ancak “teknolojinin gelişmesi gerekiyor.”
Ölçütler ve standartlar seyrekse ve garip nedenlerden dolayı hatalar ortaya çıkabiliyorsa kurumlar ne yapmalı? Çok fazla kaynağa yatırım yapın. Shah, Stanford'da iki modeli adalet ve güvenilirlik açısından denetlemenin sekiz ila 10 ay ve 115 adam-saat sürdüğünü söyledi.
KFF Health News'in görüştüğü uzmanlar, yapay zekanın yapay zekayı izlemesi fikrini ortaya attılar ve bazı (insan) veri ustalarının her ikisini de izlemesi sağlandı. Hepsi bunun kuruluşların daha fazla para harcamasını gerektireceğini kabul etti; hastane bütçelerinin gerçekleri ve yapay zeka teknolojisi uzmanlarının sınırlı arzı göz önüne alındığında bu zor bir istek.
Shah, “Modellerini izleyen bir modele sahip olmak için buzdağlarını erittiğimiz bir vizyona sahip olmak harika” dedi. “Ama gerçekten istediğim bu muydu? Daha kaç kişiye ihtiyacımız olacak?”
KFF Sağlık Haberleri sağlık sorunları hakkında derinlemesine gazetecilik üreten ulusal bir haber odasıdır ve şirketin temel çalışma programlarından biridir. KFF — sağlık politikası araştırmaları, anketler ve gazetecilik için bağımsız kaynak.
Haberler'den daha fazlası
Ancak bir kur ve unut aracı olmaktan çok uzaktır. 2022'de yapılan bir araştırmaya göre, rutin bir teknik kontrol, algoritmanın covid-19 salgını sırasında bozulduğunu ve kimin öleceğini tahmin etmede yüzde 7 puan daha kötü hale geldiğini ortaya çıkardı.
Muhtemelen gerçek hayattan etkiler vardı. Araştırmanın başyazarı Emory Üniversitesi onkoloğu Ravi Parikh, KFF Sağlık Haberleri'ne, aracın doktorları ihtiyacı olan hastalarla bu önemli tartışmayı başlatmaya (muhtemelen gereksiz kemoterapiyi önlemeye) teşvik etmede yüzlerce kez başarısız olduğunu söyledi.
Kendisi, salgın sırasında zayıflayan tıbbi bakımı geliştirmek için tasarlanmış çeşitli algoritmaların olduğuna inanıyor. pandemisadece Penn Medicine'deki değil. Parikh, “Birçok kurum, ürünlerinin performansını rutin olarak izlemiyor” dedi.
Algoritma hataları, bilgisayar bilimcileri ve doktorların uzun süredir kabul ettiği, ancak hastane yöneticilerini ve araştırmacılarını şaşırtmaya başlayan bir ikilemin bir yönüdür: Yapay zeka sistemlerinin devreye alınması ve iyi çalışmasını sağlamak için tutarlı izleme ve personel alımı gerekir.
Özünde: Yeni araçların bozulmamasını sağlamak için insanlara ve daha fazla makineye ihtiyacınız var.
Stanford Health Care'in baş veri bilimcisi Nigam Shah, “Herkes yapay zekanın erişim ve kapasitemiz konusunda bize yardımcı olacağını, bakımı iyileştireceğini vb. düşünüyor” dedi. “Bütün bunlar hoş ve güzel, ancak bakım maliyetini %20 artırırsa bu uygulanabilir mi?”
Hükümet yetkilileri, hastanelerin bu teknolojileri geliştirecek kaynaklara sahip olmadığından endişe ediyor. FDA Komiseri Robert Califf, yakın zamanda AI ile ilgili bir ajans panelinde “Çok uzaklara baktım” dedi. “Amerika Birleşik Devletleri'nde klinik bakım sisteminde uygulamaya konan bir yapay zeka algoritmasını doğrulayabilecek tek bir sağlık sisteminin olduğuna inanmıyorum.”
Yapay zeka zaten yaygın sağlık hizmetlerinde. Algoritmalar, hastaların ölüm veya kötüleşme riskini tahmin etmek, tanı önermek veya hastalara öncelik vermek, ziyaretleri kaydetmek ve özetlemek için kullanılır. doktorların işinden tasarruf edin ve sigorta taleplerini onaylamak.
Eğer teknoloji misyonerleri haklıysa teknoloji her yerde bulunabilecek ve karlı hale gelecektir. Yatırım şirketi Bessemer Venture Partners, her biri yılda 10 milyon dolar gelir elde etme yolunda olan, sağlık odaklı yaklaşık 20 yapay zeka girişimini belirledi. FDA bine yakın yapay zekalı ürünü onayladı.
Bu ürünlerin işe yarayıp yaramadığını değerlendirmek zordur. Çalışmaya devam edip etmediklerini veya şişmiş bir conta veya sızdıran motora eşdeğer bir yazılım geliştirip geliştirmediklerini değerlendirmek daha da zordur.
Yale Medicine'de, hastaların hızla kötüleşmesi ihtimali olduğunda klinisyenleri uyaran altı “erken uyarı sistemini” değerlendiren yakın tarihli bir çalışmayı ele alalım. Chicago Üniversitesi'nden doktor ve çalışma için bir algoritma sağlayan şirketin kurucu ortağı Dana Edelson, bir süper bilgisayarın verileri birkaç gün boyunca çalıştırdığını söyledi. Süreç verimli geçti ve altı ürün arasında performans açısından büyük farklılıklar görüldü.
Hastanelerin ve sağlayıcıların ihtiyaçlarına göre en iyi algoritmaları seçmeleri kolay değil. Ortalama bir doktorun ortalıkta duracak bir süper bilgisayarı yok ve yapay zeka için Tüketici Raporları da yok.
Amerikan Tabipler Birliği'nin bir önceki başkanı Jesse Ehrenfeld, “Hiçbir standartımız yok” dedi. “Bugün size, konuşlandırıldığında yapay zeka destekli olsun ya da olmasın bir algoritma modelinin performansını nasıl değerlendireceğiniz, izleyeceğiniz ve ona bakacağınız konusunda standart olarak gösterebileceğim hiçbir şey yok.”
Belki de doktor muayenehanelerindeki en yaygın yapay zeka ürünü, hasta ziyaretlerini dinleyen ve özetleyen teknoloji destekli bir asistan olan ortam dokümantasyonu olarak adlandırılıyor. Rock Health'teki yatırımcılar bu yıl şu ana kadar bu dokümantasyon şirketlerine akan 353 milyon doları takip etti. Ancak Ehrenfeld, “Şu anda bu araçların çıktılarını karşılaştıracak bir standart yok” dedi.
Ve bu, küçük hataların bile yıkıcı olabileceği bir sorundur. Stanford Üniversitesi'ndeki bir ekip, hastaların tıbbi geçmişini özetlemek için büyük dil modellerini (ChatGPT gibi popüler yapay zeka araçlarının temelini oluşturan teknoloji) kullanmayı denedi. Sonuçları bir doktorun yazacağı sonuçlarla karşılaştırdılar.
Stanford'dan Shah, “En iyi durumda bile modellerin hata oranı %35'ti” dedi. Tıpta, “bir özet yazarken 'ateş' gibi bir kelimeyi unuttuğunuz zaman, yani bu bir sorundur, değil mi?”
Bazen algoritmaların başarısız olmasının nedenleri oldukça mantıklıdır. Örneğin, hastanelerin laboratuvar sağlayıcılarını değiştirmesi gibi temel verilerde yapılan değişiklikler, bunların etkinliğini azaltabilir.
Ancak bazen tuzaklar görünürde hiçbir neden yokken ortaya çıkar.
Mass General Brigham'ın Boston'daki kişiselleştirilmiş tıp programında teknoloji yöneticisi olan Sandy Aronson, ekibinin genetik danışmanların DNA varyantlarıyla ilgili ilgili literatürü bulmasına yardımcı olmayı amaçlayan bir uygulamayı test ettiğinde ürünün “belirlenimsizlik” sorunu yaşadığını, yani aynı soru sorulduğunda söyledi. Kısa sürede birden çok kez sorulduğunda farklı sonuçlar verdi.
Aronson, aşırı yük taşıyan genetik danışmanlar için bilgiyi özetlemeye yönelik büyük dil modellerinin potansiyeli konusunda heyecan duyuyor ancak “teknolojinin gelişmesi gerekiyor.”
Ölçütler ve standartlar seyrekse ve garip nedenlerden dolayı hatalar ortaya çıkabiliyorsa kurumlar ne yapmalı? Çok fazla kaynağa yatırım yapın. Shah, Stanford'da iki modeli adalet ve güvenilirlik açısından denetlemenin sekiz ila 10 ay ve 115 adam-saat sürdüğünü söyledi.
KFF Health News'in görüştüğü uzmanlar, yapay zekanın yapay zekayı izlemesi fikrini ortaya attılar ve bazı (insan) veri ustalarının her ikisini de izlemesi sağlandı. Hepsi bunun kuruluşların daha fazla para harcamasını gerektireceğini kabul etti; hastane bütçelerinin gerçekleri ve yapay zeka teknolojisi uzmanlarının sınırlı arzı göz önüne alındığında bu zor bir istek.
Shah, “Modellerini izleyen bir modele sahip olmak için buzdağlarını erittiğimiz bir vizyona sahip olmak harika” dedi. “Ama gerçekten istediğim bu muydu? Daha kaç kişiye ihtiyacımız olacak?”
KFF Sağlık Haberleri sağlık sorunları hakkında derinlemesine gazetecilik üreten ulusal bir haber odasıdır ve şirketin temel çalışma programlarından biridir. KFF — sağlık politikası araştırmaları, anketler ve gazetecilik için bağımsız kaynak.
Haberler'den daha fazlası