isabel logo
products

产品

临床试验

 
伊莎贝尔诊断清单系统的医学验证
 

伊莎贝尔是一种新型的电脑系统,旨在支持临床诊断决策。伊莎贝尔的目的是帮助临床医生在不确定的情况下给出基于病人症状和体征的诊断提示。

伊莎贝尔的诊断意见源自对于非格式化的医疗文本内容(统计自然语言处理)的检索。这种强有力的方法允许用户以概念匹配或者文字匹配检索,该技术完全不同于以往的诊断专家系统,输入到伊莎贝尔系统地的临床特征也可以是非结构化的自由文本,更易于繁忙的临床医生使用。这个功能是创新性的,在临床实践中,已对一系列关于其使用的操作和效果进行了评估。

独立的研究人员,系统开发人员和学术专家已经对伊莎贝尔进行了验证,这些研究证明了了伊莎贝尔的准确度,以及在实际的临床环境中使用时的作用。此前的专家诊断系统并未经过在实际临床中的受控研究的验证。

 
验证伊莎贝尔DCS的独立研究
 
 
 
 
 
系统开发人员或者学术人员验证伊莎贝尔DCS的研究
 
 
 
 
 
 
 
 
 
 
验证伊莎贝尔的独立研究
研究问题1:
伊莎贝尔在模拟教学中对于学生诊断准确性的作用

时间:2009
环境: 北芝加哥,伊利诺伊州,罗莎琳德富兰克林大学医学和科学系
研究人员:James R Carlson, MS, PA-C, Barbara Eulenberg, B.A, Thad Anzur, B.A, Diane Bridges, MSN, Marc Abel, PHD, John Tomkowak, MD, MOL
 
bullet
对20个大四医科学生在四个模拟病例场景诊断的准确率进行评估
   
bullet 首先要求学生们在使用伊莎贝尔前提交他们的诊断假设
   
bullet
之后要求学生们访问伊莎贝尔并提交他们最终诊断的假设
   
bullet
对使用伊莎贝尔前后诊断的准确性进行独立评分,并使用t检验比较
   
bullet
使用伊莎贝尔之后,诊断的准确率显著提高
   
bullet
学生们一致认为伊莎贝尔简单易学,并且能够帮助他们进行正确的诊断,因此他们很重视在模拟病例中使用伊莎贝尔的机会
   
bullet
学生们有效地使用了系统,提高了其诊断的准确性

使用伊莎贝尔已成为模拟病例的培训的重要的技能要求

伊莎贝尔能够告诉学生在各种各样的临床条件下使用的成功案

例,是一个重要的学习组件,模拟病例场景为学生在临床环境下引入诊断支持工具提供了合适的平台。
 
 
back
 
研究问题2:
当输入全部文本时,伊莎贝尔DCS在诊断困难的案例中表现如何?

时间: 2005年
环境: 纽约北港佛吉尼亚州医学中心和美国纽约州立大学石溪分校医学系
研究人员: Mark L. Graber, MD and Ashlei Mathews

研究人员从马萨诸塞州总医院的2004/2005年共61例“病例记录”选择了50例,每个病例都是标有“正确”的诊断。病例的历史,体检结果和病理试验结果,作为自然的文本数据被整块粘贴录入,并将结果与单独输入关键症状返回的结果进行比较:

使用全部文本输入获得的正确的诊断的为50例中的37例(74%);手动输入关键症状获得的正确的诊断的为50例中的48例(96%)。 仅有2个漏诊的疾病(渐进多焦点性脑病,肾纤维化皮肤病)在研究进行时未包括在数据库中。


 
back
 
研究问题3:
伊莎贝尔在模拟环境中对于误诊的作用是什么

时间: 2005
环境: 弗吉尼亚州,夏洛茨维尔,弗吉尼亚大学儿科系和公共卫生科学系
研究人员: Larissa R Amy, M.S., Stephen M Borowitz, M.D., Patrick A Brown, M.D., Mark J Mendelsohn, M.D., and Jason A Lyman, M.D.

研究人员分别给25个住院医师呈现一组6个不同难度的模拟病例,对于每一个病例,参与者给出使用伊莎贝尔系统前后的诊断和初始的治疗计划,将答案与三个儿科专家组成的专家组的诊断相比较。主要的衡量成果指标是包含在临床上重要的诊断的数量变化,和使用伊莎贝尔前所确定的诊断准确性的变化。

在已完成的150例的测试中,有15例(10%)参与者使用伊莎贝尔系统后增加了一个重要的诊断。这个诊断在使用伊莎贝尔系统前他们应该考虑到而没有考虑到。对于6个病例中的每一个,平均诊断准确性分数在住院医师查询伊莎贝尔系统后显著增加。
 
 
back
 
研究问题4:
伊莎贝尔对于发展中国家儿科重症的诊断准确性

时间: 2000年1月至2002年7月
环境: 印度,孟买,Seth GS医学院和KEM医院儿科
研究人员: SB Bavdekar and M Pawar

在印度孟买某个医院的儿科重症监护病房,住院医师根据儿科重症监护病房的患者的入院单,在患者入院30分钟内进行的询问,并进行了关键的临床检查和病理检验,检查结果录入伊莎贝尔生成诊断清单,之后对最终诊断在伊莎贝尔生成的诊断清单中出现的比率进行研究:

经过对28天到12周岁之间的111个男孩男孩和89个女孩,共200个病例的分析,对于先天性心脏疾病,呼吸道感染,脑膜炎,破伤风和败血症这些最常遇到的诊断。伊莎贝尔DCS的准确率达到80.5%。

研究结果发表在2005年11月的《印度儿科学报》。

Bavdekar SB, Pawar M. Evaluation of an Internet delivered pediatric diagnosis support system (ISABEL) in a tertiary care center in India. Indian Pediatr. 2005 Nov;42(11):1086-91.

 
按这里查看原始论文
     
View the original article
 
back
 
研究问题5:
伊莎贝尔对于提升医科学生的诊断能力是否有教育上的作用

时间: 2003-2004
环境: 斯壮Golisano儿童医院,罗切斯特,纽约州
研究人员: FA Maffei, EB Nazarian, P Ramnarayan, NJ Thomas, JS Rubenstein

在本次测试中,研究人员将医学院的学生随机分配到伊莎贝尔组和控制组,伊莎贝尔租的学生除了标准资源外还使用伊莎贝尔为患者进行诊断,控制组学生仅使用标准资源(教科书及互联网医学文献)进行诊断。研究人员使用对于所有学生的标准化的定岗测试进行伊莎贝尔系统的益处的定量评估,用户反馈和意见则通过调查问卷和访谈的方式收集。

43名学生被随机分组,伊莎贝尔组22人,控制组21人。伊莎贝尔组的15名学生完成了试验, 其中有12人认为伊莎贝尔DCS比标准资源更有用,有10人认为伊莎贝尔确实能够提供最初没有考虑到的额外诊断。所有参加测试的学生希望在正式评估过这些工具后,使用基于互联网的伊莎贝尔应纳入医学教育。

这些研究结果发表在2004年10月于纽约市举办的第15届儿科重症护理学术讨论会。

Maffei FA, Nazarian EB, Ramnarayan P, Thomas NJ, Rubenstein JS. Use of a Web-based Tool to Enhance Medical Student Learning in the Pediatric Intensive Care Unit and Inpatient Wards. Ped Crit Care Med. 6(1):109.

 
  按这里查看摘要    
 
back
 
系统开发人员或者学术人员验证伊莎贝尔DCS的研究
研究问题1:
伊莎贝尔儿科辅助诊断系统对于真实和假设的各种病例可以给出正确的诊断吗?

时间: 2000年8月到12月


本次实验将使用99个假设的病例和100个真实病人的临床数据,来测试伊莎贝尔儿科辅助诊断系统的性能,测试前所有病例的正确诊断是已知的(假设的病例来自于12个不同的儿科医生,真实病例来自4家英国国家医疗服务体系医院的急诊部门)。对于假设病例,伊莎贝尔输出了91%的正确诊断,而在真实的病例中,伊莎贝尔给出诊断的准确率是95%。

同时,一个两名专家组成的专家组也对每一个真实病例给出2到3个诊断,这些诊断都是需要医生在确诊时为了保证安全而仔细考虑其可能行的诊断。在本组测试中,伊莎贝尔对于医生诊断的命中率为73%。

这一研究成果发表在《儿童疾病档案》中。

Ramnarayan P, Tomlinson A, Rao A, Coren M, Winrow A, Britto J. ISABEL: a web-based differential diagnostic aid for pediatrics: results from an initial performance evaluation. Arch Dis Child. 2003 May;88(5):408-13

 
View the original article    
 
 
back
 
研究问题2:
伊莎贝尔辅助诊断系统对于成人急诊可以给出正确的诊断吗?

时间: 2004年9月至2005年8月
环境: 3 家英国国家医疗服务体系医院急诊部门
主办单位: 英国卫生部,斯基普顿大厦,伦敦

研究人员从三个医院的急诊部门收集到的临床数据输入到诊断系统,将诊断系统显示的结果与住院病人的最终诊断进行了准确性的比对,同时也与一个专家组对每个病例给出的诊断进行了对比。

数据来自594名患者(其中53.4%匿名),平均年龄为49.4岁(95%置信区间47.7-51.1),大多数患者有明显的过往病史,594人中的266个(44.6%)看过急诊之后住院。结果显示,对于住院病人系统诊断的准确率为95%,对于专家给出的诊断系统的命中率为90%。78%的病例中,最终诊断在系统显示前十个诊断建议中。

Padmanabhan Ramnarayan, Natalie Cronje, Ruth Brown, Rupert Negus, Bill Coode, Philip Moss, Taj Hassan, Wayne Hamer, Joseph Britto. Validation of a diagnostic reminder system in emergency medicine: a multi-centre study. Emergency Medicine Journal 2007;24:619-624; doi:10.1136/emj.2006.044107

 
相关链接:点击这里查看原文
     
View the original article
 
back
 
研究问题3:
伊莎贝尔儿科辅助诊断系统在特定环境中如何影响临床医生的决策?

时间: 2002年1月至2002年8月
资金赞助单位: 英国国家医疗服务体系研究发展局,伦敦
学术顾问: 卫生部信息中心(CHIME),伦敦; 杰里米·怀亚特博士,伦敦大学学院知识管理中心主任,现为英国国家医疗卓越研究中心研发副主任

由于伊莎贝尔依赖于用户输入的自然文本,并且取决于用户有效地处理系统给出的建议,因此了解伊莎贝尔的建议对普通医生的影响就非常地重要了。虽然伊莎贝尔可能是极其准确的,用户也有可能因为输入错误,或对系统的建议缺乏信心而无法从它的使用中获益,还有一些外部因素,比如不能接入互联网,都会影响研究。因此,研究是在一个特定的实验性的环境中进行的。

由于伊莎贝尔依赖于用户输入的自然文本,并且取决于用户有效地处理系统给出的建议,因此了解伊莎贝尔的建议对普通医生的影响就非常地重要了。虽然伊莎贝尔可能是极其准确的,用户也有可能因为输入错误,或对系统的建议缺乏信心而无法从它的使用中获益,还有一些外部因素,比如不能接入互联网,都会影响研究。因此,研究是在一个特定的实验性的环境中进行的。

 
bullet
由76个不同水平的临床医生(主任医师,主治医师,助理医师及医科学生)对了24个儿科的模拟病例进行评估,他们分别在使用伊莎贝尔前后做出诊断决策,并将决策的变化被记录下来。
   
bullet 由两人组成的专家组针对每一个以上医生诊断的病例独立给出他们的诊断决定。
   
bullet
研究结束时共获得751组诊断决定(使用伊莎贝尔前后)。
   
bullet
在其中的95个病例中,专家组给出的诊断只有在用户使用过伊莎贝尔的意见后才会考虑(8例中有1例,12.5%)。
   
bullet
在其中141个病例(19%)中,医生们在使用伊莎贝尔之前没有考虑到专家给出的诊断。这个数字在使用伊莎贝尔后降为101例(13%)。
   
bullet
有70个重要的检查是医生们在使用过伊莎贝尔之后才决定要做的。
   
bullet
使用伊莎贝尔后没有错误的诊断被引入。只有7个不必要的检查因伊莎贝尔建议而决定要做。
 
这项研究结果已发表在2006年5月的BMC《医学信息与决策》。他们还以摘要的形式发布在各种会议上,包括英国皇家儿科和儿童保健学会的2003年年会。
 
 
按这里查看原始论文
     
View the original article
   
 
back
 
研究问题4:
自由文本的输入是否会影响伊莎贝尔所提供的诊断的质量?

伊莎贝尔的诊断归功于一个可以转换大多数医疗缩写、俚语、不准确的术语到适当的医疗术语的定制词库,使得用户可以使用自由的自然语言文字表达临床特征。在后台,伊莎贝尔的强大的自然语言处理软件同样从医学文本中准确抽取关键词,方便了用户进行快速搜索。对比以前诊断系统的研究表明,使用受控词汇表,用户需要花20-40分钟输入临床数据。

 
bullet
先前(问题3)的研究中测定了伊莎贝尔输入临床数据所花费的时间。参加者花费了6分钟时间完成了阅读和分析病史、引出并输入关键的临床特征、查看伊莎贝尔结果前输入他们​​的鉴别诊断、诊询和处理方案,额外的1分钟处理伊莎贝尔给出的建议。
   
bullet
研究中每24个用户评估一个病例,每个病例平均产生30种不同的表达(共24×30种组合)。对应每组表达,无论用户的输入是什么,伊莎贝尔输出的诊断显示是一致的。这表明自由文本输入会导致不同的诊断的顾虑是不必要的。
   
 
这项研究的结果正在提交同行审查。
 
back
 
研究问题5:
是否可以客观地衡量使用决策支持工具时临床决策质量的变化?

时间: 2001年9月至2002年1月
学术顾问: 卫生部信息中心(CHIME),伦敦; 杰里米·怀亚特博士,伦敦大学学院知识管理中心主任,现为英国国家医疗卓越研究中心研发副主任

由于大部分伊莎贝尔的效果发生在急性病的临床诊断环境里,用一个客观和敏感的手段来测量这个效果是至关重要的。由于在文献中缺乏这样的工具,研究人员启动了一项开发和验证新的度量标准的研究,使用旧的分数系统和新颖的概念的组合,开发除了一个可靠而有效的分数系统。这个工具用于衡量伊莎贝尔的诊断建议对现实生活中的临床决策的影响将是非常有用的。
 
结果经同行审查,并发表在《美国医学信息协会学报》
 
Ramnarayan P, Kapoor RR, Coren M, Nanduri V, Tomlinson AL, Taylor PM, Wyatt JC, Britto JF. Measuring the impact of diagnostic decision support on the quality of clinical decision making: development of a reliable and valid composite score. J Am Med Inform Assoc. 2003 Nov-Dec;10(6):563-72. Epub 2003 Aug 04.

     
View the original article
 
埃塔·伯纳在同期的编辑推荐里讨论了本文,并详细介绍了评价诊断辅助的影响的传统困难。

Berner ES. Diagnostic decision support systems: how to determine the gold standard? J Am Med Inform Assoc. 2003 Nov-Dec;10(6):608-10


View the original article
 
 
back
研究问题6:
伊莎贝尔儿科辅助诊断系统是否改善了英国国家医疗服务体系机构中诊断的决策?

时间: 2002年6月至2003年5月
主办单位: 英国卫生部,斯基普顿大厦,伦敦
学术顾问: 卫生部信息中心(CHIME),伦敦; 杰里米·怀亚特博士,伦敦大学学院知识管理中心主任,现为英国国家医疗卓越研究中心研发副主任
在这项研究中,伊莎贝尔对4家国际医疗服务体系社区医院的一线医生诊断决策的影响在医生们自然的工作环境下被测定。一线医生们不是在所有的的病例中都是用伊莎贝尔,二是在他们需要诊断建议的病例里选择使用,他们在使用伊莎贝尔前做出一个诊断决定,并在使用之后再记录一个诊断决定。
 
bullet
医生们试图访问伊莎贝尔500次,但由于网速慢或NHS网络的问题,医生们最终放弃了他们的打算。
   
bullet
在社区医院里电脑/医生比平均为1/10,并且这几台电脑不是专门供伊莎贝尔使用的,他们也被用于查看检验结果,访问病人管理系统等。
   
bullet
医生对125例患者记录了完整的数据,其中有104例可用的医疗记录使用在这项研究中。
   
bullet
4位主任医师独立地检查医疗记录,以提供安全的和适当的诊断治疗,这些的诊断决定对于社区医生们是不可见的(使用伊莎贝尔的建议之前和之后都如此)。
   
bullet
在47个病例(45%)中,医生没有考虑到所有的重要诊断(专家组考虑到的诊断),这意味着近一半的病例的诊断是不安全的。
   
bullet
在47个病例的14例中,伊莎贝尔提示给医生的建议包括了所有“重要的”诊断(28%),提升了诊断的安全性。这意味着,伊莎贝尔在14/104(13.5%)例的情况下对于诊断的质量产生了一个有意义的变化。
   
bullet
在另外的5例中,伊莎贝尔的建议包含了适当的建议,但被医生忽略。因此,伊莎贝尔有潜力转换19个不安全的诊断到安全的最终诊断(占总数的17%)。
   
bullet 伊莎贝尔的意见促使医生执行6个“重要的”检查。
   
bullet 医生处理伊莎贝尔建议的额外的时间是1分38秒。
 
这项研究结果已发表在2006年11月的BMC《医学信息与决策》。他们还以摘要的形式发布在各种会议上,包括英国皇家儿科和儿童保健学会的2004年年会。"
 
 
按这里查看原始论文
     
View the original article
 
back
 
研究问题7:
伊莎贝尔儿科辅助诊断系统在儿科重症监护中起到什么样的作用?

伊莎贝尔辅助诊断系统对一般儿科急性病诊断的应用显示了其在重症监护环境下的潜在效用。我们需要测试在这种环境里,伊莎贝尔为诊断决策起到的作用。

 
bullet
临床数据从5个儿科重症监护病房(3个在美国,2个在英国)于2003年3个月期间入院患者处收集。
   
bullet 入院的初步诊断结果被记录。
   
bullet
伊莎贝尔基于患者的临床特征输出的建议被展示给每个专科的专家。他们确定了对病人治疗的最重要的临床诊断,其中一部分是根据伊莎贝尔的建议做出决定的。
   
bullet
最终,在206个病例中,有40%伊莎贝尔列出了被入院医生遗漏了的“重要的”临床诊断。
 
 
 
back
 
研究问题8:
伊莎贝尔辅助诊断系统在基层医疗实践中起到的作用?

虽然伊莎贝尔主要被设计用于英国的二级医疗机构环境,实际上一级医疗机构也对其表现出了相当大的兴趣。克莱尔·斯科特博士对伊莎贝尔在一级医疗机构的潜在效用进行了研究,连续检查了1000例医疗事故的索赔案例。

 
bullet
在151个被鉴定的儿科病例中;其中104例之前被其他专家标记为“误诊/延误诊断”。
   
bullet
研究人员从专家报告,法律顾问所写的简要记录和原始索赔起诉书等资料中收集了每个病儿看全科医生时的临床体征。
   
bullet 这些临床体征被输入到伊莎贝尔辅助诊断系统,输出的结果相与最终的病人的诊断进行了对比。
   
bullet
在88个有完整的数据的病例中,全科医生对每个病例给出的诊断平均数量是5,平均每宗个案由3名全科医生给出诊断。
   
bullet
从病人的最终诊断结果来判断,伊莎贝尔在69%的病例中显示了正确的诊断。如果全科医生适当的采纳建议,伊莎贝尔可能可以改变52%的病例中患者的诊断结果。
 
 这项研究发表在医疗事故委员会的《英国病例汇编》: 点击这里查看
 
back
 
研究问题9:
可上网的掌上电脑是否增加了伊莎贝尔辅助诊断系统的易操作性?

主要的研究人员: Dr Richard Paget
资金赞助: Mercers慈善基金会,伦敦

伊莎贝尔辅助诊断系统通过互联网为用户提供服务,由于电脑和网络的问题限制了伊莎贝尔的使用,临床医生能用于上网的台式电脑是很少的,因此这项研究考察使用无线技术上网的掌上电脑是否会增加对伊莎贝尔的访问。
 
bullet
研究人员在一段时间后给4家医院的初级医生提供了可上网的掌上电脑。
   
bullet
在最初的2个月的时间段,每家医院监控伊莎贝尔通过台式电脑的访问。在使用掌上电脑和一段试运行期后,再监控2个月内每家医院再监控通过掌上电脑访问伊莎贝尔辅助诊断系统。
   
bullet
使用掌上电脑后对伊莎贝尔辅助诊断系统的访问增加了500%。
   
 
 
back