研究人员最近在《自然医学》上发表的一项研究中，开发了将医学图片与文本联系起来，并根据图像的概念存在性评估图像的医学概念检索器(MONET)基础模型，有助于医疗人工智能(AI)开发和实施的关键任务。
背景
构建可靠的基于图像的医疗人工智能系统需要在从训练阶段到部署后阶段的每个开发阶段分析信息和神经网络模型。
包含语义相关想法的丰富注释的医疗数据集可以消除“黑箱”技术的神秘感。
了解临床意义的概念，如深色色素沉着、非典型色素网络和多种颜色，在医学上是有益的;但是，获取标签需要花费精力，而且大多数医疗信息集只提供诊断注释。
一个关于这项研究
在目前的研究中，研究人员创建了MONET，这是一种人工智能模型，可以用医学相关的想法注释医学图片。他们设计了该模型，以识别皮肤病学中两种图像模式(皮肤镜和临床图像)中各种人类可理解的想法。
研究人员从PubMed文章和医学教科书中收集了105550张皮肤病学图像-文本配对，然后使用105550张皮肤病学相关照片和来自大型医学文献数据库的自然语言数据来训练莫奈。
莫奈给每个想法的照片打分，这表明图像描绘这个想法的程度。
MONET是一种基于对比型学习的人工智能方法，它允许直接对图像进行简单的语言描述。
这种方法避免了人工标注，允许在比监督式学习更大的规模上获得大量的图像-文本对信息。在莫奈训练之后，研究人员评估了它在注释和其他与人工智能透明度相关的用例中的有效性。
研究人员通过从皮肤镜和临床图像中选择最具概念性的照片来测试莫奈的概念注释能力。
他们将MONET的表现与监督学习策略进行了比较，这些策略包括训练带有真实概念标签的ResNet-50模型和OpenAI的对比语言图像预训练(CLIP)模型。
研究人员还使用MonET自动化数据评估，并测试了其在概念差异分析中的有效性。
他们利用莫奈分析了国际皮肤成像合作组织(ISIC)的数据，这是最广泛的皮肤镜图像集，拥有超过7万张公开可用的图像，通常用于训练皮肤病学人工智能模型。
研究人员开发了使用莫奈的模型审计(MA-MONET)，使用莫奈自动检测语义相关的医学概念和模型错误。
研究人员通过在几所大学的数据上训练CNN模型并评估其自动概念注释，在现实环境中评估了MONET-MA。
他们将“莫奈+ CBM”自动创意评分方法与人工标注方法进行了对比，后者只适用于含有SkinCon标签的照片。
研究人员还研究了概念选择对MONET+CBM性能的影响，特别是瓶颈层中与任务相关的想法。此外，他们还评估了在机构间转移情景中纳入瓶颈中的红色概念对MONET+CBM绩效的影响。
结果
MonET是一个灵活的医疗人工智能平台，可以适当地注释皮肤病学图像中的想法，并得到委员会认证的皮肤科医生的证实。
它的概念注释功能可以在整个医疗人工智能管道中进行相关的可信度评估，正如模型审计、数据审计和可解释模型开发所证明的那样。
莫奈成功地为各种皮肤病学关键词找到了合适的皮肤镜和临床图像，在这两个领域都超过了基线CLIP模型。MonET在皮肤镜和临床图像方面的表现优于CLIP，而在临床图像方面则与监督学习模型相当。
MONET的自动注释功能有助于在思想差异分析过程中识别人类可读语言中任意两组图像之间的差异特征。
研究人员发现，MonET识别临床和皮肤镜数据集中不同表达的想法，可以帮助大规模数据集审计。
MA-MonET的使用揭示了与高错误率相关的特征，比如一组被标记为蓝白色面纱、蓝色、黑色、灰色和平顶的照片。
研究人员通过红斑、退行性结构、红色、萎缩和色素沉着来确定错误率最高的群集。皮肤科医生为MONET+CBM和CLIP+CBM瓶颈层选择了10个与目标相关的想法，允许灵活的标签选择。
在临床图像中，MONET+CBM在预测恶性肿瘤和黑色素瘤方面超过了所有与接受者工作特征曲线(AUROC)下平均面积相关的基线。有监督的黑箱模型在癌症和黑色素瘤预测测试中一直表现优异。
结论
研究发现，图像-文本模型可以提高人工智能在医疗领域的透明度和可信度。MONET是一个医学概念标注平台，可以通过对想法进行大规模标注，提高皮肤病学AI的透明度和可信度。
人工智能模型开发人员可以改进数据收集、处理和优化程序，从而产生更可靠的医疗人工智能模型。
MonET可以通过注释肤色描述符来进行全面审计和公平性分析，从而影响医学图像人工智能系统的临床部署和监控。
