摘要

本文介绍了一种名为mclSTExp的创新方法，该方法利用多模态对比学习结合Transformer和Densenet-121编码器，用于预测组织学图像中的空间转录组表达。mclSTExp通过将每个点视为“单词”，并利用Transformer的自注意力机制整合其内在特征与空间上下文，进一步通过对比学习融入图像特征，从而增强模型的预测能力。该方法在乳腺癌和皮肤鳞状细胞癌等多个数据集上展示了优越的性能，不仅能够准确预测基因表达，还能解释特定癌症过表达基因和免疫相关基因，为个性化治疗策略的开发提供了新的视角。

原理

mclSTExp的核心在于其多模态对比学习框架，该框架结合了Transformer和Densenet-121编码器。首先，通过Densenet-121从H&E染色的全切片图像中提取视觉特征。同时，利用Transformer的自注意力机制处理转录组数据，将每个检测点视为“单词”，并通过位置编码整合其空间信息。随后，通过对比学习机制，最大化正样本对的余弦相似度，最小化负样本对的相似度，从而实现图像特征与转录组特征的有效融合。这种融合不仅考虑了基因表达的内在特征，还结合了其在组织图像中的空间位置，从而提高了预测的准确性和生物学解释性。

流程

mclSTExp的工作流程分为两个主要步骤：训练和预测。在训练阶段，首先将H&E图像分割成小块，并通过Densenet-121提取每个小块的特征。同时，将转录组数据输入到Transformer中，通过自注意力机制和位置编码整合空间信息。然后，通过对比学习机制，训练模型以最大化正样本对的相似度，最小化负样本对的相似度。在预测阶段，对于新的H&E图像，模型提取其视觉特征，并计算这些特征与训练集中所有点的特征的余弦相似度。选择相似度最高的k个点，并根据这些点的真实基因表达进行加权聚合，从而预测新图像的基因表达。

应用

mclSTExp的应用前景广阔，特别是在生物医学研究和临床诊断中。该方法能够帮助研究人员在不需要昂贵的空间转录组技术的情况下，通过常规的H&E染色图像预测基因表达模式，从而加速疾病机制的研究和治疗策略的开发。此外，mclSTExp还能用于肿瘤的分子分型和预后评估，为个性化医疗提供支持。随着技术的进一步发展和优化，mclSTExp有望成为生物医学领域的重要工具。