首个融合组织学图像、空间转录组与生物语言的三模态基础模型

在空间生物学领域，组织形态与分子状态长期以来被作为独立模态分别分析，缺乏统一的联合建模框架。SciCore-Omics 正是为填补这一空白而设计：它将苏木精-伊红染色等病理切片图像、空间转录组测序数据以及自然语言描述整合进同一个自回归语言模型框架，使模型能够同时感知组织的形态特征与分子表达状态，从而支持更全面的生物学推理。

在架构层面，SciCore-Omics 以 MiniCPM-V 风格的多模态语言模型为骨干，并在此基础上新增了专用的基因处理分支。该分支由三个核心组件构成：NicheFormer 负责对原始基因表达谱进行编码，Gene Q-Former 对高维基因表示进行压缩与提炼，Gene Projector 则将压缩后的基因嵌入映射到语言模型的 token 空间。这一设计使基因信息能够与图像特征、文本 token 在同一序列中协同参与自回归生成。

训练流程方面，项目采用分阶段策略：首先通过基因桥接蒸馏（train-distill-gene）对基因分支进行对齐预训练；随后利用 Swift 框架完成持续预训练与监督微调（CPT/SFT）；最后引入 GSPO/PPO 风格的强化学习精调，进一步提升模型在复杂生物学推理任务上的表现。这种渐进式训练设计有助于在多模态对齐与语言生成质量之间取得平衡。

在应用场景上，SciCore-Omics 可执行多类空间生物学研究任务，包括基于组织学图像的生物描述生成、基于转录组谱的分子状态解读、空间组学点位的图像-基因联合推理、空间域识别以及病理与组织层级的问答。模型同样支持从病理图像出发进行初步的分子层级解读，为病理学与基因组学的交叉研究提供新工具。

SciCore-Omics 的模型权重已发布于 Hugging Face（openbmb/SciCore-Omics），并提供在线交互演示空间，用户可上传基因表达文件或组织学图像直接体验。本地部署方面，项目提供完整的 Conda 环境配置文件与推理示例脚本，支持图像、基因或两者联合作为输入。需要注意的是，该模型目前仅供研究使用，不构成独立的临床诊断系统，实际应用中需结合专业医学判断。

要点

• SciCore-Omics 是首个将组织学图像、空间转录组数据与生物语言统一建模的三模态基础模型，填补了空间生物学多模态联合推理的空白。
• 专用基因处理分支（NicheFormer + Gene Q-Former + Gene Projector）将高维基因表达谱转化为语言模型可处理的 token，实现了基因与图像、文本的深度融合。
• 分阶段训练流程涵盖基因桥接蒸馏、监督微调和强化学习精调，保障了多模态对齐质量与推理能力的逐步提升。
• 模型权重、在线演示、训练及推理代码均已开源，采用 Apache-2.0 许可证，研究者可直接复现与二次开发。
• 该模型定位为研究工具，不替代临床诊断，适用于病理学、空间基因组学及多模态生物信息学等交叉研究场景。