现阶段主要研究方向包括:1. 视觉/多模态大模型;2. 数字医学影像分析;3. 人体行为识别;4. 持续学习;5.联邦学习。
课题组目前主要研究课题:
1. 基于分割大模型的数字医学图像分析:专注于对SAM/SAM2等大模型在复杂医学影像中的应用(细胞核实例分割、组织分割等)探索。研究内容包括对模型架构与提示设计/训练的优化,并加入多模态信息以进一步增强模型的通用性。
2. 基于多模态信息的人体行为识别持续学习模型研究:研究目标在于设计具有持续学习能力且轻量化的人体行为识别模型,使之可以部署在边缘设备(手机、手环等)。此外,通过将多种模态的信息(人体电信号、文字信息等)相结合的方式促使模型更具有通用性。
