于梦懿

Mengyi Yua1re

人工智能与模式识别实验室 · China

专注于多模态表示学习、几何拓扑正则化与谱图神经网络理论。探寻高维表征内在不变性与严谨数学结构的工程统一。

GitHubGoogle ScholarKaggleEmailCurriculum Vitae
排序模式:
01

成果产出 Publications & Papers

同行评审学术论文、预印本与核心方法论研究

3 篇/项
2025-04IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI) - Under Review
权重: 100

Cross-Modal Topological Alignment for Unified Latent Representation Learning

Mengyi Yu (a1re), Chenxi Lin, Haoran Zhang, Jianing Wu

We formulate a novel persistent homology regularization framework that preserves geometric invariants across disparate modalities during high-dimensional feature projection, mitigating semantic distortion in multimodal generative alignment.

提出了基于拓扑同调正则化的多模态统一隐空间表征范式，理论证明了欧氏距离投影下的几何不变性上界，在跨模态检索与生成任务上刷新 SOTA。

Cross-Modal Topological Alignment for Unified Latent Representation Learning
点击放大查看结构图/预览
相关资源与附件 (3)
Manuscript_Final_Preprint.pdf3.4 MB
下载
Topology_Benchmark_Dataset.zip142.8 MB
下载
Evaluation_Metrics_Sheet.xlsx860 KB
下载
外部索引:DOI: 10.1109/TPAMI.2025.04218arXiv: 2504.09871GitHub Repository
#Multimodal#Algebraic Topology#Representation Learning
2024-11NeurIPS 2024 (Advances in Neural Information Processing Systems)
权重: 95

Spectral Pruning in Graph Neural Networks via Diffusion Wavelet Sparsification

Mengyi Yu (a1re), Sheng Long, Prof. Zhiwei Zhao

We investigate the spectral decay properties of localized graph wavelets, introducing an adaptive band-pass sparsification criterion that compresses 68% parameters without topological spectral rank reduction.

通过扩散小波基底对大型图神经网络进行谱域剪枝，在保留低频连通性特征的同时极大削减了过平滑误差与计算复杂度。

Spectral Pruning in Graph Neural Networks via Diffusion Wavelet Sparsification
点击放大查看结构图/预览
相关资源与附件 (1)
NeurIPS2024_CameraReady.pdf2.1 MB
下载
外部索引:OpenReview ProceedingCode & Benchmark
#Graph Neural Networks#Spectral Theory#Model Compression
2024-03归档收起

Adaptive Attention Modulation for Zero-shot Dense Retrieval (Workshop Abstract)

02

学术会议 Conferences & Seminars

正式学术大会口头报告、海报交流与研讨会发言

3 篇/项
2025-06CVPR 2025 · Long Beach, CA (Poster & Invited Oral Session)
权重: 92

Oral Presentation: Geometric Invariants in Generative Diffusion Trajectories

受邀在计算机视觉几何与拓扑分析专题研讨会发表 20 分钟口头汇报，剖析扩散过程概率流常微分方程（PF-ODE）在流形收缩阶段的李导数守恒律。

Oral Presentation: Geometric Invariants in Generative Diffusion Trajectories
点击放大查看结构图/预览
相关资源与附件 (1)
CVPR2025_Oral_SlideDeck.pdf8.2 MB
下载
外部索引:Conference Session LinkSlides Live Deck
#Oral Presentation#Diffusion Models#Geometric Deep Learning
2024-12高校青年学者学术沙龙 (Tsinghua & Peking Joint Youth AI Forum)
权重: 75

Invited Talk: 现代多模态大模型的谱图瓶颈与结构化归纳偏置

针对 Transformer 全局注意力机制在处理图拓扑关系时的二次方计算瓶颈，探讨将图拉普拉斯算子引入混合专家系统（MoE）路由层的工程可行性。

相关资源与附件 (1)
Seminar_Spectral_Bottleneck.pdf4.5 MB
下载
#Invited Talk#Graph Representation#Transformer Architecture
2024-05归档收起

Bi-weekly Lab Reading Group: 基础模型长上下文注意力稀疏化综述

03

竞赛与荣誉 Honors & Awards

算法建模竞赛获奖、奖学金荣誉与学术资质认证

3 篇/项
2025-01Kaggle & Global AI Research Consortium
权重: 98

Kaggle Grandmaster Track: Multimodal Understanding Challenge - 1st Prize Gold Medal

在全球 2,400+ 支参赛队伍中夺得冠军（Rank 1/2431）。主导设计了自适应模态退火融合机制与测试阶段对抗样本鲁棒性过滤管线。

Kaggle Grandmaster Track: Multimodal Understanding Challenge - 1st Prize Gold Medal
点击放大查看结构图/预览
相关资源与附件 (2)
First_Prize_Official_Certificate.pdf1.2 MB
下载
Ensemble_Validation_Log.csv4.8 MB
下载
外部索引:Leaderboard & Solution WriteupSolution Source Code
#1st Prize Gold#Kaggle Competition#Robust Machine Learning
2024-10中华人民共和国教育部 (Ministry of Education, PRC)
权重: 96

国家奖学金 (National Scholarship of China)

教育部设立的高等院校学生最高级别国家荣誉，用于表彰在学业考核、学术成果及科研突破中表现拔尖的前 0.2% 优秀青年学子。

国家奖学金 (National Scholarship of China)
点击放大查看结构图/预览
相关资源与附件 (1)
National_Scholarship_Honor_Credentials.pdf1.8 MB
下载
外部索引:教育部官网表彰公示
#National Honor#Top 0.2%#Academic Excellence
2023-11归档收起

全国大学生数学建模竞赛 (CUMCM) 全国一等奖

04

学习记录与笔记 Notes & Articles

理论数学推导、系统架构设计与深度学习研究手记

2 篇/项
2025-03Theoretical ML Research Journal
权重: 88

Diffusion 模型的数学骨架：从 Fokker-Planck 偏微分方程到逆向 SDE 求解

严谨剖析得分匹配（Score Matching）在连续时间极限下的测度变化，推导扩散过程逆向随机微分方程的飘移项修正与方差收敛特性。

核心公式与手记推导

1. 前向扩散随机微分方程 (Forward SDE)

考虑连续时间变量 t∈[0,T]t \in [0, T] 下的状态演化过程 xt∈Rd\mathbf{x}_t \in \mathbb{R}^d，标准 Ito 型前向扩散 SDE 定义如下：

dxt=f(xt,t)dt+g(t)dwt\mathrm{d}\mathbf{x}_t = \mathbf{f}(\mathbf{x}_t, t)\mathrm{d}t + g(t)\mathrm{d}\mathbf{w}_t

其中 f(⋅,t):Rd→Rd\mathbf{f}(\cdot, t): \mathbb{R}^d \to \mathbb{R}^d 为确定性漂移项，g(t)∈Rg(t) \in \mathbb{R} 为标量扩散系数，wt\mathbf{w}_t 表示标准布朗运动。

根据 Fokker-Planck (Kolmogorov Forward) 方程，其边际概率密度 pt(x)p_t(\mathbf{x}) 满足连续性关系：

∂pt(x)∂t=−∑i=1d∂∂xi[fi(x,t)pt(x)]+12g(t)2∑i=1d∂2pt(x)∂xi2\frac{\partial p_t(\mathbf{x})}{\partial t} = -\sum_{i=1}^d \frac{\partial}{\partial x_i} \left[ f_i(\mathbf{x}, t) p_t(\mathbf{x}) \right] + \frac{1}{2} g(t)^2 \sum_{i=1}^d \frac{\partial^2 p_t(\mathbf{x})}{\partial x_i^2}

2. 逆向求解与得分函数 (Reverse SDE & Score Matching)

Anderson (1982) 的经典反向时间定理指出，若前向过程满足一定正则条件，则逆向过程可显式写为：

dxt=[f(xt,t)−g(t)2∇xlog⁡pt(xt)]dt+g(t)dwˉt\mathrm{d}\mathbf{x}_t = \left[ \mathbf{f}(\mathbf{x}_t, t) - g(t)^2 \nabla_{\mathbf{x}} \log p_t(\mathbf{x}_t) \right] \mathrm{d}t + g(t)\mathrm{d}\bar{\mathbf{w}}_t

在此式中，未知量仅剩得分函数 sθ(xt,t)≈∇xlog⁡pt(xt)\mathbf{s}_\theta(\mathbf{x}_t, t) \approx \nabla_{\mathbf{x}} \log p_t(\mathbf{x}_t)。训练目标即为去噪得分匹配优化目标：

LDSM(θ)=Et,x0,xt[λ(t)∥sθ(xt,t)−∇xtlog⁡pt∣0(xt∣x0)∥2]\mathcal{L}_{\mathrm{DSM}}(\theta) = \mathbb{E}_{t, \mathbf{x}_0, \mathbf{x}_t} \left[ \lambda(t) \left\| \mathbf{s}_\theta(\mathbf{x}_t, t) - \nabla_{\mathbf{x}_t} \log p_{t|0}(\mathbf{x}_t | \mathbf{x}_0) \right\|^2 \right]

通过解析条件高斯分布 pt∣0(xt∣x0)=N(μtx0,σt2I)p_{t|0}(\mathbf{x}_t | \mathbf{x}_0) = \mathcal{N}(\mu_t \mathbf{x}_0, \sigma_t^2 \mathbf{I})，我们获得解析形式梯度：

∇xtlog⁡pt∣0(xt∣x0)=−xt−μtx0σt2=−ϵσt\nabla_{\mathbf{x}_t} \log p_{t|0}(\mathbf{x}_t | \mathbf{x}_0) = -\frac{\mathbf{x}_t - \mu_t \mathbf{x}_0}{\sigma_t^2} = -\frac{\boldsymbol{\epsilon}}{\sigma_t}

这完成了连续时间扩散模型与离散 DDPM 预测噪声目标的数学等价闭环。

#Stochastic Calculus#Diffusion Models#Mathematics#KaTeX
2024-09Graph & Geometric Deep Learning Lab
权重: 82

图对比学习中的谱域同态映射与负采样方差界限

从谱图论拉普拉斯二次型出发，定量分析 InfoNCE 损失函数在非齐次图网络中由于拓扑同态破缺引起的表征崩塌上界。

核心公式与手记推导

图拉普拉斯算子与高频截断

设无向图 G=(V,E)\mathcal{G} = (\mathcal{V}, \mathcal{E})，其对称归一化拉普拉斯矩阵定义为：

L=I−D−1/2AD−1/2=UΛU⊤\mathbf{L} = \mathbf{I} - \mathbf{D}^{-1/2} \mathbf{A} \mathbf{D}^{-1/2} = \mathbf{U} \boldsymbol{\Lambda} \mathbf{U}^\top

在图对比学习架构中，InfoNCE 损失函数的对数分母项为：

LInfoNCE=−∑i=1Nlog⁡exp⁡(zi⊤zi+/τ)exp⁡(zi⊤zi+/τ)+∑k=1Kexp⁡(zi⊤zi,k−/τ)\mathcal{L}_{\text{InfoNCE}} = -\sum_{i=1}^N \log \frac{\exp(\mathbf{z}_i^\top \mathbf{z}_i^+ / \tau)}{\exp(\mathbf{z}_i^\top \mathbf{z}_i^+ / \tau) + \sum_{k=1}^K \exp(\mathbf{z}_i^\top \mathbf{z}_{i, k}^- / \tau)}

我们发现当图直径满足 D(G)≥O(log⁡∣V∣)D(\mathcal{G}) \ge \mathcal{O}(\log |\mathcal{V}|) 时，负样本分布会产生特征同质化坍缩，必须引入谱域高通滤波器约束保证正负样本间的正交投影。

#Graph Theory#Spectral Graph#InfoNCE#Linear Algebra