【流匹配模型Flow Maching】流匹配模型入门理解(2)

发布时间:2026/11/19 22:00:23

【流匹配模型Flow Maching】流匹配模型入门理解(2) 目录前言1. 模拟数据定义2. 构造训练路径3. 速度预测网络4. 训练5. 从噪声逐步生成6. 相同起点一步与多步比较前言之前已经介绍过DDMP以及流模型见如下四篇链接: 【扩散模型DDPM】扩散模型入门理解1 【扩散模型DDPM】扩散模型入门理解2【扩散模型DDPM】扩散模型入门理解3【流匹配模型Flow Maching】流匹配模型入门理解1现在看一下流模型的代码这个代码在DDPM代码的基础上比较好理解见扩散模型理解3。1. 模拟数据定义importmathimportnumpyasnpimportmatplotlib.pyplotaspltimporttorchfromtorchimportnnfromsklearn.datasetsimportmake_moons np.random.seed(42)torch.manual_seed(42)devicetorch.device(cuda:3iftorch.cuda.is_available()elsecpu)ifdevice.typecpu:torch.set_num_threads(min(4,torch.get_num_threads()))print(device:,device)points,_make_moons(n_samples10000,noise0.05,random_state42)points(points-points.mean(axis0))/points.std(axis0)datatorch.tensor(points,dtypetorch.float32,devicedevice)defplot_points(ax,points,title):ifisinstance(points,torch.Tensor):pointspoints.detach().cpu().numpy()ax.scatter(points[:,0],points[:,1],s3,alpha0.4)ax.set_title(title)ax.set_xlim(-3.5,3.5)ax.set_ylim(-3.5,3.5)ax.set_aspect(equal)fig,axplt.subplots(figsize(4,4))plot_points(ax,data[:1500],Real data)plt.tight_layout()plt.show()2. 构造训练路径固定同一批起点和终点查看不同t tt的插值这不是训练好的模型生成的轨迹。x t ( 1 − t ) z t x d a t a x_t(1-t)zt x_{\mathrm{data}}xt​(1−t)ztxdata​这里展示的是人为构造的训练插值还不是网络生成的结果。definterpolate(x_data,t,noise):tt[:,None]# [batch] - [batch, 1]同一个 t 用于两个坐标return(1-t)*noiset*x_data x_demodata[:1500]noise_demotorch.randn_like(x_demo)fig,axesplt.subplots(1,5,figsize(15,3))forax,timeinzip(axes,[0.0,0.25,0.5,0.75,1.0]):ttorch.full((len(x_demo),),time,devicedevice)plot_points(ax,interpolate(x_demo,t,noise_demo),ft {time:.2f})plt.tight_layout()plt.show()3. 速度预测网络与之前 NoisePredictor 的结构相同t tt已位于[ 0 , 1 ] [0,1][0,1]不再除以T TT(之前 DDPM 的时间是整数编号现在 Flow Matching 的时间已经是一个 01 之间的小数。)。输出两个坐标方向的速度。classVelocityPredictor(nn.Module):def__init__(self):super().__init__()self.register_buffer(freq,torch.arange(1,9).float()*math.pi)self.netnn.Sequential(nn.Linear(18,128),nn.SiLU(),nn.Linear(128,128),nn.SiLU(),nn.Linear(128,128),nn.SiLU(),nn.Linear(128,2),)defforward(self,x_t,t):phaset.float()[:,None]*self.freq[None,:]time_embeddingtorch.cat([phase.sin(),phase.cos()],dim1)returnself.net(torch.cat([x_t,time_embedding],dim1))modelVelocityPredictor().to(device)optimizertorch.optim.Adam(model.parameters(),lr1e-3)4. 训练每个数据点随机抽取一个连续时间随机噪声与数据独立配对。这个地方注意噪声跟原始数据是独立配对的也就是说噪声和数据没有一一对应的关系是随机的这个地方可以用OT最有传输提前配对后面再处理这是另一种模型方式。路径对时间求导得到目标速度u t d x t d t x d a t a − z u_t\frac{dx_t}{dt}x_{\mathrm{data}}-zut​dtdxt​​xdata​−z因此损失为∥ v θ ( x t , t ) − ( x d a t a − z ) ∥ 2 \|v_\theta(x_t,t)-(x_{data}-z)\|^2∥vθ​(xt​,t)−(xdata​−z)∥2。不同端点可能给出冲突的速度标签所以不要求训练损失降到零。batch_size256train_steps4000loss_history[]model.train()forstepinrange(1,train_steps1):x_datadata[torch.randint(len(data),(batch_size,),devicedevice)]ttorch.rand(batch_size,devicedevice)noisetorch.randn_like(x_data)x_tinterpolate(x_data,t,noise)target_velocityx_data-noise predicted_velocitymodel(x_t,t)loss(predicted_velocity-target_velocity).square().mean()optimizer.zero_grad()loss.backward()optimizer.step()loss_history.append(loss.item())ifstep%5000:print(fstep{step:4d}| mean loss{np.mean(loss_history[-500:]):.4f})plt.figure(figsize(6,3))plt.plot(loss_history,alpha0.3,labelBatch loss)window100smoothednp.convolve(loss_history,np.ones(window)/window,modevalid)plt.plot(np.arange(window,len(loss_history)1),smoothed,label100-step mean)plt.xlabel(Training step)plt.ylabel(Velocity MSE)plt.legend()plt.tight_layout()plt.show()5. 从噪声逐步生成训练完成后我们从纯噪声出发通过100 步 Euler 采样逐步生成数据。这里每一步都重新调用同一个网络v θ v_\thetavθ​并且只在初始化时抽取一次噪声后续每一步不再额外加噪。使用最简单的 Euler 更新公式x t Δ t x t Δ t v θ ( x t , t ) \boxed{x_{t\Delta t}x_t\Delta t\,v_\theta(x_t,t)}xtΔt​xt​Δtvθ​(xt​,t)​这里设置生成过程走100 步所以时间步长Δ t 0.01 \Delta t0.01Δt0.01。注意这 100 步是采样精度的设置不是训练中离散时间步的数量。model.eval()n_steps100# 采样步数dt1.0/n_steps# 时间步长 Δt 0.01# 只在初始化时抽取一次噪声ztorch.randn(1500,2,devicedevice)x_tz.clone()withtorch.no_grad():foriinrange(n_steps):ttorch.full((len(x_t),),i*dt,devicedevice)vmodel(x_t,t)# 每一步重新调用同一个网络x_tx_tdt*v# Euler 更新fig,axplt.subplots(figsize(4,4))plot_points(ax,x_t,Generated (100-step Euler))plt.tight_layout()plt.show()从上面的代码可以看到整个生成过程就是一个确定性的 ODE 积分给定初始噪声z zz沿着网络预测的速度场v θ v_\thetavθ​走 100 步最终得到近似数据分布的样本。这个地方非常好理解比DDPM的反向高斯采样好理解多了DDPM需要推导公式再去更新流模型的更新就是当前位置加上时间乘以速度这个地方个人理解非常好非常清爽。下面的部分也说明了流模型不一定生成的快还是得一步一步的但是流模型的这种形式更加清晰简洁。现在也是非常火这个模型。6. 相同起点一步与多步比较一步使用d t 1 d_t1dt​1直线训练不保证学到的生成流能用一步准确求解。withtorch.no_grad():t_zerotorch.zeros(len(initial_noise),devicedevice)one_stepinitial_noisemodel(initial_noise,t_zero)fig,axesplt.subplots(1,3,figsize(12,4))plot_points(axes[0],data[:1500],Real data)plot_points(axes[1],one_step,1 Euler step)plot_points(axes[2],generated,100 Euler steps)plt.tight_layout()plt.show()条件流模型见链接: 【流匹配模型Flow Maching】流匹配模型入门理解3。
延伸阅读

更多相关文章

2026/11/15 19:41:34

细胞衰老的核心密码:NAD+平衡状态决定人体机能的存续时长

细胞衰老的核心密码:NAD平衡状态决定人体机能的存续时长人体的器官衰老、体能衰退、机能下滑,所有老化表现的底层核心密码,都指向同一个物质:NAD。它不是普通的营养物质,是调控细胞代谢、修复、更新、维稳的核心辅酶&a…

2026/11/16 21:03:50

Python校园外卖点餐系统:毕设选题与开发全流程解析

每年到毕业设计选题季,就有不少学弟学妹来问我:“学长,Python 的课设/毕设题目怎么选?想做个网站类的但又不想完全照搬网上的管理系统,有没有什么推荐?”说实话,校园外卖点餐系统这个题目我见过…

2026/11/18 17:23:56

字节码与机器码的区别:从JVM跨平台到JIT运行时转换

字节码和机器码到底有什么不一样?这个问题我几乎每隔一段时间就会遇到一次,尤其是新同事第一次用javap反汇编.class文件、或者第一次用objdump查看一个可执行文件的时候。我的第一句回答通常很短:机器码是 CPU 直接执行的二进制指令&#xff…

2026/11/19 21:59:03

高压电工证新证领证怎么考?工地太忙还能刷考前押题

高压电工证新证领证怎么考?工地太忙还能刷考前押题 工地太忙根本没时间复习考试,这几乎是每个劳务班组负责人的心声。高压电工证新证领证是很多电工朋友的刚需,但考前复习、考试准备、甚至考试内容都让人头疼。别急,本文专门从郑州劳务班组负责人的角度出…

2026/11/19 21:59:03

工地太忙根本没时间复习考试?报低压电工证培训班怎么网上查询

工地太忙根本没时间复习考试?报低压电工证培训班怎么网上查询 工地太忙根本没时间复习考试,很多人想报低压电工证培训班,却不知道从哪开始,怎么查培训信息,甚至担心考试不过怎么办。如果你也正面临这样的情况,这篇内容能帮你理清思路,从…

2026/11/19 21:59:03

电工证国家正规报名入口在哪 手把手教你搞定考前押题

电工证国家正规报名入口在哪 手把手教你搞定考前押题 工地太忙根本没时间复习考试,我理解你,这年头特种作业证考试动不动就压在最后,你白天盯现场,晚上还得熬夜刷题,光是想想就头大。别急,今天我就从 鹤壁项目现场管理员…

2026/11/19 21:59:03

电工证能不能电焊 你上岗必备的真相来了

电工证能不能电焊 你上岗必备的真相来了 实操考试心里没底怕挂科?别慌,咱们今天就来聊聊【电工证能不能电焊】这个大家最关心的问题。特别是像洛阳涧西区市政公用工程这些一线岗位,电工证不仅是上岗必备,更是确保安全作业的“通行证”。很多人误以为电工…

2026/11/19 21:59:03

考电工证课图片到期换证流程

电工证课图片到期换证流程怎么走?外省证怎么转过来 之前考的证在外省能不能转过来?这几乎是所有准备考电工证或者已经在持证的小伙伴最关心的问题之一。如果你拿着的是 电子证书…

2026/11/19 21:54:03

成都市电工证地图继续教育学时要求

成都电工证过期了怎么处理?含金量高的电工证地图全解析 证书过期了不知道怎么复审延期?别急,这事儿真不是小事。电工证在成都这个建筑大市,含金量可是杠杠的,但一旦过期,不仅影响工作,还可能面临法律风险。别再因为不了解流程而耽误了你的职业生涯,下…

2026/11/18 21:12:58

电工证考试口诉怎么准备值不值得考

电工证考试口诉怎么准备值不值得考 实操考试心里没底怕挂科,这是大多数准备考电工证的人心里最真实的感受。尤其是面对【电工证考试口诉】环节,很多人不知道该怎么准备,甚至担心自己说不好就被淘汰。其实,只要掌握方法, 值不值得考…

2026/11/18 21:55:23

桑植县考电工证千万别踩坑!报名全流程教你避坑

桑植县考电工证千万别踩坑!报名全流程教你避坑 你是不是也遇到过这种情况:想考个电工证,但不知道从哪儿下手,怕被中介坑,怕花冤枉钱,更怕考了证还不能用?别急,这正是你该看这篇文章的原因。在桑植县考电工证,确实有很多人被坑过,但只要你知道流程、…

2026/11/19 0:04:42

深圳电工证培训考场模拟考试题库:郑州报考避坑指南

深圳电工证培训考场模拟考试题库:郑州报考避坑指南 证书过期了不知道怎么复审延期,很多人在遇到这个问题的时候才意识到特种作业证的重要性。其实,不管是电工证、焊工证还是高处作业证,这些证书不仅是上岗的“通行证”,更是法律对安全操作的硬性要求。尤…

2026/11/19 0:04:42

天津电工证查询入口多少钱能报上名

天津电工证查询入口多少钱能报上名 学历不高怕报不上名?别急,天津电工证查询入口其实没你想的那么难。今天咱们就来聊聊,怎么用最低的门槛、最少的钱,把电工证拿下来,还能查得到、用得上。 电工证到底值不值?先搞清楚它的作用…

2026/11/18 12:37:05

面向复杂光照与角度的宠物面部识别鲁棒性增强策略

在智慧养宠时代,基于视觉的宠物身份识别技术正逐步从实验室走向家庭应用。然而,与配合度高的人类不同,宠物是典型的“非合作生物识别对象”——它们不会主动配合摄像头调整姿态,更无法控制光照环境。实际应用中,我们常…

2026/11/19 17:18:32

SSM电子书店源码全解析:结构、原理、部署与排错实战

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

还想了解更多?直接咨询顾问

免费诊断 + 免费方案 + 透明报价。

全国咨询热线400-8866-253
免费获取方案
☎咨询二维码 ☎ ↑