NumPy数组操作进阶：从reshape到条件筛选的实用指南

1. 写在前面为什么 NumPy 这么重要如果你已经坚持学习 Python 到第 50 天恭喜你已经熬过了语法、函数、面向对象、文件操作这些基础关卡开始进入真正能支撑业务开发、数据分析、算法实现的核心库阶段。NumPyNumerical Python是 Python 科学计算生态的基石。Pandas 基于它、OpenCV 基于它、Scikit-learn 基于它甚至很多深度学习框架内部的张量操作也借鉴了它的设计思路。换句话说你后面接触数据分析、图像处理、量化交易、机器学习全都绕不开 NumPy。更直白一点NumPy 的核心价值就两个一个是高效的 ndarray 数组对象另一个是丰富的数组操作函数。很多初学者在学 NumPy 时会有一种感觉“这不就是 Python 列表吗为什么还要再学一套” 这种想法很常见但也很危险。我们先用一个直观的例子说明区别import time # Python 原生列表做加法 list_a list(range(1000000)) list_b list(range(1000000)) start time.time() result [x y for x, y in zip(list_a, list_b)] print(原生列表耗时:, round(time.time() - start, 4), 秒) # NumPy 数组做加法 import numpy as np array_a np.arange(1000000) array_b np.arange(1000000) start time.time() result array_a array_b print(NumPy 耗时:, round(time.time() - start, 4), 秒)在我的本机上原生列表跑下来大约需要 0.08 秒而 NumPy 数组通常只需要 0.003 秒左右差距接近 20 倍。而且 NumPy 的语法更接近数学表达array_a array_b就是逐元素相加不需要写循环推导式。本文是“100 天精通 Python”系列的第 50 天重点聚焦 NumPy 进阶内容数组操作和常用方法。我们会从核心概念讲起然后逐步拆解 reshape、拼接、切分、排序、去重、条件筛选等高频操作最后给出一个综合实战案例和常见问题排查清单。2. ndarray 核心概念先搞清楚数组的本质2.1 什么是 ndarrayndarray 是 NumPy 中最核心的数据结构全称是 N-dimensional array也就是 n 维数组。它和 Python 原生列表最大的区别有两个数据类型一致ndarray 中所有元素必须是同一数据类型这样数据在内存中是连续存储的计算效率更高。支持向量化操作不需要写 for 循环直接对整个数组做算术运算、逻辑运算。来看一个最基础的创建方式import numpy as np # 从列表创建 arr1 np.array([1, 2, 3, 4, 5]) print(arr1) print(arr1.shape) print(arr1.dtype) # 二维数组 arr2 np.array([[1, 2, 3], [4, 5, 6]]) print(arr2) print(arr2.shape)输出结果[1 2 3 4 5] (5,) int32 [[1 2 3] [4 5 6]] (2, 3)这里有几个重要概念后面会反复用到shape表示数组的维度结构。(5,)表示一维数组5 个元素(2, 3)表示二维数组2 行 3 列。dtype表示元素的数据类型常见的有int32、int64、float64、bool、object。ndim表示数组的维度数一维数组ndim1二维数组ndim2。2.2 为什么推荐用内置函数创建数组实际开发中很少手动一个一个输入数组更多是用 NumPy 提供的高效创建函数。下面是最常用的几个import numpy as np # zeros全 0 数组 print(np.zeros((2, 3))) # ones全 1 数组 print(np.ones((3, 2))) # arange类似 range创建等差数组 print(np.arange(0, 10, 2)) # 从 0 到 10步长 2 # linspace创建等间隔数组 print(np.linspace(0, 1, 5)) # 0 到 1 之间均匀取 5 个数 # eye单位矩阵 print(np.eye(3))这些函数在初始化矩阵、生成测试数据时非常常用。如果你以后写深度学习代码np.zeros和np.ones几乎是标配。2.3 数组的轴axis是理解一切的关键NumPy 的很多操作都带有一个axis参数比如sum、mean、max、concatenate。很多初学者在这里卡住其实只需要记住一句话axis0表示沿着行的方向操作axis1表示沿着列的方向操作。用求和举例最直观import numpy as np arr np.array([[1, 2, 3], [4, 5, 6]]) print(数组形状:, arr.shape) # (2, 3) print(axis0 求和:, arr.sum(axis0)) # 沿行方向压缩得到每列的和 - [5 7 9] print(axis1 求和:, arr.sum(axis1)) # 沿列方向压缩得到每行的和 - [6 15] print(全部求和:, arr.sum()) # 21理解 axis 之后很多数组操作你就能自己推导出结果而不是死记硬背。后面无论是拼接还是聚合计算核心逻辑都是这个。3. 数组操作的四大类形状、拼接、切分、条件筛选这是本文的核心章节也是日常开发中用得最多的部分。我们把常见操作按功能分类来拆解。3.1 形状变换reshape、flatten、transposereshape是最常用的形状变换方法它可以把一个数组转换为不同形状前提是元素总数必须一致import numpy as np arr np.arange(12) print(arr.shape) # (12,) # 变成 3 行 4 列 arr_3x4 arr.reshape(3, 4) print(arr_3x4) # 也可以简写为 -1表示自动推导维度 arr_auto arr.reshape(2, -1) print(arr_auto.shape) # (2, 6)-1是一个非常实用的写法。当你只确定一个维度另一个维度不关心时直接用-1让 NumPy 自己算。但要注意reshape返回的是新数组的视图view还是副本copy取决于内存是否连续。如果需要安全复制调用copy()。flatten是将多维数组拉平为一维数组arr np.array([[1, 2, 3], [4, 5, 6]]) print(arr.flatten()) # [1 2 3 4 5 6]它与ravel()的区别在于flatten()总是返回副本修改结果不会影响原数组ravel()在可能情况下返回视图修改会影响原数组。平时如果只是取值用哪个都行但如果后续要修改建议用flatten()避免隐式副作用。transpose是转置操作也就是行列互换arr np.array([[1, 2, 3], [4, 5, 6]]) print(arr.T) # 输出 # [[1 4] # [2 5] # [3 6]] # 也可以直接用 transpose() print(arr.transpose())在高维数组维度大于 2中transpose还可以传入轴顺序参数比如transpose(1, 0, 2)。不过日常开发中转置使用最多的就是二维矩阵能理解arr.T和arr.transpose()就足够了。3.2 数组拼接concatenate、vstack、hstack拼接在数据预处理中太常见了把特征矩阵和标签向量拼到一起把多个批次的数据合并这些都要用拼接。import numpy as np a np.array([[1, 2], [3, 4]]) b np.array([[5, 6], [7, 8]]) # 按行拼接上下拼接 print(np.vstack((a, b))) # 输出 # [[1 2] # [3 4] # [5 6] # [7 8]] # 按列拼接左右拼接 print(np.hstack((a, b))) # 输出 # [[1 2 5 6] # [3 4 7 8]] # 通用拼接通过 axis 控制方向 print(np.concatenate((a, b), axis0)) # 默认按行 print(np.concatenate((a, b), axis1)) # 按列老版本的 NumPy 还有np.append但它每次调用都会重新分配内存如果在一个循环里反复拼接性能会非常差。更推荐的方式是先把数据收集到 Python 列表最后一次np.array或np.concatenate这也是性能优化中的重要技巧。3.3 数组切分split、vsplit、hsplit拼接的反向操作就是切分。当你需要把一个大数据集按行或按列拆成几部分时就用切分函数。import numpy as np arr np.arange(12).reshape(3, 4) print(arr) # 按行切分为 3 份 result np.vsplit(arr, 3) print(type(result)) # list print(result[0]) print(result[1]) print(result[2]) # 按列切分为 2 份 result np.hsplit(arr, 2) print(result[0]) print(result[1])需要注意切分份数必须能被对应维度整除否则会报错。如果你是按数量不均匀切分可以用np.array_split它支持指定每份大小或不均匀切分arr np.arange(10) result np.array_split(arr, 3) for part in result: print(part)输出是 3 个数组长度分别是 4、3、3。另外提醒一个坑np.split的第二个参数可以是数组索引列表表示切分点而不仅仅是份数。比如np.split(arr, [2, 5])表示在第 2 个位置和第 5 个位置切开得到三段。这个用法容易混淆需要拿小例子验证一下。3.4 条件筛选布尔索引、where、unique这一小节是本文的重头戏因为实际数据处理中有一半时间都在做“筛选”。布尔索引是 NumPy 中最优雅的筛选方式import numpy as np arr np.array([10, 21, 30, 43, 50]) # 找出所有大于 30 的元素 mask arr 30 print(mask) # [False False False True True] print(arr[mask]) # [43 50] # 更简洁的写法 print(arr[arr 30]) # 多条件组合注意要用 而不是 and print(arr[(arr 20) (arr 50)]) # [21 30 43]多条件筛选这里特别容易踩坑Python 的and、or不能直接用于 NumPy 数组必须用、|、~这三个位运算符而且每个条件都要加括号。np.where是一个更灵活的条件选择函数相当于矢量版的三元表达式arr np.array([10, 21, 30, 43, 50]) # 大于 30 输出 1否则输出 0 result np.where(arr 30, 1, 0) print(result) # [0 0 0 1 1] # 大于 30 输出原值否则输出 -99 result np.where(arr 30, arr, -99) print(result) # [-99 -99 -99 43 50]np.where的第一个参数是条件第二个参数是条件成立时的取值第三个是条件不成立的取值。三个参数都可以是标量或数组非常灵活。np.unique是去重加排序的利器arr np.array([3, 1, 3, 2, 1, 4, 3]) print(np.unique(arr)) # [1 2 3 4] # unique 也可以作用于二维数组的某一行方向 matrix np.array([[1, 2, 2], [3, 1, 1]]) print(np.unique(matrix))unique还能返回每个唯一值的计数这在统计类别分布时非常有用values, counts np.unique(arr, return_countsTrue) print(values) # [1 2 3 4] print(counts) # [2 1 3 1]这个特性在 Pandas 的value_counts底层也有类似实现理解之后迁移使用会更轻松。3.5 排序与聚合sort、max、argmax、mean排序和聚合是数据预处理的最后一环常用于分析前的统计摘要。import numpy as np arr np.array([3, 1, 2, 5, 4]) # 排序 print(np.sort(arr)) # [1 2 3 4 5] print(arr) # 原数组不变 [3 1 2 5 4] # 直接调用方法 arr.sort() print(arr) # 原数组被修改 [1 2 3 4 5]注意区分np.sort(arr)返回排序后的新数组不改原数组arr.sort()是直接在原数组上修改没有返回值。这俩是新手高频 bug 来源。聚合操作非常简单但要注意 axis 和argmax/argmin的特殊含义matrix np.array([[5, 2, 8], [3, 9, 1]]) print(最大值:, matrix.max()) print(每列最大值:, matrix.max(axis0)) # [5 9 8] print(每行最大值:, matrix.max(axis1)) # [8 9] # argmax 返回最大值的索引 print(全部最大值的索引:, matrix.argmax()) # 4按扁平化后的位置 print(每列最大值索引:, matrix.argmax(axis0)) # [0 1 1] print(每行最大值索引:, matrix.argmax(axis1)) # [2 1]如果你打算把数据喂给机器学习模型argmax经常用来从模型的输出概率中选类别标签也就是“取最大概率对应的索引”。其他常用聚合方法还包括mean()平均值sum()求和std()标准差var()方差min()/max()最小/最大值cumsum()累计和4. NumPy 常用方法速查表为了便于你日后查阅这里把高频方法按用途整理成一个速查表。建议先跑一遍代码加深印象之后当字典查。分类方法名称作用示例创建np.array()从列表创建数组np.array([1,2])创建np.arange()类似 range 创建数组np.arange(5)创建np.zeros()全 0 数组np.zeros((2,3))创建np.ones()全 1 数组np.ones((2,3))创建np.linspace()等间隔数列np.linspace(0,1,5)创建np.eye()单位矩阵np.eye(3)形状reshape()改变形状arr.reshape(2,-1)形状flatten()多维转一维arr.flatten()形状transpose()转置arr.T拼接np.concatenate()通用拼接np.concatenate((a,b),axis0)拼接np.vstack()垂直拼接np.vstack((a,b))拼接np.hstack()水平拼接np.hstack((a,b))切分np.split()通用切分np.split(arr, 3)切分np.vsplit()垂直切分np.vsplit(arr, 3)切分np.hsplit()水平切分np.hsplit(arr, 2)筛选布尔索引条件筛选arr[arr 5]筛选np.where()条件替换/选择np.where(arr5,1,0)筛选np.unique()去重排序np.unique(arr)排序np.sort()返回新排序数组np.sort(arr)排序arr.sort()原地排序arr.sort()聚合sum()/mean()/max()统计计算matrix.mean(axis0)索引argmax()/argmin()最大/最小索引matrix.argmax(axis1)这张表只列了最核心的内容NumPy 官方文档还有更多高级方法比如花式索引fancy indexing、广播broadcasting、通用函数ufunc等后续文章会继续讲解。5. 综合实战学生成绩数据分析光看语法是记不住的我们用一个贴近真实业务的例子把上面所有知识串起来。5.1 需求描述假设我们有 4 个学生的 3 门课成绩分别是语文、数学、英语存储在 NumPy 数组中。需要完成以下任务计算每个学生的总分和平均分。计算每门课的平均分找出哪门课的平均分最高。筛选出所有及格 60的成绩统计及格率。找出数学成绩最高的学生索引。将每个学生的总分按从高到低排序。5.2 完整实现import numpy as np # 学生成绩矩阵4 行 3 列 # 行表示学生列表示课程语文、数学、英语 scores np.array([ [85, 92, 78], [60, 55, 70], [95, 88, 91], [72, 65, 58] ]) print(成绩矩阵形状:, scores.shape) # 1. 每个学生的总分和平均分 total_scores scores.sum(axis1) mean_scores scores.mean(axis1) print(每个学生的总分:, total_scores) print(每个学生的平均分:, mean_scores) # 2. 每门课的平均分 course_mean scores.mean(axis0) print(每门课平均分:, course_mean) best_course_index course_mean.argmax() print(平均分最高的课程索引:, best_course_index) # 3. 所有成绩的及格率 pass_mask scores 60 pass_count pass_mask.sum() total_count scores.size print(及格率:, round(pass_count / total_count * 100, 2), %) # 4. 数学成绩最高的学生索引 math_scores scores[:, 1] best_student_index math_scores.argmax() print(数学最高分学生:, best_student_index 1, 号学生分数:, math_scores[best_student_index]) # 5. 按总分排序 sorted_indices np.argsort(total_scores)[::-1] # 从高到低 print(总分排序从高到低:) for rank, idx in enumerate(sorted_indices, start1): print(f第{rank}名{idx 1}号学生总分 {total_scores[idx]})5.3 运行结果成绩矩阵形状: (4, 3) 每个学生的总分: [255 185 274 195] 每个学生的平均分: [85. 61.66666667 91.33333333 65. ] 每门课平均分: [78. 75. 74.25] 平均分最高的课程索引: 0 及格率: 75.0 % 数学最高分学生: 1 号学生分数: 92 总分排序从高到低: 第1名3号学生总分 274 第2名1号学生总分 255 第3名4号学生总分 195 第4名2号学生总分 185这里用到了两个前面没重点讲的技巧scores[:, 1]表示取所有行的第 1 列也就是数学成绩。逗号前面的:表示所有行后面的1表示第二列。np.argsort返回的是“排序后的索引”而不是排序后的值。配合[::-1]可以实现降序排列。在需要保留原始索引关系时这个方法比直接sort更实用。这个例子虽然很小但已经把本文 80% 的知识点覆盖了axis 统计、布尔索引、聚合函数、argsort。建议你手动敲一遍不要复制粘贴敲的过程中你会发现自己对 axis 的理解还能更清晰。6. 常见问题与排查思路初学 NumPy 阶段报错和逻辑错误几乎无法避免。这里整理了几类高频问题按“现象 - 原因 - 解决思路”的表格呈现。问题现象常见原因解决思路ValueError: operands could not be broadcast together数组形状不兼容无法广播查看两边 shape确认维度能对齐ValueError: cannot reshape array of size 12 into shape (3,5)reshape 前后元素总数不一致用arr.size确认元素个数TypeError: ufunc add did not contain a loop with signature matching types数组元素类型是字符串或 object检查 dtype尝试转数值类型使用and/or进行多条件筛选报错NumPy 数组不能用 Python 逻辑运算符改用、排序后原数组变了用了arr.sort()而不是np.sort()确认是要原地修改还是返回新数组np.split报错无法整除切分份数不能整除对应维度改用np.array_split支持不均匀切分在高循环中使用np.append性能极慢每次 append 都创建新数组先用 Python list 收集最后一次性np.array()复制数组后修改原数组也被改了使用了视图view赋值确认是否需要真正独立的副本用.copy()再补充一个比较隐蔽的坑当你从二维数组里取出一行或一列时结果是一维数组形状是(3,)而不是(1, 3)或(3, 1)。这在后续做矩阵运算时经常引起广播报错。解决方式是用reshape(1, -1)或reshape(-1, 1)改变形状import numpy as np matrix np.arange(12).reshape(3, 4) row matrix[1] # 形状 (4,) print(row.shape) row_col matrix[1:2] # 形状 (1, 4) print(row_col.shape)如果你在写矩阵运算时遇到 shape 对不上的错误优先检查是不是忘了扩维。7. 工程实践中的最佳实践建议熟悉基础语法是一回事能写出健壮、高效、可维护的代码是另一回事。下面几条建议来自实际项目经验建议你从今天开始就有意识地遵守。7.1 优先使用向量化操作避免 Python 循环这是 NumPy 性能最大的武器。凡是可以写成一整行数组运算的逻辑不要写成for循环。比如求一组数据的(x - mean) ** 2直接对数组操作比逐个元素计算快一个数量级以上。7.2 明确视图与副本防止隐式篡改NumPy 的切片操作比如arr[1:5]默认返回视图view修改切片会影响原数组。这在多数时候能节省内存但也会带来隐式 bug。当你需要独立数据时务必调用.copy()。判断两个数组是否共享内存可以用np.shares_memory(arr1, arr2)验证这在排查诡异问题时非常有用。7.3 明确dtype尤其在浮点场景NumPy 默认整型列表创建出来的是int64如果后续要存浮点数注意转换arr np.array([1, 2, 3], dtypenp.float64)遇到nan或字符串混合时NumPy 会自动把整个数组转成object类型此时所有数学运算都会失效这是一个隐藏炸弹。建议创建数组后先确认dtype再继续操作。7.4 用axis参数时先做小规模验证axis方向写错是 NumPy 开发中最常见的逻辑错误。在写复杂聚合操作前用一个小矩阵手动验证结果是否符合预期。不要在一个大数据集上猜测。比如你可以先建一个(3, 3)的arange数组跑一次sum(axis0)和sum(axis1)观察形状和结果确认无误后再迁移到真实数据。7.5 合理利用.shape断言保护业务逻辑在数据分析或算法流程中可以用 assert 提前检查数据形状避免隐藏 bugassert scores.shape (4, 3), 成绩矩阵形状不正确这种防御式编程在数据量变大以后非常有用能帮你尽早发现问题而不是等模型训练完才发现输入顺序错了。7.6 模块化操作搭配列表收集最后拼接前面反复提到在循环中尽量避免np.append或np.concatenate。正确姿势是parts [] for i in range(5): part np.full((10, 3), i) parts.append(part) result np.concatenate(parts, axis0) print(result.shape) # (50, 3)这样内存分配次数少性能更稳定。7.7 记录环境版本保证可复现NumPy 的 API 在版本迭代中偶尔会有细节变化。如果你写的是教程、共享代码或算法工程建议在项目说明里注明numpy1.21.0同时保证本地环境与运行环境版本一致。遇到报错时先看官方发布说明优先检查是否由 numpy 升级导致行为变化。8. 下一步学习建议与实战方向到这里第 50 天的 NumPy 进阶内容就全部梳理完了。今天主要掌握了以下几个核心点ndarray 的创建、shape、dtype、axis等核心概念。形状变换三件套reshape、flatten、transpose。数组拼接与切分concatenate、vstack、hstack、split等。条件筛选布尔索引、np.where、np.unique。排序与聚合sort、argmax、sum、mean等高频方法。综合实战学生成绩分析串联了 axis、筛选、排序、聚合等知识。接下来你可以按这个顺序继续深入学习广播机制Broadcasting理解 NumPy 如何自动对齐不同形状的数组这是写出优雅高效代码的关键。通用函数ufunc比如np.add、np.exp、np.log等了解它们与普通函数的性能差异。文件读写np.save、np.load、np.savetxt把数据持久化为.npy或.csv。与 Pandas 结合学习 DataFrame 与 ndarray 的互相转换进入数据分析主战场。矩阵运算进阶np.dot、np.linalg.inv、np.linalg.eig等为机器学习线性代数基础打底。最后给你一个建议不要只看教程做三个小练习。生成一个(10, 5)的随机矩阵计算每个特征列的标准化结果(x - mean) / std。从一个一维数组中提取所有满足“位于均值以上一倍标准差”的元素。把一个(100, 4)的数据集按前 70% 和后 30% 切分为训练集和测试集。这三个练习都不难但如果能独立写出来说明你对 NumPy 的核心操作已经有感觉了。下一篇文章里我们可以进入 NumPy 的高级索引与广播机制慢慢搭建起完整的数据处理技能树。先拿身边的真实数据练起来吧。