您的位置:首页 > 财经 > 产业 > 从 Pandas 到 Polars 二十九:在Polars中进行机器学习预处理

从 Pandas 到 Polars 二十九:在Polars中进行机器学习预处理

2024/10/14 4:52:19 来源:https://blog.csdn.net/sosogod/article/details/140572591  浏览:    关键词:从 Pandas 到 Polars 二十九:在Polars中进行机器学习预处理

Polars中的机器学习

在最近的时间里,我将探索在Polars中进行机器学习(ML)可以走到多远。

除了ML模型外,scikit-learn还提供了许多数据预处理功能。让我们看看在Polars中进行一些这样的预处理是否值得。

最小-最大缩放示例

简单示例:我们有一个包含100,000行和100列的数据框,并希望对每个列进行最小-最大缩放。

import polars as pl
import numpy as np
from sklearn.preprocessing import MinMaxScalerN = 100000
df = pl.DataFrame(np.random.standard_normal((N,100)))
arr = df.to_numpy()# Using sklearn
minMax = MinMaxScaler()
minMax.fit_transform(arr)
Time: 90 ms# Using Polars
df.select((pl.all()-pl.all().min()) / (pl.all().max()-pl.all().min())
)
Time: 40 ms

所以在这个比较中,Polars的速度是原来的两倍。

这只是使用Polars进行机器学习的开始!例如,我们可以创建一个类来用scikit-learn的API包装Polars代码。然后,在转换为numpy以用于机器学习模型之前,我们可以尽可能长时间地保持在快速且内存高效的Polars和ApacheArrow组合中。

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com