分享

Python 代码优化,让你的Pandas速度飞起来

 老三的休闲书屋 2021-04-10

让我们来做这样一个处理,如果某一列的值小于.5就把值统一替换为0,否则就替换为100.

原创不易,喜欢就转发和给个赞吧

首先创建一个dataframe:

import pandas as pdimport numpy as npimport timedf = pd.DataFrame(np.random.rand(100000, 4), columns=['A', 'B', 'C', 'D'])print(df)

数据输出如下:

Python 代码优化,让你的Pandas速度飞起来

第一种方法:iterrows()

总共耗时8.12秒,iterrows()遍历确实比较慢,让人等得着急啊!

Python 代码优化,让你的Pandas速度飞起来

第二种方法:iloc

总共耗时2.76秒,是iterrows的2.9倍,速度提高了很多。

Python 代码优化,让你的Pandas速度飞起来

第三种方法:apply函数

总共耗时52.2毫秒,是iterrows的155倍。

Python 代码优化,让你的Pandas速度飞起来

第四种方法:numpy的where, 使用前先导入numpy.

总共耗时778微秒,处理速度是iterrows的10437倍,快到让人不敢相信。

Python 代码优化,让你的Pandas速度飞起来

本人觉得这个速度已经达到极致了,那还有没有更快的方法呢?那我们在用numpy的where(.values)来看看,结果简直不可思议只用了426微妙,速度快的离奇,处理速度是iterrows的一万九千都倍。

Python 代码优化,让你的Pandas速度飞起来

    本站是提供个人知识管理的网络存储空间,所有内容均由用户发布,不代表本站观点。请注意甄别内容中的联系方式、诱导购买等信息,谨防诈骗。如发现有害或侵权内容,请点击一键举报。
    转藏 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多