分享

这20个Pandas函数,堪称'数据清洗'杀手!

 北方的白桦林 2021-09-10
今天准备介绍一篇超级肝货
Pandas 是基于NumPy 的一种工具,该工具是为解决数据分析任务而创建的。它提供了大量能使我们快速便捷地处理数据的函数和方法。
本文介绍的这20个【被分成了15组】函数,绝对是数据处理杀手,用了你会爱不释手。

构造数据集

这里为大家先构造一个数据集,用于为大家演示这20个函数。
import pandas as pd
df ={'姓名':[' 黄同学','黄至尊','黄老邪 ','陈大美','孙尚香'],
     '英文名':['Huang tong_xue','huang zhi_zun','Huang Lao_xie','Chen Da_mei','sun shang_xiang'],
     '性别':['男','women','men','女','男'],
     '身份证':['463895200003128433','429475199912122345','420934199110102311','431085200005230122','420953199509082345'],
     '身高':['mid:175_good','low:165_bad','low:159_bad','high:180_verygood','low:172_bad'],
     '家庭住址':['湖北广水','河南信阳','广西桂林','湖北孝感','广东广州'],
     '电话号码':['13434813546','19748672895','16728613064','14561586431','19384683910'],
     '收入':['1.1万','8.5千','0.9万','6.5千','2.0万']}
df = pd.DataFrame(df)
df
效果图:

1. cat函数

这个函数主要用于字符串的拼接
df['姓名'].str.cat(df['家庭住址'],sep='-'*3)
效果图:

2. contains函数

这个函数主要用于判断某个字符串是否包含给定字符
df['家庭住址'].str.contains('广')
效果图:

3. startswith、endswith函数

这个函数主要用于判断某个字符串是否以...开头/结尾
# 第一个行的“ 黄伟”是以空格开头的
df['姓名'].str.startswith('黄'
df['英文名'].str.endswith('e')
效果图:

4. count函数

这个函数主要用于计算给定字符在字符串中出现的次数
df['电话号码'].str.count('3')
效果图:

5. get函数

这个函数主要用于获取指定位置的字符串
df['姓名'].str.get(-1)
df['身高'].str.split(':')
df['身高'].str.split(':').str.get(0)
效果图:

6. len函数

这个函数主要用于计算字符串长度
df['性别'].str.len()
效果图:

7. upper、lower函数

这个函数主要用于英文大小写转换
df['英文名'].str.upper()
df['英文名'].str.lower()
效果图:

8. pad+side参数/center函数

这个函数主要用于在字符串的左边、右边或左右两边添加给定字符
df['家庭住址'].str.pad(10,fillchar='*')      # 相当于ljust()
df['家庭住址'].str.pad(10,side='right',fillchar='*')    # 相当于rjust()
df['家庭住址'].str.center(10,fillchar='*')
效果图:

9.  repeat函数

这个函数主要用于重复字符串几次
df['性别'].str.repeat(3)
效果图:

10.  slice_replace函数

这个函数主要用于使用给定的字符串,替换指定的位置的字符
df['电话号码'].str.slice_replace(4,8,'*'*4)
效果图:

11. replace函数

这个函数主要用于将指定位置的字符,替换为给定的字符串
df['身高'].str.replace(':','-')
效果图:

这个函数还接受正则表达式,将指定位置的字符,替换为给定的字符串。
df['收入'].str.replace('\d+\.\d+','正则')
效果图:

12.  split方法+expand参数

这个函数主要用于将一列扩展为好几列
# 普通用法
df['身高'].str.split(':')
# split方法,搭配expand参数
df[['身高描述','final身高']] = df['身高'].str.split(':',expand=True)
df
# split方法搭配join方法
df['身高'].str.split(':').str.join('?'*5)
效果图:

13. strip、rstrip、lstrip函数

这个函数主要用于去除空白符、换行符
df['姓名'].str.len()
df['姓名'] = df['姓名'].str.strip()
df['姓名'].str.len()
效果图:

14. findall函数

这个函数主要用于利用正则表达式,去字符串中匹配,返回查找结果的列表
df['身高']
df['身高'].str.findall('[a-zA-Z]+')
效果图:

15. extract、extractall函数

这个函数主要用于接受正则表达式,抽取匹配的字符串(一定要加上括号)
df['身高'].str.extract('([a-zA-Z]+)')
# extractall提取得到复合索引
df['身高'].str.extractall('([a-zA-Z]+)')
# extract搭配expand参数
df['身高'].str.extract('([a-zA-Z]+).*?([a-zA-Z]+)',expand=True)
效果图:


    本站是提供个人知识管理的网络存储空间,所有内容均由用户发布,不代表本站观点。请注意甄别内容中的联系方式、诱导购买等信息,谨防诈骗。如发现有害或侵权内容,请点击一键举报。
    转藏 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多