在机器学习中,我们通常将原始数据按照比例分割为“测试集”和“训练集”,从 sklearn.model_selection 中调用train_test_split 函数 简单用法如下: X_train,X_test, y_train, y_test =sklearn.model_selection.train_test_split(train_data,train_target,test_size=0.4, random_state=0,stratify=y_train)
用了stratify参数,training集和testing集的类的比例是 A:B= 4:1,等同于split前的比例(80:20)。通常在这种类分布不平衡的情况下会用到stratify。 将stratify=X就是按照X中的比例分配 将stratify=y就是按照y中的比例分配 整体总结起来各个参数的设置及其类型如下:主要参数说明:*arrays:可以是列表、numpy数组、scipy稀疏矩阵或pandas的数据框 test_size:可以为浮点、整数或None,默认为None ①若为浮点时,表示测试集占总样本的百分比 ②若为整数时,表示测试样本样本数 ③若为None时,test size自动设置成0.25 train_size:可以为浮点、整数或None,默认为None ①若为浮点时,表示训练集占总样本的百分比 ②若为整数时,表示训练样本的样本数 ③若为None时,train_size自动被设置成0.75 random_state:可以为整数、RandomState实例或None,默认为None ①若为None时,每次生成的数据都是随机,可能不一样 ②若为整数时,每次生成的数据都相同 stratify:可以为类似数组或None ①若为None时,划分出来的测试集或训练集中,其类标签的比例也是随机的 ②若不为None时,划分出来的测试集或训练集中,其类标签的比例同输入的数组中类标签的比例相同,可以用于处理不均衡的数据集 通过简单栗子看看各个参数的作用:举例如下: 通过简单例子看看各个参数的作用: ①test_size决定划分测试、训练集比例 ②random_state不同值获取到不同的数据集 设置random_state=0再运行一次,结果同上述相同 设置random_state=None运行两次,发现两次的结果不同 ③设置stratify参数,可以处理数据不平衡问题 |
|