我们从网络上抽取的数据信息，总不能一直在控制台上打印吧！那样就没有任何意义了，我们需要把数据持久化并将其充分利用起来。所以存在哪里就是本章的主题，存储方式也是多种多样，存储介质可以选择本地或远程服务器，存储方式也是有很多种，下列就是一些常见的存储数据的方式。

一、JSON 文件存储

JSON，全称为 JavaScript Object Notation, 也就是 JavaScript 对象标记，它通过对象和数组的组合来表示数据，构造简洁但是结构化程度非常高，是一种轻量级的数据交换格式。本节中，我们就来了解如何利用 Python 保存数据到 JSON 文件。

1. 对象和数组

在 JavaScript 语言中，一切都是对象。因此，任何支持的类型都可以通过 JSON 来表示，例如字符串、数字、对象、数组等，但是对象和数组是比较特殊且常用的两种类型，下面简要介绍一下它们。

对象：

它在 JavaScript 中是使用花括号 {} 包裹起来的内容，数据结构为 {key1：value1, key2：value2, ...} 的键值对结构。在面向对象的语言中，key 为对象的属性，value 为对应的值。键名可以使用整数和字符串来表示。值的类型可以是任意类型。

数组：

数组在 JavaScript 中是方括号 [] 包裹起来的内容，数据结构为 ['java', 'javascript', 'vb', ...] 的索引结构。在 JavaScript 中，数组是一种比较特殊的数据类型，它也可以像对象那样使用键值对，但还是索引用得多。同样，值的类型可以是任意类型。

所以，一个 JSON 对象可以写为如下形式：

由中括号包围的就相当于列表类型，列表中的每个元素可以是任意类型，这个示例中它是字典类型，由大括号包围。

JSON 可以由以上两种形式自由组合而成，可以无限次嵌套，结构清晰，是数据交换的极佳方式。

2. 数据写入规范

借助python内置模块json来实现对象与json字符串的相互转化：

json.dumps() 是将 python 对象转化为 json。

json.loads() 是将 json 转化为 python 对象。

通过json和with open实现数据的文件保存，为了输出中文，还需要指定参数 ensure_ascii 为 False，另外还要规定文件输出的编码：

import json    data = [{        'name': '小a',        'gender': '男',        'birthday': '1992/10/18'    }]with open('data.json', 'w', encoding='utf-8') as file:    file.write(json.dumps(data, indent=2, ensure_ascii=False))

二、CSV 文件存储

CSV，全称为 Comma-Separated Values，中文可以叫作逗号分隔值或字符分隔值，其文件以纯文本形式存储表格数据。该文件是一个字符序列，可以由任意数目的记录组成，记录间以某种换行符分隔。每条记录由字段组成，字段间的分隔符是其他字符或字符串，最常见的是逗号或制表符。不过所有记录都有完全相同的字段序列，相当于一个结构化表的纯文本形式。它比 Excel 文件更加简洁，XLS 文本是电子表格，它包含了文本、数值、公式和格式等内容，而 CSV 中不包含这些内容，就是特定字符分隔的纯文本，结构简单清晰。所以，有时候用 CSV 来保存数据是比较方便的。本节中，我们来讲解 Python 读取和写入 CSV 文件的过程。

1. 写入

这里先看一个最简单的例子：

首先，打开 data.csv 文件，然后指定打开的模式为 w（即写入），获得文件句柄，随后调用 csv 库的 writer 方法初始化写入对象，传入该句柄，然后调用 writerow 方法传入每行的数据即可完成写入。

如果想修改列与列之间的分隔符，可以传入 delimiter 参数，其代码如下：

import csvwith open('data.csv', 'w') as csvfile:    writer = csv.writer(csvfile, delimiter=' ')    writer.writerow(['id', 'name', 'age'])    writer.writerow(['10001', 'Mike', 20])    writer.writerow(['10002', 'Bob', 22])    writer.writerow(['10003', 'Jordan', 21])

2.多行写入

调用 writerows 方法同时写入多行，此时参数就需要为二维列表，例如：

3.字典写入

用字典来表示。在 csv 库中也提供了字典的写入方式，示例如下：

import csvwith open('data.csv', 'w') as csvfile:    fieldnames = ['id', 'name', 'age']    writer = csv.DictWriter(csvfile, fieldnames=fieldnames)    writer.writeheader()    writer.writerow({'id': '10001', 'name': 'Mike', 'age': 20})    writer.writerow({'id': '10002', 'name': 'Bob', 'age': 22})    writer.writerow({'id': '10003', 'name': 'Jordan', 'age': 21})

4. 采集入库

三、关系型数据库存储

关系型数据库是基于关系模型的数据库，而关系模型是通过二维表来保存的，所以它的存储方式就是行列组成的表，每一列是一个字段，每一行是一条记录。表可以看作某个实体的集合，而实体之间存在联系，这就需要表与表之间的关联关系来体现，如主键外键的关联关系。多个表组成一个数据库，也就是关系型数据库。

关系型数据库有多种，如 SQLite、MySQL、Oracle、SQL Server、DB2 等。

1. 准备工作

在开始之前，请确保已经安装好了 MySQL 数据库并保证它能正常运行，而且需要安装好pymsql库。如果没有安装找班主任老师拿包

官方下载地址：
/downloads/mysql/

pip安装

pip install pymsql

2. 连接数据库

首先连接数据库。假设当前的 MySQL 运行在本地，用户名为 root，密码为 123456，运行端口为 3306。这里利用 PyMySQL 先连接 MySQL，然后创建一个新的数据库，名字叫作 demo，代码如下：

import pymysql  db = pymysql.connect(host='localhost',user='root', password='123456', port=3306)  cursor = db.cursor()   # 游标cursor.execute('SELECT VERSION()')  data = cursor.fetchone()  print('Database version:', data)  cursor.execute('CREATE DATABASE demo DEFAULT CHARACTER SET utf8')  db.close()

3. 创建数据表

4.插入数据

插入、更新和删除操作都是对数据库进行更改的操作，而更改操作都必须为一个事务，所以这些操作的标准写法就是：

import pymysqlid = '145664'user = '小安'age = 23db = pymysql.connect(host='localhost', user='root', password='123456', port=3306, db='spiders')cursor = db.cursor()# %s 动态传参sql = 'INSERT INTO students(id, name, age) values(% s, % s, % s)'try:    cursor.execute(sql, (id, user, age))    db.commit()except:    db.rollback()db.close()

5. 字典数据插入

6. 数据采集入库

import requestsimport pymysqldef conn_myqsl():    db = pymysql.connect(host='localhost',user='root', password='', port=3306, db='demo')    cursor = db.cursor()    return db,cursordef get_data():    url = '/new/disclosure'    # 请求体的数据    for i in range(1,9):        data = {            'column': 'szse_gem_latest',            'pageNum': str(i),            'pageSize': '30',            'sortName': '',            'sortType': '',            'clusterFlag': 'true'        }        # 可有不传 具体看网站        res = requests.post(url=url,data=data)        if res.status_code == 200:            items = res.json().get('classifiedAnnouncements')            for ite in items:                announcementTitle = ite[0].get('announcementTitle')                secName = ite[0].get('secName')                save_data([announcementTitle,secName])def save_data(data):    print(data)    # 列表  1个列表 一条数据    db,cursor = conn_myqsl()    try:        sql = 'insert into xx(title,secName) values (%s, %s)'        cursor.execute(sql,(data[0],data[1]))        db.commit()    except Exception as e:        print(e)        db.rollback()

四、非关系型数据库存储

1. MongoDB简介

MongoDB 是由 C++ 语言编写的非关系型数据库，是一个基于分布式文件存储的开源数据库系统，其内容存储形式类似 JSON 对象，它的字段值可以包含其他文档、数组及文档数组，非常灵活。

mongo官方下载地址：
/try/download/community

2. 连接 MongoDB

连接 MongoDB 时，我们需要使用 PyMongo 库里面的 MongoClient。一般来说，传入 MongoDB 的 IP 及端口即可，其中第一个参数为地址 host，第二个参数为端口 port（如果不给它传递参数，默认是 27017）

3. 指定数据库和表

db = client.testcollection = db['students']  # 都可以

4. 插入数据

插入数据。对于 students 这个集合，新建一条学生数据，这条数据以字典形式表示：

• 插入多条数据

student1 = {    'id': '2667544',    'name': 'mark',    'age': 20,    'gender': 'male'}student2 = {    'id': '20170202',    'name': 'Mike',    'age': 21,    'gender': 'male'}result = collection.insert([student1, student2])print(result)

5. 数据采集入库

结语

最体贴的是你的鞋子，不要嫌它脏，那是因为你走的路不干净。