|
mysql安装教程
mysql语法大全 python 模块pymysql模块，连接mysql数据库 一、介绍 aiomysql 是一个基于 asyncio 的异步 MySQL 客户端库，用于在 Python 中与 MySQL 数据库进行交互。它提供了异步的数据库连接和查询操作，适用于异步编程环境 - 异步支持：aiomysql 是基于 asyncio 实现的，可以与 asyncio 框架无缝集成，充分利用异步编程的优势，提高应用程序的性能和并发能力。
- 高性能：aiomysql 使用了底层的 PyMySQL 库，通过异步操作和连接池技术，可以实现高性能的数据库访问。
- 支持事务：aiomysql 提供了事务管理的支持，可以执行原子性的数据库操作，保证数据的一致性。
- SQL 语句构建器：aiomysql 提供了一个 SQL 语句构建器，可以方便地构建和执行 SQL 查询。
二、安装 pip install aiomysql
三、方法及属性 - aiomysql.connect()：连接mysql，conn = await aiomysql.connect(host='localhost', port=3307, user='root', password='root')
- host：MySQL 服务器的主机名或 IP 地址。
- port：MySQL 服务器的端口号，默认为 3306。
- user：连接 MySQL 服务器的用户名。
- password：连接 MySQL 服务器的密码。
- db：连接的数据库名称。
- unix_socket：UNIX 域套接字路径。如果指定了 unix_socket，则会忽略 host 和 port 参数。
- charset：连接的字符集，默认为 'utf8mb4'。
- autocommit：自动提交模式，默认为 False。如果设置为 True，则每个 SQL 语句都会自动提交。
- connect_timeout：连接超时时间（以秒为单位），默认为 10 秒。
- maxsize：连接池中的最大连接数，默认为 10。
- minsize：连接池中的最小连接数，默认为 1。
- ssl：SSL 配置参数。可以传入一个字典，包含 SSL 相关的配置选项，如 ssl={'cert': '/path/to/cert.pem', 'key': '/path/to/key.pem'}。
- loop：事件循环对象。如果不指定，将使用默认的事件循环。
- pool_recycle：连接池中连接的回收时间（以秒为单位）。当连接在连接池中的时间超过 pool_recycle 时，连接将被回收并重新创建。
- echo：是否打印 SQL 语句，默认为 False。如果设置为 True，则会在控制台打印执行的 SQL 语句。
- cursorclass：游标类，默认为 aiomysql.cursors.DictCursor，返回的查询结果将以字典形式返回。
- server_public_key：服务器公钥，用于 SSL/TLS 连接的服务器验证。
- aiomysql.create_pool()：创建一个连接池。该方法用于创建一个异步连接池，接受一系列的连接参数，例如数据库主机、端口、用户名、密码等。pool = await aiomysql.create_poo(host='localhost', port=3307, user='root', password='root')
- host：MySQL 服务器的主机名或 IP 地址。
- port：MySQL 服务器的端口号，默认为 3306。
- user：连接 MySQL 服务器的用户名。
- password：连接 MySQL 服务器的密码。
- db：连接的数据库名称。
- unix_socket：UNIX 域套接字路径。如果指定了 unix_socket，则会忽略 host 和 port 参数。
- charset：连接的字符集，默认为 'utf8mb4'。
- autocommit：自动提交模式，默认为 False。如果设置为 True，则每个 SQL 语句都会自动提交。
- minsize：连接池中的最小连接数，默认为 1。
- maxsize：连接池中的最大连接数，默认为 10。
- connect_timeout：连接超时时间（以秒为单位），默认为 10 秒。
- pool_recycle：连接池中连接的回收时间（以秒为单位）。当连接在连接池中的时间超过 pool_recycle 时，连接将被回收并重新创建。
- ssl：SSL 配置参数。可以传入一个字典，包含 SSL 相关的配置选项，如 ssl={'cert': '/path/to/cert.pem', 'key': '/path/to/key.pem'}。
- loop：事件循环对象。如果不指定，将使用默认的事件循环。
- echo：是否打印 SQL 语句，默认为 False。如果设置为 True，则会在控制台打印执行的 SQL 语句。
- cursorclass：游标类，默认为 aiomysql.cursors.DictCursor，返回的查询结果将以字典形式返回。
- server_public_key：服务器公钥，用于 SSL/TLS 连接的服务器验证
- pool.acquire()：从连接池中获取一个连接。该方法用于从连接池中获取一个异步连接对象，可以用于执行数据库操作。coon = pool.acquire()
- pool.release(coon)：释放一个连接。该方法用于将一个连接对象返回到连接池中，以便其他代码可以继续使用。
- pool.close() ：用于关闭连接池。调用 close() 方法后，连接池将不再接受新的连接请求，并开始关闭池中的所有连接。
- pool.wait_closed()：用于等待连接池中的所有连接关闭。在调用 close() 方法后，应该调用 wait_closed() 方法来确保所有连接都已关闭，然后才能结束程序。
- pool.size：表示连接池的当前大小，即池中当前可用的连接数。
- pool.maxsize：表示连接池的最大连接数。当连接池中的连接数达到最大值时，新的连接请求将被阻塞，直到有连接被释放。
- pool.minsize：表示连接池的最小连接数。连接池在初始化时会创建最小连接数的连接，并保持这些连接处于活动状态。
- conn.close()：关闭连接。该方法用于关闭连接，释放资源。
- conn.host：MySQL 服务器的主机名或 IP 地址。
- conn.port：MySQL 服务器的端口号。
- conn.user：连接 MySQL 服务器的用户名。
- conn.db：当前连接的数据库名称。
- conn.server_status：MySQL 服务器的状态信息。
- conn.server_capabilities：MySQL 服务器的功能列表。
- conn.client_flag：客户端标志。
- conn.insert_id：最近插入行的自增 ID。
- conn.warning_count：最近一次执行的 SQL 语句产生的警告数量。
- conn.errorhandler：错误处理器。
- conn.autocommit：自动提交模式。该属性用于设置是否开启自动提交模式，默认为 False。
- conn.charset：字符集。该属性用于设置数据库连接的字符集，默认为 'utf8mb4'。
- conn.maxsize：最大连接数。该属性用于设置连接池中的最大连接数，默认为 10。
- conn.minsize：最小连接数。该属性用于设置连接池中的最小连接数，默认为 1。
- conn.timeout：连接超时时间。该属性用于设置连接的超时时间，默认为 10 秒。
- conn.echo：是否打印 SQL 语句。该属性用于设置是否在控制台打印执行的 SQL 语句，默认为 False。
- conn.loop：事件循环对象。该属性用于设置要使用的事件循环对象。
- conn.connection：当前连接对象。该属性用于获取当前的连接对象。
- conn.server_version：MySQL 服务器版本。该属性用于获取 MySQL 服务器的版本信息。
- conn.commit()：提交事务。该方法用于提交当前事务的操作。
- conn.begin()：提开始一个事务。
- conn.ping()：检查连接是否存活。
- conn.select_db(dbName)：切换数据库
- conn.escape_string(string)：对字符串进行 MySQL 转义。
- conn.rollback()：回滚事务。该方法用于回滚当前事务的操作。
- conn.cursor()：创建一个游标对象。该方法用于创建一个异步游标对象，用于执行 SQL 查询和操作。cursor=conn.cursor()
- cursor.close()：关闭游标对象
- cursor.execute(sql, args=None)：执行 SQL 语句。该方法用于执行 SQL 语句，接受 SQL 语句字符串和参数，可以执行查询、插入、更新等操作。
- cursor.executemany(sql, args=None)：执行多个 SQL 语句。该方法用于执行多个相同结构的 SQL 语句，接受 SQL 语句字符串和参数列表。
- cursor.fetchone()：获取一条查询结果。该方法用于获取查询结果的下一行数据。
- cursor.fetchall()：获取所有查询结果。该方法用于获取查询结果的所有行数据。
- cursor.fetchmany(size=None)：获取查询结果的多行。
- cursor.rowcount：最近一次执行的 SQL 语句影响的行数。
- cursor.lastrowid：最近插入行的自增 ID。
- cursor.description：查询结果的字段描述信息。
- cursor.rownumber：当前行在查询结果中的索引。
- cursor.arraysize：获取或设置从数据库获取的行数。
四、案例 - 基本使用 aiomysql.connect()
import aiomysqlimport asyncioasync def main(): conn = await aiomysql.connect(host='localhost', port=3306, user='root', password='root',db='job') cursor = await conn.cursor() await cursor.execute('SELECT * FROM baidu_job;') result = await cursor.fetchall() print(result) await cursor.close() conn.close()asyncio.run(main())
- 连接池 aiomysql.create_pool()，建议使用连接池
import aiomysqlimport asyncioasync def main(): pool = await aiomysql.create_pool(host='localhost', port=3306, user='root', password='root',db='job') async with pool.acquire() as conn: async with conn.cursor() as cursor: await cursor.execute('SELECT * FROM baidu_job;') result = await cursor.fetchall() print(result)asyncio.run(main())
- 连接池爬取汽车之家数据
'''网址：https://www.che168.com/china/a0_0msdgscncgpi1ltocsp7exf4x0/?pvareaid=102179#currengpostion'''import asyncioimport aiohttpimport aiomysqlfrom lxml import etreeimport randomclass Car: url = { 'car_list': 'https://www.che168.com/china/a0_0msdgscncgpi1ltocsp{}exf4x0/?pvareaid=102179#currengpostion', 'car_detail': 'https://cacheapigo.che168.com/CarProduct/GetParam.ashx?specid={}' } headers = { 'authority': 'www.che168.com', 'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7', 'accept-language': 'zh-CN,zh;q=0.9', 'cache-control': 'no-cache', 'pragma': 'no-cache', 'referer': 'https://www.che168.com/dealer/481320/48787661.html?pvareaid=100519&userpid=0&usercid=0&offertype=&offertag=0&activitycartype=0&fromsxmlist=0', 'sec-ch-ua': ''Chromium';v='116', 'Not)A;Brand';v='24', 'Google Chrome';v='116'', 'sec-ch-ua-mobile': '?0', 'sec-ch-ua-platform': ''Windows'', 'sec-fetch-dest': 'document', 'sec-fetch-mode': 'navigate', 'sec-fetch-site': 'same-origin', 'sec-fetch-user': '?1', 'upgrade-insecure-requests': '1', 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/116.0.0.0 Safari/537.36', } def __init__(self): self.pool = None self.request = None '''获取汽车列表''' async def get_car_list(self, page): print(self.url['car_list'].format(page)) response = await self.request.get(self.url['car_list'].format(page)) result = await response.text(encoding='GBK') return etree.HTML(result) '''处理汽车列表信息''' async def parse_car_list_info(self, html): car_list_html = html.xpath('//div[@id='goodStartSolrQuotePriceCore0']//li[@name='lazyloadcpc']') task_list = [] for item in car_list_html: car_info = { 'specid': item.xpath('./@specid')[0], 'infoid': item.xpath('./@infoid')[0] } task = asyncio.create_task(self.get_car_detail(car_info)) task_list.append(task) await asyncio.wait(task_list) '''获取第一页数据，并返回总页数''' async def get_first_page(self): html = await self.get_car_list(1) page_total = html.xpath('//div[@id='listpagination']/a[last()-1]/text()')[0] await self.parse_car_list_info(html) return int(page_total) '''获取除第一页数据之外的其他页数据''' async def get_all_page(self,page): async with self.semaphore: await asyncio.sleep(random.randint(500, 800) / 1000) html = await self.get_car_list(page) await self.parse_car_list_info(html) '''获取汽车详情''' async def get_car_detail(self, car_info): response = await self.request.get(self.url['car_detail'].format(car_info['specid'])) result = await response.json() detail = result['result']['paramtypeitems'] car_detail = { 'specid': car_info['specid'], 'infoid': car_info['infoid'], 'name': detail[0]['paramitems'][0]['value'], 'price': detail[0]['paramitems'][1]['value'], 'manufacturer': detail[0]['paramitems'][2]['value'], 'level': detail[0]['paramitems'][3]['value'], 'length': f'{detail[1]['paramitems'][0]['value']}mm', 'width': f'{detail[1]['paramitems'][1]['value']}mm', 'height':f'{detail[1]['paramitems'][2]['value']}mm', } await self.insert_table(car_detail) '''异步建立mysql表''' async def create_table(self): sql = ''' CREATE TABLE IF NOT EXISTS qichezhijia( Id INT UNIQUE, Specid INT, Name VARCHAR(255), Price VARCHAR(10), Manufacturer VARCHAR(255), Level VARCHAR(50), Length VARCHAR(10), Width VARCHAR(10), Height VARCHAR(10), PRIMARY KEY(Id) ) ''' async with self.pool.acquire() as conn: async with conn.cursor() as cursor: try: await cursor.execute(sql) except Exception as e: print(f'创建表失败{e}') '''插入数据''' async def insert_table(self,car_detail): sql = ''' INSERT INTO qichezhijia VALUES(%(infoid)s,%(specid)s,%(name)s,%(price)s,%(manufacturer)s,%(level)s,%(length)s,%(width)s,%(height)s) ''' async with self.pool.acquire() as conn: async with conn.cursor() as cursor: try: await cursor.execute(sql, car_detail) await conn.commit() print('数据插入成功') except Exception as e: print(f'插入数据失败{e}，infoid={car_detail['infoid']}') '''程序运行主函数''' async def main(self): async with aiomysql.create_pool(host='localhost', port=3306, user='root', password='root', db='car') as pool: self.pool = pool await self.create_table() async with aiohttp.ClientSession(headers=self.headers) as request: self.request = request page_total = await self.get_first_page() self.semaphore = asyncio.Semaphore(3) task_list = [] for page in range(2,page_total+1): task = asyncio.create_task(self.get_all_page(page)) task_list.append(task) await asyncio.wait(task_list)if __name__ == '__main__': car = Car() asyncio.run(car.main())
|
