并发连接数英文缩写是SBC。 nginx在内核优化后可同时容纳10万并发连接数。注意这里面提到了内核优化后,因为nginx处理任务占用资源极少,它的性能瓶颈主要在linux的文件句柄限制。 Tomcat 默认配置的最大请求并发数为150。可以改大,但是有一定限制。瓶颈在于操作系统中对于进程中的线程数有限制:Windows 每个进程中的线程数不允许超过 2000,Linux 每个进程中的线程数不允许超过 1000。在 Java 中每开启一个线程需要耗用 1MB 的 JVM 内存空间用于作为线程栈之用。
从用户角度来看,其实用户并不关心后端服务器是否真正同时处理多少并发。用户关心的是我等多久能得到自己关心的结果,即响应时间(RT)。一般小key小value的缓存,请求响应时间平均在几百纳秒。一次数据库访问在两三毫秒。简单数据库访问的用户请求算上网络延时是十几毫秒。一般复杂度逻辑计算一般响应时长在几十到几百毫秒。
并发连接数是有限的,但是TPS的角度,可以通过队列技术,复用已有连接来处理请求。这时候想要在达到SBC极限时优化,就要化简请求,让单个请求响应时间更短。这个主要取决于事务复杂度。 后来人们发现,查询速度是更重要的一个指标。因为一个网站99%的请求都是查询操作。如果真正需要插入和更新操作,比如支付、注册会员,几秒的时间能忍。如果实在耗时很长,可以分为两阶段提交。一个阶段查询确认是否可以提交成功,返回用户结果。耗时长的真正执行阶段的结果可用户稍后调用查询结果链接查看。 当mysql这样的有状态服务达到性能瓶颈。聪明的软件工程师想到了从另外的维度来解决问题。读写分离,写请求为了数据一致性完整性不好分开。但是可以拷贝几个副本专门来承接读流量。如上文所说,一个网站99%的请求都是查询操作。专门用来读的数据库因为避免了排他锁,几万QPS是没有问题的。 那写请求想解决瓶颈怎么处理好呢?就可以把数据按照一定规则拆分到不同服务器上。这就是数据分片。比较常见的是Elasticsearch的数据分片。mysql的分片一般是软件工程师自己来设计开发。这就是常说的分库分表。 水平拆分的主要瓶颈是预算,就是说资源不是无限的。那需要定期做容量评估,把机器数维持在一个合理的范围。 除了上面提到的从单机到集群这种流量的水平切分、分库分表水平切分。聪明的软件工程师还想到了从业务上做拆分。让每个子系统的职责更单一,数据库拆出子表,这就是垂直拆分。 垂直拆分的瓶颈除了资源之外,还在人员。人就那么多,拆分太多,每个人负责太多的模块,精力会分散。如果一个需求,需要一个开发人员修改多个子模块。他就需要更多的发布上线。 本文从并发连接数的概念引入,由于并发连接数存在硬件上的瓶颈。所以引入QPS、TPS等用户视角概念,从指标中提炼出通过减少响应时间提高并发的方法。我们通常使用缓存等用空间换时间的方法,主要目的就是减少响应时长。 当单机不能解决问题,就产生了多机来分担流量的方法,常见的有水平拆分(x轴拆分)和垂直拆分(y轴拆分)。实际上在数据库层还有z轴拆分。瓶颈也从物理资源逐渐转移到人力资源上。随着行业发展,如大家所相信的一样,人才的作用也会更加重要。 |
|