|
数据层的情况里，MySQL主从结构以及MHA+keepalived的高可用配置，这个基本上是看文档应该就能够理解的。如果是5.6的新版 MySQL，其高可用监控可能可以做的更简单，MySQL官方提供对应的工具，只是我还没有测试。对MHA的监控功能，我觉得亮点是MHA对切换过程中 MySQL binlog的获取和执行，在最大程度上避免了数据丢失。但是其缺点也是有的，比如：监控进程在触发切换后就停止了，一旦触发，必须重新启动进程再继续监 控。06年时我在sina做过一个叫Trust DMM的项目，通过 DNS、MON加上自己写的插件，监控MySQL主从集群的可用性，可以实现，主库、主备自动切换（缺乏binlog处理的环节）； 从库是一组服务器，如果从库发生问题，可以自动下线。只是这套系统部署起来比较麻烦。这个项目曾经获得过sina的创新一等奖。 我还提到了我认为的DBA日常的工作至少应该包括：审查并执行上线SQL；定期检查MySQL慢日志并分析，将分析结果反馈到开发部门进行调整；定 期审查数据库中索引的效率以及可用性，进行优化我反馈。现在做一个一般水平的DBA已经相当容易了，对percona的工具了解透彻，已经能够解决非常多 的数据库问题了。 MySQL还有一个难缠的问题，numa架构下，大内存服务器内存使用效率的问题，numactl对策略进行调整，如果使用percona的MySQL版本，可以通过 memlock配置对MySQL的Innodb引擎进行限制，禁止其使用swap。 MySQL常见的架构里，还有一种主从存储引擎不一致的方式，即主库采用Innodb引擎，提高并发写入的能力，从库采用Myisam引擎，这种方 式目前我们也在采用。这样做一是为了获取更好的读性能，另外是，Myisam引擎的是可以节省内存的。Myisam在索引数据内存读取，数据内容磁盘读取 的状态下，已经可以比较高效的运行了，myisam_use_mmap的配置项，会让MySQL将myisam的data文件也mmap到内存中，这样做 既高效，又可以使用mysiam引擎的特性。 数据库主库要避免一件事情发生，就是无条件删除和无条件修改，如“delete from table”以及”update table set xxx=yyyy”等无where条件语句，原则来讲是应该禁止执行的，这样的权限不应该开放给开发的同学，甚至DBA都不能无限制的操作。目前我的解决 方案是 sql_safe_updates=1,但这配置是不能够写my.cnf中的，只能启动mysql后进入console进行配置。 当前我们还使用了Redis作为DB，基于主从架构，跨IDC。目前的问题是，复制连接断开后，Redis快照重传的问题，从库会在快照替换期间有 短暂的性能抖动。 Redis2.8新版本psync的特性应该可以改善这个问题。我们还使用twemproxy，目前部署在每一台php服务器上，并监 听unix socket，php使用phpredis的模块进行连接。有效减少三次握手的时间。temwproxy还有很多其他的优秀特性，通过一致性hash做 cache集群，可以有效的避免cache迁移问题。通过其对后端redis的健康监控，可以自动下线有故障的redis。 还有针对多IDC的图片存储和Cache部署情况。目前我们自建的图片CDN承载网站每天约4亿的请求，带宽最高峰值约1.5G左右，其结构大体上 是中心IDC存储图片原图+SQUID disk cache存储图片缩略图，在外地IDC使用两级缓存，分别为一层SQUID disk cache（两台，做HA），另一层为Varnish cache（最多四台），实际上，如果仅考虑work around的状态，squid cache层基本上也可以不要的。但是，目前这样的结构可以减少varnish回中心节点的请求，减少中心机房带宽的压力。这个结构还算简 单，varnish在高并发请求下，有一些资源配置是需要注意的，比如NFILES / VARNISH_MAX_THREADS / nuke_limit 等。 沟通的技术问题还是非常多的，包括在井源那里提到监控框架的事情，也尤其提到了我对rsyslog的优化，优化后的rsyslog在可靠性方面是非常值得称赞的（优化思路见参考6） 我有一些将电商三面的运维运维同学的问题综合到这里了，有些话重复的就不再描述。 值得一提的是二面是另一位开发负责人，一看就是个很有独立思考能力的同学，他问了我一个很有意思的问题，大体的意思是，在系统架构方面，有这样的几 个层次，从下往上：使用开源、精通开源，优化并修改开源软件，创造开源软件。问我自己评价我是在哪一个层次的。我认真的思考了一下，我应该是在第二个层 次，有些精通的，有些修改过的。 电商四面是时间最长的，至少有两个小时以上，结束的时候已经是夜里一点四十了，我觉得电商的老大是应该在支付宝里面给我捐一些钱才好的 ，不知道有没有小米的同学能够转告哈 。我们应该是谈到了非常多的事情，包括秒杀的解决方案，包括对持续集成和自动化测试的理解、对后台数据业务类型的开发中数据计算错误的理解，时不时能够得到“我们想的很一致”这样的评价。 那时已近半夜，记忆进入低效态，一些太琐碎的事情记不得了，重复的技术方案也不再赘述。下面简单描述一下我对秒杀的解决方案的理解：10w的数据，从0到10w，不能多卖。目前的问题是，每次到秒杀时分可能同时进入100w的请求/连接。如何破？ 我的方案是：排除user、session等外部依赖服务的前提下，两台ha外面抗并发连接（后来想这个无所谓的，不如做成php的服务器），三台PHP服务器（不要使用任何框架，最朴素的纯粹PHP代码），两台Redis（最初说了一台）。具体优化状况如下：
php的逻辑可以简单的理解为对redis的某一个key进行incr原子操作，如果返回的当前数值小于等于10w（两台redis的情况下应小于等于5w），则认为中签。 从我以前看到的数据来讲，redis的最好状态在8w qps。nginx+php在08年时已经优化到6000 qps，目前的服务器设备（双核16cpu+64G内存）达到2、3wQps应该也是不难的事情（这个的最新数据我不知道）。上述配置至少应该能够在5s 内完成10w次redis的incr操作。加上系统各系统对请求队列的支持，可以几乎做到不报错，短暂延迟。 如果考虑1台redis请求量会很高，可以考虑分片，每台分5w。 当然，这是在仅仅思考不到1分钟内给出的方案，从现在来看，haproxy是可以不要，nginx扛并发连接的能力也不错。所有的细节还需要通过压 力测试进行验证。而实际情况加上对其他服务的依赖（我不知到还有哪些，抽丝剥茧去除干扰），方案也会更加复杂一些。据电商老大讲，实际情况是，秒杀的服务 用了十几台服务器，秒杀的时候偶尔出现一些故障，小米做秒杀的同学，压力很大哦。 如果你提到要记录中签的用户的uid和中签号码，还是redis吧。 （突然wps的linux版崩溃了，只能恢复到这里，后面的部分内容是重写的，可能有点混乱） 针对刚才的问题，我在白板上画了个简单的架构图：haproxy+nginx/php+redis，haproxy和nginx/php都是可线性 扩展的，redis可以通过sharding来实现扩展。理论上讲，一个可扩展的架构是可以满足任何性能要求的，更何况如此简单的逻辑，单机性能已经可以 做到非常高了。 电商王姓负责人在问我方案时问这个需求会有哪些难点？我看着白板笑笑：目前看，应该不存在难点。如果有问题，应该看日志和服务状态以及服务器状态。 第四面聊得很头机，对方几次想结束时都突然冒出来一个问题，每一个都会讨论比较久，比如后台的一些计算操作是否换成java更合适，因为java可 以更严谨。我说这可能不是语言的问题，而是程序员习惯和素质的问题，如果想换，其实我倒是更愿意尝鲜，比如用go，还可能可以同时满足性能的问题。 还有突然聊到持续集成，我坦言，我对持续集成的理解停留在用工具实现自动测试和发布这样的层面上，没有实操经验。但我个人的一个粗浅的认知是：持续 集成的前提是自动化测试，自动化测试的两个难点：1,自动化测试用例的设计；2,程序员对自动化测试的理解和心理反抗程度。我在目前单位有过短暂的尝试：专业的传统测试人员对测试用例进行设计，程序员接收到的需求应该包括正向逻辑的产品需求和测试用例的需求。开发工作完成的标记是：自己写的测试用例在自己的代码上完全通过，代表自己一项开发工作的完成。 说到这里，对方不禁双手伸出拇指！（哈哈哈哈） 或多或少也还有一些别的话题，我自认为那晚像演讲一样很精彩，只不过时间已过午夜，其他的一些细节不太记得了，如果想起或小米参加面试的同学有提起，我再补充了。 整场小米的面试两个部门加起来共计约7个小时，这是我经历过的最长时间的面试了……小米的面试很辛苦，今天码字也很辛苦，现在已经是凌晨1点半了，如果你觉得上面的经过对你有所帮助或是有意思，就捧个钱场或人场吧： http://me.alipay.com/chunshengster 原文链接：http://blog./46769/ 【编辑推荐】 【责任编辑：chensf TEL：（010）68476606】 内容导航
|
|
|
