X的世界 / 分布式java / 文件IO消耗严重的问题

分享

   

文件IO消耗严重的问题

2013-01-09  X的世界
分布式java应用中文件IO消耗的原因有:
多个线程同时写入同一个文件,例如日志系统,随着文件的变大 ,写入的速度逐渐降低,造成各线程对写锁的竞争。
解决的方法有:
1、文件异步写---当进行写操作时,当发起写的操作后,不必等待写操作结束后就可以直接返回。当写操作完成时会通知应用程序来进行相应的处理。
2、批量写入
3、限流---将文件IO消耗控制到一个可以接受的范围,当达到上限时,需要采取一些措施。例如将IO请求存放到一个无限队列中或停止一段时间的写入。
4、控制写入文件的大小,超出文件限制时可以生成一个新的文件。
网络IO消耗分析
对于分布式Java应用,网卡中断是不是均衡分配到各CPU(cat/proc/interrupts查看)。


网络IO消耗严重的解决方法

从程序的角度而言,造成网络IO消耗严重的原因主要是同时需要发送或接收的包太多。

常用调优方法:

限流,限流通常是限制发送packet的频率,从而在网络IO消耗可接受的情况下来发送packget。

三、内存


释放不必要的引用:代码持有了不需要的对象引用,造成这些对象无法被GC,从而占据了JVM堆内存。(使用ThreadLocal:注意在线程内动作执行完毕时,需执行ThreadLocal.set把对象清除,避免持有不必要的对象引用)

使用对象缓存池:创建对象要消耗一定的CPU以及内存,使用对象缓存池一定程度上可降低JVM堆内存的使用。

采用合理的缓存失效算法:如果放入太多对象在缓存池中,反而会造成内存的严重消耗, 同时由于缓存池一直对这些对象持有引用,从而造成Full GC增多,对于这种状况要合理控制缓存池的大小,避免缓存池的对象数量无限上涨。(经典的缓存失效算法来清除缓存池中的对象:FIFO、LRU、LFU等)

合理使用SoftReference和WeekReference:SoftReference的对象会在内存不够用的时候回收,WeekReference的对象会在Full GC的时候回收


充分利用硬件资源(CPU和内存):
充分利用CPU
在能并行处理的场景中未使用足够的线程(线程增加:CPU资源消耗可接受且不会带来激烈竞争锁的场景下),例如单线程的计算,可以拆分为多个线程分别计算,最后将结果合并,JDK 7中的fork-join框架。
Amdahl定律公式:1/(F+(1-F)/N)。
充分利用内存
数据的缓存、耗时资源的缓存(数据库连接创建、网络连接的创建等)、页面片段的缓存。
毕竟内存的读取肯定远快于硬盘、网络的读取,在内存消耗可接受、GC频率、以及系统结构(例如集群环境可能会带来缓存的同步)可接受情况下,应充分利用内存来缓存数据,提升系统的性能。
总结:
好的调优策略是收益比(调优后提升的效果/调优改动所需付出的代价)最高的,通常来说简单的系统调优比较好做,因此尽量保持单机上应用的纯粹性,这是大型系统的基本架构原则。
调优的三大有效原则:充分而不过分使用硬件资源、合理调整JVM、合理使用JDK包。


    本站是提供个人知识管理的网络存储空间,所有内容均由用户发布,不代表本站观点。请注意甄别内容中的联系方式、诱导购买等信息,谨防诈骗。如发现有害或侵权内容,请点击一键举报。

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多
    喜欢该文的人也喜欢 更多

    ×
    ×

    ¥.00

    微信或支付宝扫码支付:

    开通即同意《个图VIP服务协议》

    全部>>