分享

如何在不额外读流的情况下计算md5值

 冒险的K 2021-09-11

设想这样一个场景:从网络流中读取文件到硬盘中并计算文件的md5值。通常的做法是先将文件保存下来,再计算文件的md5,但这样会一共会出现三次I/O,一次网络I/O,两次磁盘I/O。

导致额外磁盘I/O的写法

import org.apache.commons.io.IOUtils;
import org.springframework.util.DigestUtils;
import java.io.*;
import java.net.URL;
public class Main {
    public static void main(String[] args) throws Exception {
        //下载文件,百度logo
        URL url = new URL("https://www.baidu.com/img/flexible/logo/plus_logo_web_2.png");
        File file = new File("file.png");
        try (InputStream in = url.openStream(); OutputStream out = new FileOutputStream(file)) {
            IOUtils.copy(in, out);
        }
        //计算md5
        try (FileInputStream fileInputStream = new FileInputStream(file)) {
            //计算md5
            String md5 = DigestUtils.md5DigestAsHex(fileInputStream);
            System.out.println(md5);
        }
    }
}

上面的代码使用spring提供的MD5工具类,将流作为参数传入,直接返回md5值,这样的工具用起来简单方便,是很多人的首选。
然而,java提供的md5工具并没有这样的接口,java提供MessageDigest工具类计算md5时只提供了较为底层的接口,因为不好用,很多人忽视了它。

下面的例子中,下载文件并计算md5只用到一次磁盘I/O

import java.io.*;
import java.math.BigInteger;
import java.net.URL;
import java.security.MessageDigest;

public class Main {
    public static void main(String[] args) throws Exception {
        //下载文件,百度logo
        URL url = new URL("https://www.baidu.com/img/flexible/logo/plus_logo_web_2.png");
        File file = new File("file.png");

        //计算md5
        MessageDigest md5Digest = MessageDigest.getInstance("md5");
        try (InputStream in = url.openStream(); OutputStream out = new FileOutputStream(file)) {
            int len;
            byte[] buffer = new byte[1024 * 4];
            while ((len = in.read(buffer)) != -1) {
                //更新散列值
                md5Digest.update(buffer, 0, len);
                //写入文件
                out.write(buffer, 0, len);
            }
        }
        //散列值数组
        byte[] digest = md5Digest.digest();
        //1表明这是无符号整数
        BigInteger bigInteger = new BigInteger(1, digest);
        //以16进制的形式输出
        System.out.println(bigInteger.toString(16));
    }
}

以上就是避免额外读流的方式计算md5,当然也可以推广到其他hash算法上,例如sha256等。


www.
www.

    本站是提供个人知识管理的网络存储空间,所有内容均由用户发布,不代表本站观点。请注意甄别内容中的联系方式、诱导购买等信息,谨防诈骗。如发现有害或侵权内容,请点击一键举报。
    转藏 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多