一行代码提取markdown文件中图片

在一个博客的诞生中 说到还有几件没完成的事情，其中一件就是要将markdown中的图片进行备份，这篇文章将介绍如何使用shell对md文件中图片链接进行解析并下载
本文记录了整个思考和实现的过程，有些啰嗦，不想看详细内容的可以直接用下面的命令行，如果是mac，需要安装gnu-sed并使用gsed代替自带的sed

grep -oP '\!\[.*?]\(.*?\)' 计算机基础-内存管理介绍.md | sed -E 's/(\!\[.*]\()(https?:\/\/.+\.(png|jpe?g|webp|gif|svg))(.*\))/\2/gi' |xargs wget –c -N

image.png

• grep使用懒惰模式匹配图片链接
• sed将markdown图片链接替换成其中的URL
• wget下载

写了一个bash脚本，可以遍历文件夹中的md文件，对其中图片批量下载
md_img_dl
欢迎star

匹配图片链接的正则式

markdown中图片链接的格式还是比较清晰的
![描述](图片url)
写出来的正则式为

\!\[.*\]\(.+\)

使用grep输出图片链接

随便找了一个md文件测试了下

grep '\!\[.*\]\(.+\)' 计算机基础-内存管理介绍.md

发现并没有出现预期的结果，查了下貌似grep的basic regular expression 不支持 + 这个元字符。所以需要使用extended regular expression ,用法为 egrep 或者 grep -E ,最后可用的命令为

grep -E  '\!\[.*\]\(.+\)' 计算机基础-内存管理介绍.md

结果为

image.png

只匹配图片链接部分

上面匹配的链接部分是完整的，但是事实上我们需要的是url的部分，那么是否可以将url单独提出来呢？
这种看上去就需要用到正则表达式中的前后查找功能，开始修改正则式

(?<=\!\[.*\]\()(.+)(?=\))

解释下这个正则干了什么
(?<=\!\[.*\]\() 中 ?<= 表示这个子表达式是个向后查找表达式。表示对该表达式进行匹配但是不含在最后的结果，向后查找表达式匹配的内容位于整个匹配的前面，这个表达式 ![.*]( 匹配 ![xxx](
(?=\)) 这个是向前查找表达式，和向后查找类似，不过匹配的是字符串最后的位置，这里匹配图片链接最后的 )
这样就可以匹配到整个图片链接而最终结果中只包含图片url了
vscode中的搜索结果

image.png

使用grep进行匹配

grep -E '(?<=\!\[.*\]\()(.+)(?=\))' 计算机基础-内存管理介绍.md

结果打印出来是

grep: repetition-operator operand invalid

并不能成功的匹配url

原因可能是vscode太强大了，大部分正则表达式的实现是不支持可变长度的向后查找的，只能换其他方法了

使用sed进行匹配

sed是一个进行字符串替换的工具，因为上面的方式是因为向后查找的问题，所以我们不使用向后查找，而使用匹配整个图片链接的表达式，再用sed提取出其中代表url的子表达式替换整个的图片链接，以此完成只匹配图片url的目的

sed  -E  's/(\!\[.*]\()(.+)(.*\))/\2/g' 计算机基础-内存管理介绍.md

s///g s表示替换模式，g表示匹配每一行有行首到行尾的所有字符，加g则一行有多个图片链接可以匹配处理，不加只能匹配第一个
\2 代表第二个子表达式，即用url部分替换整个

![描述](url)

image.png

执行之后可以看到图片链接已经变成url了，但是其他没匹配到的内容还是输出出来了

只输出匹配内容

这里有两个思路，
思路是先使用grep先过滤一遍再使用sed替换，需要使用-o选项，只打印正则匹配的部分

grep -o '\!\[.*]\(.*\)' 计算机基础-内存管理介绍.md | sed  -E  's/(\!\[.*]\()(.+)(.*\))/\2/g'

image.png

或者直接在sed中 -n 和 p子命令一起使用，只打印匹配的内容

sed -E -n 's/(\!\[.*]\()(.+)(.*\))/\2/gp' 计算机基础-内存管理介绍.md

之前对这个sed命令有个误解。

• -n 和p命令一起使用只能屏蔽不匹配的行，如果一行里有不匹配的内容还是会显示出来

所以单纯使用sed去过滤匹配内容看上去有点麻烦

懒惰匹配

最近在写脚本的时候发现markdown中图片链接是可以做为超链接的一部分，类似下面这种

[![图片描述](图片url)](页面url)

这种情况用上面的正则表达式因为使用了贪婪型元字符，匹配的内容是尽可能多的，它把下面的当做一个整体去匹配

![图片描述](图片url)](页面url)

这种情况向我们需要使用懒惰型元字符，将 * + 替换为 *? +?

sed是不支持懒惰匹配的，而我们先用grep过滤了一遍，grep可以支持懒惰匹配，需要加上-P选项
修改完命令为

grep -oP '\!\[.*?]\(.*?\)' 计算机基础-内存管理介绍.md | sed  -E  's/(\!\[.*]\()(.+)(.*\))/\2/g'

下载图片

命令行中下载常用wget
将前面的输出通过管道重定向给wget作为参数，这里需要使用xargs

grep -oP '\!\[.*?]\(.*?\)' 计算机基础-内存管理介绍.md | sed -E 's/(\!\[.*]\()(.+)(.*\))/\2/g' |xargs wget –c -N

为了让wget在本地有图片的时候就不去下载，先加了 -N 选项，发现有些图片可以，有些图片还是会下载第二次，应该依赖于服务端的实现
再加上 -c 断点续传的选项，我这边使用的图床都满足了本地有图片就不下载的需求
第一次正常下载图片

image.png

第二次提示 304 Not Modified不用重新下载

image.png

小修小补

加上http/https的校验。以及图片格式校验，主要在sed这一步，加上i不区分大小写

sed  -E  's/(\!\[.*]\()(https?:\/\/.+\.(png|jpe?g|webp|gif|svg))(.*\))/\2/gi'