【原】如何利用 C# 爬取「京东 - 计算机与互联网图书销量榜」！

老马的程序人生 2020-08-17

展开全文

当前，信息技术领域的知识在飞速的更新。作为一个程序爱好者，或者说已经超过 10年的老码农，稍有懈怠就会被落下！跟踪当前信息技术领域的畅销书，结合自己所做的事情买来阅读，以便提升技能，就显得非常重要了。

今天我就为大家介绍如何利用 C# 语言来爬取“京东 - 计算机与互联网图书销量榜”。

我们先来看一下这个网页：

https://book.jd.com/booktop/0-0-0.html?category=3287-0-0-0-1002-1#comfort

当我们点击“第2页”时，我们发现URL变成：

https://book.jd.com/booktop/0-0-0.html?category=3287-0-0-0-1002-2#comfort

以此类推，页码的变化会导致客户端请求参数category的变化，即3287-0-0-0-1002-1、3287-0-0-0-1002-2……，这样我们就找到了要爬取网页的规律。

我们再来看一下，网页的源代码：

可以发现，我们所要的数据全部在li标签中的class='p-detail'中，我们只要把这个网页的HTML DOM节点得到，在用“选择器”把对应的部分提取出来就可以了。

这里推荐一个处理HTML DOM的开源工具：Jumony，可以在 Github 上下载。

下载地址为：

https://github.com/Ivony/Jumony

这里对HTML DOM开源工具不做过多介绍，要是大家感兴趣，我后面再写几篇图文来介绍这个工具。

网页分析部分介绍完了，下面我们介绍代码部分。

1. 定义存储图书的结构 Book，代码如下：

public class Book
{
    /// <summary>
    /// 获取或设置 销量排名
    /// </summary>
    public int Num { get; set; }
    /// <summary>
    /// 获取或设置 书名
    /// </summary>
    public string Title { get; set; }

    /// <summary>
    /// 获取或设置 作者
    /// </summary>
    public string Author { get; set; }

    /// <summary>
    /// 获取或设置 出版社
    /// </summary>
    public string Press { get; set; }

    /// <summary>
    /// Book实例的格式化输出
    /// </summary>
    /// <returns>Markdown格式文本</returns>
    public override string ToString()
    {
        string num = Num.ToString().PadLeft(2, '0');
        string temp = "**Top" + num + "：" + Title.Trim() + "**" 
                + Environment.NewLine
                + "- 作　者：" + Author + Environment.NewLine
                + "- 出版社："+Press;
        return temp;
    }
}

2. 获取“京东 - 计算机与互联网图书销量榜”网页的 HTML结构的代码如下：

public static IHtmlDocument GetHtmlDocumentJd(int page)
{
    string url = "https://book.jd.com/booktop/0-0-0.html?"
                    + "category=3287-0-0-0-1002-"
                    + page
                    + "#comfort";
    IHtmlDocument document;
    try
    {
        document = new JumonyParser().LoadDocument(url);
    }
    catch
    {
        document = null;
    }
    return document;
}

3. 获取“京东 - 计算机与互联网图书销量榜”内容的代码如下：

public static List<Book> GetBooksJd(int page)
{
    IHtmlDocument doc = GetHtmlDocumentJd(page);
    if (doc == null)
        return null;

    List<Book> result = new List<Book>();
    List<IHtmlElement> lists = doc.Find(".p-detail").ToList();

    for (int i = 0; i < lists.Count; i++)
    {
        Book book = new Book();
        book.Num = i + 1;
        List<IHtmlElement> s = lists[i].Find("a").ToList();
        //得到书的名字
        book.Title = s[0].InnerHtml().Trim(); 

        List<IHtmlElement> infor = lists[i].Find("dl dd").ToList();

        List<IHtmlElement> authors = infor[0].Find("a").ToList();
        if (authors.Count > 1)
        {
            string temp = infor[0].InnerHtml().Remove(0, 2).Trim();
            int index = temp.IndexOf("<a", StringComparison.Ordinal);
            string country = temp.Substring(0, index).Trim();
            string author1 = authors[0].InnerHtml().Trim(); // 著
            string author2 = authors[1].InnerHtml().Trim(); //译
            book.Author = country + " " + author1 + " 著 " 
                          + author2 + " 译";
        }
        else
        {
            book.Author = authors[0].InnerHtml().Trim() + " 著"; //得到作者的名字
        }

        //得到出版者的名字
        book.Press = infor[1].Find("a").ToList()[0].InnerHtml().Trim();
        result.Add(book);
    }
    return result;
}

4. 获得 Markdown 格式的字符串方法如下：

private void btnSpider_Click(object sender, EventArgs e)
{
    List<Book> books = BooksHtmlDocument.GetBooksJd(1);

    string str = "---" + Environment.NewLine + "### 京东"+Environment.NewLine;
    for (int i = 0; i < books.Count; i++)
    {
        str += Environment.NewLine+books[i] + Environment.NewLine;
    }
}