龙盟编程博客 | 无障碍搜索 | 云盘搜索神器
快速搜索
主页 > 软件开发 > JAVA开发 >

零基础写Java知乎爬虫之将抓取的内容存储到本地(2)

时间:2014-11-08 02:59来源:网络整理 作者:网络 点击:
分享到:
我们把这两个函数封装到一个FileReaderWriter.java文件中以便后续使用。 接着我们回到知乎爬虫中。 我们需要给知乎的Zhihu封装类加个函数,用来格式化写入

我们把这两个函数封装到一个FileReaderWriter.java文件中以便后续使用。
接着我们回到知乎爬虫中。
我们需要给知乎的Zhihu封装类加个函数,用来格式化写入到本地时的排版。

复制代码 代码如下:

public String writeString() { 
        String result = ""; 
        result += "问题:" + question + "\r\n"; 
        result += "描述:" + questionDescription + "\r\n"; 
        result += "链接:" + zhihuUrl + "\r\n"; 
        for (int i = 0; i < answers.size(); i++) { 
            result += "回答" + i + ":" + answers.get(i) + "\r\n"; 
        } 
        result += "\r\n\r\n"; 
        return result; 

OK,这样就差不多了,接下来吧mian方法中的System.out.println改成

复制代码 代码如下:

// 写入本地 
        for (Zhihu zhihu : myZhihu) { 
            FileReaderWriter.writeIntoFile(zhihu.writeString(), 
                    "D:/知乎_编辑推荐.txt", true); 
        } 

运行,便可以看到本来在控制台看到的内容已经被写到了本地的txt文件里:

大体一看没什么问题,仔细看看发现问题:存在太多的html标签,主要是<b>和<br>。
我们可以在输出的时候对这些标记进行处理。
先把<br>换成io流里面的\r\n,再把所有的html标签都删除,这样看起来便会清晰很多。

复制代码 代码如下:

public String writeString() { 
    // 拼接写入本地的字符串 
    String result = ""; 
    result += "问题:" + question + "\r\n"; 
    result += "描述:" + questionDescription + "\r\n"; 
    result += "链接:" + zhihuUrl + "\r\n"; 
    for (int i = 0; i < answers.size(); i++) { 
        result += "回答" + i + ":" + answers.get(i) + "\r\n\r\n"; 
    } 
    result += "\r\n\r\n\r\n\r\n"; 
    // 将其中的html标签进行筛选 
    result = result.replaceAll("<br>", "\r\n"); 
    result = result.replaceAll("<.*?>", ""); 
    return result; 

这里的replaceAll函数可以使用正则,于是所有的<>标签在最后就都被删除了。

精彩图集

赞助商链接