Java 网络爬虫就是这么的简单

由于我们前面已经知道了 css 选择器，我们结合浏览器的 Copy 功能，编写出我们 a标签的 css 选择器代码：div.news-list > ul > li > div.list-hd > h4 > a ，一切都准备好了，我们一起来编写 Jsoup 方式提取信息的代码：

/**
 * jsoup方式 获取虎扑新闻列表页
 * @param url 虎扑新闻列表页url
 */
public void jsoupList(String url){
 try {
 Document document = Jsoup.connect(url).get();
 // 使用 css选择器 提取列表新闻 a 标签
 // <a href="https://voice.hupu.com/nba/2484553.html" target="_blank">霍华德：夏休期内曾节食30天，这考验了我的身心</a>
 Elements elements = document.select("div.news-list > ul > li > div.list-hd > h4 > a");
 for (Element element:elements){
// System.out.println(element);
 // 获取详情页链接
 String d_url = element.attr("href");
 // 获取标题
 String title = element.ownText();
 System.out.println("详情页链接："+d_url+" ,详情页标题："+title);
 }
 } catch (IOException e) {
 e.printStackTrace();
 }
}

使用 Jsoup 方式提取还是非常简单的，就5、6行代码就完成了，关于更多 Jsoup 如何提取节点信息的方法可以参考 jsoup 的官网教程。我们编写 main 方法，来执行 jsoupList 方法，看看 jsoupList 方法是否正确。

public static void main(String[] args) {
 String url = "https://voice.hupu.com/nba";
 CrawlerBase crawlerBase = new CrawlerBase();
 crawlerBase.jsoupList(url);
}

执行 main 方法，得到如下结果：

从结果中可以看出，我们已经正确的提取到了我们想要的信息，如果你想采集详情页的信息，只需要编写一个采集详情页的方法，在方法中提取详情页相应的节点信息，然后将列表页提取的链接传入提取详情页方法即可。

httpclient + 正则表达式

上面我们使用了 Jsoup 方式正确提取了虎扑列表新闻，接下来我们使用 httpclient + 正则表达式的方式来提取，看看使用这种方式又会涉及到哪些问题？httpclient + 正则表达式的方式涉及的知识点还是蛮多的，它涉及到了正则表达式、Java 正则表达式、httpclient。如果你还不知道这些知识，可以点击下方链接简单了解一下：

正则表达式：正则表达式

Java 正则表达式：Java 正则表达式

httpclient：httpclient

我们在 pom.xml 文件中，引入 httpclient 相关 Jar 包

<dependency>
 <groupId>org.apache.httpcomponents</groupId>
 <artifactId>httpclient</artifactId>
 <version>4.5.10</version>
</dependency>
<dependency>
 <groupId>org.apache.httpcomponents</groupId>
 <artifactId>httpcore</artifactId>
 <version>4.4.10</version>
</dependency>
<dependency>
 <groupId>org.apache.httpcomponents</groupId>
 <artifactId>httpmime</artifactId>
 <version>4.5.10</version>
</dependency>

关于虎扑列表新闻页面，我们在使用 Jsoup 方式的时候进行了简单的分析，这里我们就不在重复分析了。对于使用正则表达式方式提取，我们需要找到能够代表列表新闻的结构体，比如：

这段结构体，每个列表新闻只有链接和标题不一样，其他的都一样，而且

/**
 * httpclient + 正则表达式 获取虎扑新闻列表页
 * @param url 虎扑新闻列表页url
 */
public void httpClientList(String url){
 try {
 CloseableHttpClient httpclient = HttpClients.createDefault();
 HttpGet httpGet = new HttpGet(url);
 CloseableHttpResponse response = httpclient.execute(httpGet);
 if (response.getStatusLine().getStatusCode() == 200) {
 HttpEntity entity = response.getEntity();
 String body = EntityUtils.toString(entity,"utf-8");
 
 if (body!=null) {
 /*
 * 替换掉换行符、制表符、回车符，去掉这些符号，正则表示写起来更简单一些
 * 只有空格符号和其他正常字体
 */
 Pattern p = Pattern.compile("\t|\r|\n");
 Matcher m = p.matcher(body);
 body = m.replaceAll("");
 /*
 * 提取列表页的正则表达式
 * 去除换行符之后的 li
 * <div class="list-hd"> <h4> <a href="https://voice.hupu.com/nba/2485167.html" target="_blank">与球迷亲切互动！凯尔特人官方晒球队开放训练日照片</a> </h4> </div>
 */
 Pattern pattern = Pattern
 .compile("<div class="list-hd">\s* <h4>\s* <a href="(.*?)"\s* target="_blank">(.*?)</a>\s* </h4>\s* </div>" ); Matcher matcher = pattern.matcher(body); // 匹配出所有符合正则表达式的数据 while (matcher.find()){ // String info = matcher.group(0); // System.out.println(info); // 提取出链接和标题 System.out.println("详情页链接："+matcher.group(1)+" ,详情页标题："+matcher.group(2)); } }else { System.out.println("处理失败！！！获取正文内容为空"); } } else { System.out.println("处理失败！！！返回状态码：" + response.getStatusLine().getStatusCode()); } }catch (Exception e){ e.printStackTrace(); } } 

public static void main(String[] args) {
 String url = "https://voice.hupu.com/nba";
 CrawlerBase crawlerBase = new CrawlerBase();
// crawlerBase.jsoupList(url);
 crawlerBase.httpClientList(url);
}