Problem: 一个HTML文件,找出里面的链接。

Solution: Find HTML Anchors, Python:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
#!/usr/bin/env python
# -*- encoding: utf-8 -*-
# @Date : 2015-03-18 16:26:19
# @Author : NSSimacer
# @Version : 1.0
import sys
import urllib2
from bs4 import BeautifulSoup
# 设置系统编码为 UTF-8,处理中文乱码问题
reload(sys)
sys.setdefaultencoding('utf-8')
def get_html_anchors(url):
'''
爬取网页,再使用 BeautifulSoup 解析网页,找出网页中需要的链接
'''
headers = { # 封装headers,伪装成浏览器进行抓取,防止因网站禁止爬虫封 IP
'User-Agent': 'Mozilla/5.0 \
(Windows NT 6.1; WOW64) \
AppleWebKit/537.36 \
(KHTML, like Gecko) \
Chrome/41.0.2272.89 Safari/537.36'
}
request = urllib2.Request(url, headers=headers)
html_content = urllib2.urlopen(request).read() # 读取 HTML 页面内容
bs = BeautifulSoup(html_content) # 将读取的内容封装成 BeautifulSoup 对象
return bs.find_all( # 找出所有所需标签对应的内容
name='a',
attrs={"title": not ''},
href=True,
limit=1000)
if __name__ == '__main__':
url = 'http://www.csdn.net/'
anchors = get_html_anchors(url)
with open('HTML Anchors.txt', 'w') as f:
for index, anchor in enumerate(anchors): # 从链接里面取出需要的属性值
txt = anchor.text.strip()
link = anchor['href'].strip()
f.write(
str(index + 1) + ' Name: ' + txt + '\n Location: ' +
link + '\n')

主要目的是练习 Python 爬虫抓取网页,昨天用的是正则表达式,今天使用 BeautifulSoup 直接解析爬下来的 HTML 页面,提取出需要的元素和内容 —— 使用 find_all(self, args) 函数,传入参数(参数可以是正则表达式),过滤出想要的内容。

更多 BeautifulSoup 的 API,参考 Beautiful Soup Documentation.

题目来源:Python 练习册,每天一个小程序 THX!