需要先安装requests库和bs4库

bs4 <span style=”color: #0000ff”>def<span style=”color: #000000″> getHTMLText(url):
<span style=”color: #0000ff”>try<span style=”color: #000000″>:
<span style=”color: #008000″>#<span style=”color: #008000″>获取服务器的响应内容，并设置最大请求时间为6秒
res = requests.get(url,timeout = 6<span style=”color: #000000″>)
<span style=”color: #008000″>#<span style=”color: #008000″>判断返回状态码是否为200
<span style=”color: #000000″> res.raise_for_status()
<span style=”color: #008000″>#<span style=”color: #008000″>设置真正的编码
res.encoding =<span style=”color: #000000″> res.apparent_encoding
<span style=”color: #008000″>#<span style=”color: #008000″>返回网页HTML代码
<span style=”color: #0000ff”>return<span style=”color: #000000″> res.text
<span style=”color: #0000ff”>except<span style=”color: #000000″>:
<span style=”color: #0000ff”>return <span style=”color: #800000″>'<span style=”color: #800000″>产生异常<span style=”color: #800000″>’

<span style=”color: #008000″>#<span style=”color: #008000″>目标网页
url = <span style=”color: #800000″>'<span style=”color: #800000″>https://www.cnblogs.com/huwt/<span style=”color: #800000″>'<span style=”color: #000000″>

demo =<span style=”color: #000000″> getHTMLText(url)

<span style=”color: #008000″>#<span style=”color: #008000″>解析HTML代码
soup = BeautifulSoup(demo,<span style=”color: #800000″>'<span style=”color: #800000″>html.parser<span style=”color: #800000″>'<span style=”color: #000000″>)

<span style=”color: #008000″>#<span style=”color: #008000″>模糊搜索HTML代码的所有标签
a_labels = soup.find_all(<span style=”color: #800000″>'<span style=”color: #800000″>a<span style=”color: #800000″>'<span style=”color: #000000″>)

<span style=”color: #008000″>#<span style=”color: #008000″>获取所有标签中的href对应的值，即超链接
<span style=”color: #0000ff”>for a <span style=”color: #0000ff”>in<span style=”color: #000000″> a_labels:
<span style=”color: #0000ff”>print(a.get(<span style=”color: #800000″>'<span style=”color: #800000″>href<span style=”color: #800000″>’))