Python 函數式編程可以讓程序的思路更加清晰、易懂

定義相應的函數，通過調用函數來執行爬蟲程序

from urllib import request
from urllib import parse

# 拼接URL地址
def get_url(word):
url = 'http://www.baidu.com/s?{}'
#此處使用urlencode()進行編碼
params = parse.urlencode({'wd':word})
url = url.format(params)
return url

# 發請求,保存本地文件
def request_url(url,filename):
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:6.0) Gecko/20100101 Firefox/6.0'}
# 請求對象 + 響應對象 + 提取內容
req = request.Request(url=url,headers=headers)
res = request.urlopen(req)
html = res.read().decode('utf-8')
# 保存文件至本地
  with open(filename,'w',encoding='utf-8') as f:
    f.write(html)

# 主程序入口
if __name__ == '__main__':
word = input('請輸入搜索內容:')
url = get_url(word)
filename = word + '.html'
request_url(url,filename)

下面以類的形式編寫爬蟲程序，并在類下編寫不同的功能函數，代碼如下所示：

from urllib import request,parse
import time
import random
from ua_info import ua_list #使用自定義的ua池

#定義一個爬蟲類
class TiebaSpider(object):
#初始化url屬性
def __init__(self):
self.url='http://tieba.baidu.com/f?{}'

# 1.請求函數，得到頁面，傳統三步
def get_html(self,url):
req=request.Request(url=url,headers={'User-Agent':random.choice(ua_list)})
res=request.urlopen(req)
#windows會存在亂碼問題，需要使用 gbk解碼，并使用ignore忽略不能處理的字節
#linux不會存在上述問題，可以直接使用decode('utf-8')解碼
html=res.read().decode("gbk","ignore")
return html
# 2.解析函數，此處代碼暫時省略，還沒介紹解析模塊
def parse_html(self):
pass
# 3.保存文件函數
def save_html(self,filename,html):
with open(filename,'w') as f:
f.write(html)
# 4.入口函數
def run(self):
name=input('輸入貼吧名：')
begin=int(input('輸入起始頁：'))
stop=int(input('輸入終止頁：'))
# +1 操作保證能夠取到整數
for page in range(begin,stop+1):
pn=(page-1)*50
params={
'kw':name,
'pn':str(pn)
}
#拼接URL地址   
params=parse.urlencode(params)
url=self.url.format(params)
#發請求
html=self.get_html(url)
#定義路徑
filename='{}-{}頁.html'.format(name,page)
self.save_html(filename,html)
#提示
print('第%d頁抓取成功'%page)
#每爬取一個頁面隨機休眠1-2秒鐘的時間
time.sleep(random.randint(1,2))
#以腳本的形式啟動爬蟲
if __name__=='__main__':
start=time.time()
spider=TiebaSpider() #實例化一個對象spider
spider.run() #調用入口函數
end=time.time()
#查看程序執行時間
print('執行時間:%.2f'%(end-start))  #爬蟲執行時間

以面向對象方法編寫爬蟲程序時，思路簡單、邏輯清楚，非常容易理解，上述代碼主要包含了四個功能函數，它們分別負責了不同的功能，總結如下：

1) 請求函數

請求函數最終的結果是返回一個 HTML 對象，以方便后續的函數調用它。 

2) 解析函數

解析函數用來解析 HTML 頁面，常用的解析模塊有正則解析模塊、bs4 解析模塊。通過分析頁面，提取出所需的數據，在后續內容會做詳細介紹。

3) 保存數據函數

該函數負責將抓取下來的數據保至數據庫中，比如 MySQL、MongoDB 等，或者將其保存為文件格式，比如 csv、txt、excel 等。

4) 入口函數

入口函數充當整個爬蟲程序的橋梁，通過調用不同的功能函數，實現數據的最終抓取。入口函數的主要任務是組織數據，比如要搜索的貼吧名、編碼 url 參數、拼接 url 地址、定義文件保存路徑。

爬蟲程序結構

用面向對象的方法編寫爬蟲程序時，邏輯結構較為固定，總結如下：

# 程序結構
class xxxSpider(object):
def __init__(self):
# 定義常用變量,比如url或計數變量等

def get_html(self):
# 獲取響應內容函數,使用隨機User-Agent

def parse_html(self):
# 使用正則表達式來解析頁面，提取數據

def write_html(self):
# 將提取的數據按要求保存，csv、MySQL數據庫等

def run(self):
# 主函數，用來控制整體邏輯

if __name__ == '__main__':
# 程序開始運行時間
spider = xxxSpider()
spider.run()

爬蟲程序隨機休眠

在入口函數代碼中，包含了以下代碼：

#每爬取一個頁面隨機休眠1-2秒鐘的時間
time.sleep(random.randint(1,2))

爬蟲程序訪問網站會非?？?，這與正常人類的點擊行為非常不符。因此，通過隨機休眠可以使爬蟲程序模仿成人類的樣子點擊網站，從而讓網站不易察覺是爬蟲訪問網站，但這樣做的代價就是影響程序的執行效率