如何構建Cookie池-2

一.項目背景

在之前文章構建Cookie池（一）我們介紹了如何全自動化利用Selenium構建Cookie池。但是在實際開發中，我們經常會遇到反爬措施，成功登錄網頁的情況也不常見，比如會遇到圖形驗證碼和滑塊等，破解時也比較麻煩，比較好的方法就是我們手動協助登錄，也就是半自動化式獲取Cookie，這也相對來說是一個比較萬能的方法。

本次項目我們爬取的目標網址還是閃職網，一個專門為爬蟲工程師進行練習的網址，也
在此非常感謝網站后臺維護人員辛勤付出，網址為：http://shanzhi.spbeen.com/,從
中可以看出Cookies有csrftoken和shanzhi_kmer以及它們各自對應的值

二.實現過程

from selenium import webdriver
import time
import json


#用戶名
users=[
    {'username':'test123456','password':'test123456'},
    {'username':'wfq123','password':'123'},
    {'username':'cauwfq','password':'cauwfq'},
    {'username':'cauwfq1234','password':'cauwfq1234'}
]

#程序將預處理內容全部處理好
#瀏覽器等著用戶來處理，比如登錄
#用戶處理的同時，程序一直在監聽
#直到用戶直接關閉瀏覽器，程序發生異常，繼續往下執行

def wait_cookie(driver):
    #循環監聽
    while True:
        try:
            #獲取cookies
            cookie_list=driver.get_cookies()
            #獲取cookie值
            cookie_dict={ck['name']:ck['value'] for ck in cookie_list}
            #輸出cookie值
            print(cookie_dict)
        except:
            #寫入文件
            with open('./cookies_1.txt', 'a+', encoding='utf8') as f:
                #寫入字典
                f.write(json.dumps(cookie_dict))
                #寫入換行符
                f.write('n')
            break
    #睡眠3s
    time.sleep(3)


#登錄網址
def login(username,password):
    #初始化url
    url='http://shanzhi.spbeen.com/login/'
    #初始化webdriver
    driver=webdriver.Chrome()
    #最大化窗口
    driver.maximize_window()
    #請求url
    driver.get(url)
    #用戶名輸入框
    username_input=driver.find_element_by_xpath('//*[@id="username"]')
    #發送用戶名
    username_input.send_keys(username)
    #休眠1秒鐘
    time.sleep(1)
    #密碼輸入框
    password_input=driver.find_element_by_xpath('//*[@id="MemberPassword"]')
    #發送密碼
    password_input.send_keys(password)
    #獲取cookie
    wait_cookie(driver)


if __name__ == '__main__':
    #遍歷每個用戶
    for user in users:
        #登錄獲取cookie
        login(user['username'],user['password'])