如何構建Cookie池-1

一.項目背景

   由于http協議是無狀態的協議，簡單理解為如果客戶端向服務器發送兩次請求，這
   兩次請求是獨立的，，也就是說服務器根本不知道是同一個客戶端發送過來的請求。所
以為了維護客戶端的請求狀態，Cookie技術應用而生。
   Cookie是通過客戶端保持狀態的解決方案，它是由服務器發送給客戶端的特殊信息，
而這些特殊信息以文本形式存儲放在客戶端，然后客戶端每次向服務器發送請求時會攜
帶上大量這些特殊信息。
   Session是通過服務器來保持狀態的，客戶端第一次訪問時，服務器為這個客戶端
創建唯一特征碼，也就是SessionID，客戶端再次請求時，服務器根據SessionID在服
務器數據庫中查詢，若有這個SessionID，則會做相應響應。

Cookie屬性
》》name=value，鍵和值，具體的Cookie名稱和內容
》》expires=xxxxx，過期時間，Cookie有效期
》》path=/，根路徑，Cookie作用的具體路徑位置
》》httpOnly，此Cookie只能服務器操作，JS無法操作

二.實現過程

   本次項目我們爬取的目標網址為閃職網，一個專門為爬蟲工程師進行練習的網址，也
   在此非常感謝網站后臺維護人員辛勤付出，網址為：http://shanzhi.spbeen.com/,從
中可以看出Cookies有csrftoken和shanzhi_kmer以及它們各自對應的值

from selenium import webdriver
import time
import json


#用戶名，此處我們注冊四個用戶，如果無效讀者后期可自行注冊
users=[
    {'username':'test123456','password':'test123456'},
    {'username':'wfq123','password':'123'},
    {'username':'cauwfq','password':'cauwfq'},
    {'username':'cauwfq1234','password':'cauwfq1234'}
]


#登錄網址
def login(username,password):
    #初始化url
    url='http://shanzhi.spbeen.com/login/'
    #初始化webdriver
    driver=webdriver.Chrome()
    #最大化窗口
    driver.maximize_window()
    #請求url
    driver.get(url)
    #用戶名輸入框
    username_input=driver.find_element_by_xpath('//*[@id="username"]')
    #發送用戶名
    username_input.send_keys(username)
    #休眠1s
    time.sleep(1)
    #密碼輸入框
    password_input=driver.find_element_by_xpath('//*[@id="MemberPassword"]')
    #發送密碼
    password_input.send_keys(password)
    #休眠1s
    time.sleep(1)
    #點擊登錄按鈕
    driver.find_element_by_xpath('/html/body/div/div/div[2]/button').click()
    #休眠3s
    time.sleep(3)
    #獲取cookies
    cookie_lists=driver.get_cookies()
    #獲取cookie值
    cookie_dict={cookie['name']:cookie['value'] for cookie in cookie_lists}

    #寫入文件
    with open('./cookies.txt','a+',encoding='utf8') as f:
        #寫入文件
        f.write(json.dumps(cookie_dict))
        #寫入換行
        f.write('n')
    
    #退出瀏覽器
    driver.quit()


if __name__ == '__main__':
    #遍歷每個用戶
    for user in users:
        #登錄網站
        login(user['username'],user['password'])

#測試Cookie有效性

import requests
import json
import re


#讀取cookies數據
with open('cookies.txt','r',encoding='utf8') as f:
    #讀取存儲為列表
    cookies_list=f.readlines()


#存儲結果
result=''
#遍歷每個Cookie
for cookie_str in cookies_list:
    #加載Cookie
    cookie_dict=json.loads(cookie_str)
    #構建會話
    session=requests.session()
    #加入到會話中
    session.cookies=requests.utils.cookiejar_from_dict(cookie_dict)
    #請求網址
    response=session.get('http://shanzhi.spbeen.com/login/')
    #輸出響應內容
    #print(response,response.text)
    #存儲結果
    result+=response.text


#輸出登錄結果，發現歡迎結果為4個，四個用戶登錄成功
print(re.findall('歡迎',result))