校园春色亚洲色图_亚洲视频分类_中文字幕精品一区二区精品_麻豆一区区三区四区产品精品蜜桃

主頁 > 知識(shí)庫 > 超簡單的scrapy實(shí)現(xiàn)ip動(dòng)態(tài)代理與更換ip的方法實(shí)現(xiàn)

超簡單的scrapy實(shí)現(xiàn)ip動(dòng)態(tài)代理與更換ip的方法實(shí)現(xiàn)

熱門標(biāo)簽:地圖標(biāo)注推廣單頁 n400電話申請多少錢 廈門crm外呼系統(tǒng)如何 ai地圖標(biāo)注 長春人工智能電銷機(jī)器人官網(wǎng) 百應(yīng)ai電銷機(jī)器人鄭州 西藏快速地圖標(biāo)注地點(diǎn) 如何在地圖標(biāo)注文字 女王谷地圖標(biāo)注

簡單實(shí)現(xiàn)ip代理,為了不賣廣告,
請自行準(zhǔn)備一個(gè)ip代理的平臺(tái)
例如我用的這個(gè)平臺(tái),每次提取10個(gè)ip


從上面可以看到數(shù)據(jù)格式是文本,換行是\r\n,訪問鏈接之后大概就是長這樣的,scrapy里面的ip需要加上前綴http://
例如:http://117.95.41.21:34854

OK,那現(xiàn)在已經(jīng)準(zhǔn)備好了ip了,先給你們屢一下思路。

ip池和計(jì)數(shù)器放在setting文件

第一次請求的時(shí)候要填滿ip池,所以在爬蟲文件的start_requests函數(shù)下手

更換ip的地方是middlewares的下載器中間件類的process_request函數(shù),因?yàn)槊總€(gè)請求發(fā)起前都會(huì)經(jīng)過這個(gè)函數(shù)

首先是setting文件,其實(shí)就是加兩句代碼

count = {'count': 0}
ipPool = []

還有就是開啟下載器中間件,注意是下面那個(gè)download的類,中間件的process_request函數(shù)的時(shí)候才能生效

下載器中間件的process_request函數(shù),進(jìn)行ip代理和固定次數(shù)更還ip代理池

	# 記得導(dǎo)包
	from 你的項(xiàng)目.settings import ipPool, count
	import random
	import requests
	
  def process_request(self, request, spider):
    # 隨機(jī)選中一個(gè)ip
    ip = random.choice(ipPool)
    print('當(dāng)前ip', ip, '-----', count['count'])
    # 更換request的ip----------這句是重點(diǎn)
    request.meta['proxy'] = ip
    # 如果循環(huán)大于某個(gè)值,就清理ip池,更換ip的內(nèi)容
    if count['count'] > 50:
      print('-------------切換ip------------------')
      count['count'] = 0
      ipPool.clear()
      ips = requests.get('你的ip獲取的地址')
      for ip in ips.text.split('\r\n'):
        ipPool.append('http://' + ip)
    # 每次訪問,計(jì)數(shù)器+1
    count['count'] += 1
    return None

最后就是爬蟲文件的start_requests函數(shù),就是第一次發(fā)請求前要先填滿ip池的ip

	# 記得導(dǎo)包
	from 你的項(xiàng)目.settings import ipPool
	import random
	import requests
	
  def start_requests(self):
    # 第一次請求發(fā)起前先填充一下ip池
    ips = requests.get('你的ip獲取的地址')
    for ip in ips.text.split('\r\n'):
      ipPool.append('http://' + ip)

簡單的ip代理以及固定次數(shù)就更換ip池就完成了

到此這篇關(guān)于超簡單的scrapy實(shí)現(xiàn)ip動(dòng)態(tài)代理與更換ip的方法實(shí)現(xiàn)的文章就介紹到這了,更多相關(guān)scrapy ip動(dòng)態(tài)代理與更換ip內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!

您可能感興趣的文章:
  • 詳解基于Scrapy的IP代理池搭建
  • 使用scrapy ImagesPipeline爬取圖片資源的示例代碼
  • Scrapy 配置動(dòng)態(tài)代理IP的實(shí)現(xiàn)
  • python3 Scrapy爬蟲框架ip代理配置的方法
  • Python:Scrapy框架中Item Pipeline組件使用詳解
  • scrapy自定義pipeline類實(shí)現(xiàn)將采集數(shù)據(jù)保存到mongodb的方法

標(biāo)簽:內(nèi)江 拉薩 黔東 興安盟 亳州 綿陽 渭南 廊坊

巨人網(wǎng)絡(luò)通訊聲明:本文標(biāo)題《超簡單的scrapy實(shí)現(xiàn)ip動(dòng)態(tài)代理與更換ip的方法實(shí)現(xiàn)》,本文關(guān)鍵詞  超,簡單,的,scrapy,實(shí)現(xiàn),動(dòng)態(tài),;如發(fā)現(xiàn)本文內(nèi)容存在版權(quán)問題,煩請?zhí)峁┫嚓P(guān)信息告之我們,我們將及時(shí)溝通與處理。本站內(nèi)容系統(tǒng)采集于網(wǎng)絡(luò),涉及言論、版權(quán)與本站無關(guān)。
  • 相關(guān)文章
  • 下面列出與本文章《超簡單的scrapy實(shí)現(xiàn)ip動(dòng)態(tài)代理與更換ip的方法實(shí)現(xiàn)》相關(guān)的同類信息!
  • 本頁收集關(guān)于超簡單的scrapy實(shí)現(xiàn)ip動(dòng)態(tài)代理與更換ip的方法實(shí)現(xiàn)的相關(guān)信息資訊供網(wǎng)民參考!
  • 推薦文章
    主站蜘蛛池模板: 缙云县| 普兰店市| 广元市| 广丰县| 康乐县| 伊川县| 泰宁县| 满洲里市| 金寨县| 大城县| 资阳市| 常山县| 双牌县| 甘谷县| 江西省| 儋州市| 吴忠市| 彝良县| 永安市| 呼图壁县| 宁国市| 黄山市| 札达县| 安溪县| 南宫市| 封丘县| 汽车| 南昌市| 永嘉县| 眉山市| 新丰县| 西盟| 阿图什市| 鄂尔多斯市| 新余市| 北京市| 平阳县| 越西县| 茶陵县| 徐汇区| 静宁县|