我们知道，一些网站会有相应的反爬虫措施，比如检测某些IP的访问次数或者访问频率，有些反人类的访问速度就会受到限制甚至封禁，所以在进行爬虫工作时也要讲究策略，比如使用代理IP、调整访问频率、设置UA等等，让我们来看看如何简单的使用代理IP。
#!/usr/bin/env python
# -*- coding:utf-8 -*-
import requests
import random
if __name__ == "__main__":
#不同浏览器的UA
header_list = [
# 遨游
{"user-agent": "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Maxthon 2.0)"},
# 火狐
{"user-agent": "Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1"},
# 谷歌
{
"user-agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11"}
]
#不同的代理IP(该代理ip可能已经失效，请自行去开心代理网站上购买开通)
proxy_list = [
{"http": "112.115.57.20:33128"},
{‘http‘: ‘121.41.171.223:32128‘}
]
#随机获取UA和代理IP
header = random.choice(header_list)
proxy = random.choice(proxy_list)
url = ‘http://www.baidu.com/s?ie=UTF-8&wd=ip‘
#参数3：设置代理
response = requests.get(url=url,headers=header,proxies=proxy)
response.encoding = ‘utf-8‘
with open(‘daili.html‘, ‘wb‘) as fp:
fp.write(response.content)
#切换成原来的IP
requests.get(url, proxies={"http": ""})
相关文章内容简介
1 不同的代理IP有什么区别？
不同的代理IP有什么区别？使用代理IP时，现在有很多代理IP商家，很多用户也看不出有什么不同，也不知道该怎么选择。那么，代理IP有什么不同呢？ 首先代理IP有免费和收费的，免费就是不需要花钱，在网络上可以直接找到，但可用率很低，挑选可用IP会很麻烦，只适合初级学者，不适合用于工作。收费就是由商家提供的代理IP软件，需要花钱，但操作简单，换IP也方便。如果不小心选择了质量差的代理，访问时候对方可能会识别出你使用了代理IP，依旧会查出真实IP，导致被封。 所以如果是专业人员工作使用代理IP，建议选择收费的代理IP，这样工作效率高，还不会有被封的风险。万变ip代理提供的IP均为高匿名IP，有不同套餐，可以按照自己的项目来选择，价格合理。 找到合适的代理IP要根据自己的实际需求来定，最简单的方法就是对IP进行验证，可以验证代理IP是否有效。还可以对代理IP提供的IP匿名程度来进行检测，一般都需要用高匿名代理效果是最好的。还可以验证代理IP是否可以访问... [阅读全文]
2 代理ip怎么选择呢？
代理ip怎么选择呢？代理IP很多人都不陌生，特别是推广人员，可以给我们的工作带来很大的帮助。随着需求的增大，IP代理软件特别多，所以在挑选的时候让很多用户不知该怎么办。那么，代理IP哪家好呢？ 万变ip代理IP是非常实用的，是自己搭建的服务器，IP可用率非常高，可达到97%，IP质量无需担心，在使用的时候绝对不会出现冲突的情况。而且操作的过程很简单，只需一键就可快速更换IP，还有专业技术人员在线指导，无论是否用过代理IP软件，都可以快速掌握。 选择好的代理IP软件用户要多参考几家软件，有的软件并不是特别好用，所以用户不要急于选择，可以多试用几家。 现在在网络中随便搜索就可以找到很多代理IP软件，因为软件的数量剧增，在选择的时候就尤为重要，如果选择了不好的代理，不仅不会给我们的工作带来帮助，还会很麻烦。下面就为大家介绍一下选择代理IP的三要素。 1.IP资源的数量。如果可以提供的IP数量很少，在切换IP的时候就很有可能... [阅读全文]
推荐阅读
26
2020-11
代理IP可用于提高网站的点击量吗？
使用代理IP可以提高网站的点击量，网站将提升被点击数据，，然后影响关键字的排序，为什么？
18
2021-03
高匿代理IP的安全性有多高？
高匿名代理IP是代理中最常用的，也是首选，因为高匿名代理IP能够将用户的IP和信息完全隐藏起来，让目标网站丝毫没有察觉，无论用它做什么工作都可以放心使用。当被访问方不能确定访问者
31
2020-01
代理IP中有一般IP、全透明IP和高掩藏IP
占有 IP 是一种 代理IP ，它能够 与共享资源IP相对性了解。假如你了解共享资源IP都是平常应用的代理IP，那麼占有IP就非常好了解了，如同共享资源和独居生活的差别一样，因此独简单点来说，
13
2020-03
投票时使用代理IP有什么优势？
在生活种有很多需要投票的业务，是针对参选中参赛者一种认可的方式，通过上网投票，而ip是上网唯一的身份通行证，但一个ip地址只能投一票，但是如果票数不够，排不到好名次怎么办？
09
2020-04
代理IP对自媒体有什么作用？
随着互联网的崛起，一个依托于互联网的全新行业应运而生：自媒体。越来越多的人开始使用微博，抖音等短视频平台。而自媒体与新媒体可谓你中有我，我中有你，密不可分；IP代理则为新媒
28
2020-04
如何找靠谱的HTTP代理IP资源服务供应商
伴随着着互联网的发展趋向，大伙儿对于代理网站服务器的也越来越认可，现阶段目前市面上可以提供 HTTP代理 IP资源的服务供应商也日渐提升。
热门文章
因为专业！ 所以简单！ 产品至上，价格实惠 是我们服务追求的宗旨
免费试用
