前面一篇讲了用户 UA 代理池,现在这篇来讲下 IP 代理,
相对于 UA 来说,IP 更容易被封,
这里讲两种方法。
方法一:本地ip池
方法一 就是将 IP 拿下来本地,然后通过随机选取或者其他来调用
这就跟之前使用 UA 差不多,只不过函数不同
这里使用 urllib.request.ProxyHandler() 方法
ProxyHandler() 函数是 来设置使用代理服务器
废话不多说,先来简单的看看
import urllib.request import random ip_pool = [ "192.168.0.1", "192.168.0.2", "192.168.0.3", "192.168.0.4", "192.168.0.5" ] def IP(ip_pool): this_ip = random.choice(ip_pool) # 随机选取一个 proxy = urllib.request.ProxyHandler({"http":ip}) opener = urllib.request.build_opener(proxy,urllib.request.HTTPHandler) urllib.request.install_opener(opener) # if __name__ == '__main__': # ua(ip_pool)
这样就封装好了一个函数
我们再拿 糗事百科 来举例吧
这次加一个 try except 来捕获异常
import urllib.request import random ip_pool = [ "192.168.0.1", "192.168.0.2", "192.168.0.3", "192.168.0.4", "192.168.0.5" ] def IP(ip_pool): this_ip = random.choice(ip_pool) # 随机选取一个 proxy = urllib.request.ProxyHandler({"http":this_ip}) opener = urllib.request.build_opener(proxy,urllib.request.HTTPHandler) urllib.request.install_opener(opener) for i in range(1,5): try: IP(ip_pool) this_url = "https://www.qiushibaike.com/text/page/"+str(i)+"/" data = urllib.request.urlopen(this_url).read().decode("utf-8","ignore") path = '<div class="content">.*?<span>(.*?)</span>.*?</div>' resut = re.compile(path,re.S).findall(data) for j in resut: print(j) time.sleep(0.5) except Exception as error: print(error)
这样就可以了,即使那个 ip 访问不了,也不会影响到程序的执行
方法二:IP接口
第二种方法就是调用 IP 接口了
有些网站提供 ip 池,然后只需要调用他那个接口就行了
这里简单提一下,可能不同网站调用方法不同
import urllib.request import random def IP(ip_pool): this_ip = urllib.request.urlopen("http://www.xxx.com/?xxx=xxx") # 调用接口提取 ip proxy = urllib.request.ProxyHandle({"http":this_ip}) opener = urllib.request.build_opener(proxy,urllib.request.HTTPHandler) opener = urllib.request.build_opener(proxy,urllib.request.HTTPHandler) urllib.request.install_opener(opener) for i in range(1,5): try: IP(ip_pool) this_url = "https://www.qiushibaike.com/text/page/"+str(i)+"/" data = urllib.request.urlopen(this_url).read().decode("utf-8","ignore") path = '<div class="content">.*?<span>(.*?)</span>.*?</div>' resut = re.compile(path,re.S).findall(data) for j in resut: print(j) time.sleep(0.5) except Exception as error: print(error)