一片技术文章,最主要的讲清楚原理,如果再有完整的能运行的源代码也可,关键是要把核心部分代码分析清楚。
(1)问题的由来:
大部分的电脑上网都是用动态ip地址。内网的ip是由net(路由、网关)分配的,net发出去的时候,映射到一个公网地址,这是一个动态计算的过程(特别是端口号),因此称为动态ip地址。外部网是无法直接访问内网计算机的,但在大部分情况下,借助一台有公网ip地址电脑(这里叫服务器),通过某种方式,可以实现连接,这种技术较“打洞”。
(2)动态ip具体分析:
有一个私有网络192.168.0.2,client a是其中的一台计算机,这个网络的网关natA(一个nat设备)的外网ip是202.103.142.29(应该还有一个内网的ip地址,比如10.0.0.10)。如果client a中的某个进程(这个进程创建了一个socket,这个socket绑定1234端口)想访问外网主机129.208.12.38的2000端口,那么当数据包通过nat时会发生什么事情呢?
先nat会改变这个数据包的原ip地址,改为202.103.142.29。接着nat会为这个传输创建一个session(session是一个抽象的概念,如果是tcp,也许session是由一个syn包开始,以一个fin包结束。而udp呢,以这个ip的这个端口的第一个udp开始,结束不确定,也许是几分钟,也许是几小时,这要看具体的实现了)并且给这个session分配一个端口,比如62000,然后改变这个数据包的源端口为62000。所以本来是
(192.168.0.2:1234->129.208.12.38:2000)
的数据包到了互联网上变为了
(202.103.142.29:62000->129.208.12.38:2000)。
一旦nat创建了一个session后,nat会记住62000端口对应的是192.168.0.2的1234端口,以后从129.208.12.38发送到62000端口的数据会被nat自动的转发到192.168.0.2上。(注意:这里是说129.208.12.38发送到62000端口的数据会被转发,其他的ip发送到这个端口的数据将被nat抛弃,这就是真正头痛的问题)这样client a就与server s1建立以了一个连接。
如果client a的原来那个socket(绑定了1234端口的那个udp socket)又接着向另外一个服务器server s2发送了一个udp包,那么这个udp包在通过nat时会怎么样呢?
答案是net决定的,不同的net有不同的答案。
这里需要介绍一下NAT的类型:
NAT设备的类型对于TCP穿越NAT,有着十分重要的影响,根据端口映射方式,NAT可分为如下4类,前3种NAT类型可统称为cone类型。
(1)全克隆( Full Cone) : NAT把所有来自相同内部IP地址和端口的请求映射到相同的外部IP地址和端口。任何一个外部主机均可通过该映射发送IP包到该内部主机。
(2)限制性克隆(Restricted Cone) : NAT把所有来自相同内部IP地址和端口的请求映射到相同的外部IP地址和端口。但是,只有当内部主机先给IP地址为X的外部主机发送IP包,该外部主机才能向该内部主机发送IP包。
(3)端口限制性克隆( Port Restricted Cone) :端口限制性克隆与限制性克隆类似,只是多了端口号的限制,即只有内部主机先向IP地址为X,端口号为P的外部主机发送1个IP包,该外部主机才能够把源端口号为P的IP包发送给该内部主机。
(4)对称式NAT ( Symmetric NAT) :这种类型的NAT与上述3种类型的不同,在于当同一内部主机使用相同的端口与不同地址的外部主机进行通信时, NAT对该内部主机的映射会有所不同。对称式NAT不保证所有会话中的私有地址和公开IP之间绑定的一致性。相反,它为每个新的会话分配一个新的端口号。
第一种最为理想,基本就是无需打洞;
第四种最糟糕,根本就不能打洞。好消息就是这种net基本没有,很少。
所以关键是第二和第三种net类型。
因此打洞的本质就是利用net的特性“只有当内部主机先给IP地址为X的外部主机发送IP包,该外部主机才能向该内部主机发送IP包”
(3)实现步骤(各个实现可能都不一样)
我们先假设一下:有一个服务器S在公网上有一个IP,两个私网分别由NAT-A和NAT-B连接到公网,NAT-A后面有一台客户端A,NAT-B 后面有一台客户端B,现在,我们需要借助S将A和B建立直接的TCP连接,即由B向A打一个洞,让A可以沿这个洞直接连接到B主机,就好像NAT-B不存在一样。
实现过程如下:
1、 S启动两个网络侦听,一个叫【主连接】侦听,一个叫【协助打洞】的侦听。
2、 A和B分别与S的【主连接】保持联系。
3、 当A需要和B建立直接的TCP连接时,首先连接S的【协助打洞】端口,并发送协助连接申请。同时在该端口号上启动侦听(保证net类型3也能成功)。注意由于要在相同的网络终端上绑定到不同的套接字上,所以必须为这些套接字设置 SO_REUSEADDR 属性(即允许重用),否则侦听会失败。
4、 S的【协助打洞】连接收到A的申请后通过【主连接】通知B,并将A经过NAT-A转换后的公网IP地址和端口等信息告诉B。
5、 B收到S的连接通知后首先与S的【协助打洞】端口连接,随便发送一些数据后立即断开,这样做的目的是让S能知道B经过NAT-B转换后的公网IP和端口号。
6、 B尝试与A的经过NAT-A转换后的公网IP地址和端口进行connect(这就是所谓“打洞”),根据不同的路由器会有不同的结果,有些路由器在这个操作就能建立连接(例如我用的TPLink R402),大多数路由器对于不请自到的SYN请求包直接丢弃而导致connect失败,但NAT-A会纪录此次连接的源地址和端口号,为接下来真正的连接做好了准备,这就是所谓的打洞,即B向A打了一个洞,下次A就能直接连接到B刚才使用的端口号了。
7、 客户端B打洞的同时在相同的端口上启动侦听。B在一切准备就绪以后通过与S的【主连接】回复消息“我已经准备好”,S在收到以后将B经过NAT-B转换后的公网IP和端口号告诉给A。
8、 A收到S回复的B的公网IP和端口号等信息以后,开始连接到B公网IP和端口号,由于在步骤6中B曾经尝试连接过A的公网IP地址和端口,NAT-A纪录 了此次连接的信息,所以当A主动连接B时,NAT-B会认为是合法的SYN数据,并允许通过,从而直接的TCP连接建立起来了。
(4)让内网主机做服务器
以上的应用主要在于做p2p软件,如果我们想用家里的电脑,做服务器,是不需要这项技术(“打洞”)的,应为我们可以把路由器设置为net1型,可以直接设置端口映射:
但还是需要一个外网固定ip的服务器来负责通知其他客服端,因为拨号时得到的ip(这其实也是外网ip,就是其他的计算机可以直接访问你的)每次还是变化的。
相关文章内容简介
1 爬虫数据不可缺少是爬虫代理ip
爬虫数据不可缺少的工具就是爬虫代理ip,爬虫数据大家都已经不再陌生,就是通过爬虫技术,对目标网站的数据爬取,这样可以根据目标网站的数据,来调整自己的工作。爬虫数据不可缺少的工具就是爬虫代理。 爬虫在抓取的数据的时候,速度会很快,正式因为爬虫的速度太快,可能会导致一个IP访问过于频繁,这时对方网站就会有反爬虫技术,直接被检测出来,出现验证或者直接封IP的情况。出现这种情况后,就给爬虫工作带来了很大的困扰。 这时爬虫代理就是尤为重要,代理可以隐藏真是的IP,让对方网站服务器认为是我们自己的真实请求。在爬取数据的过程中,可以使用爬虫代理不断更换IP,这样就不会出现IP被封的情况了,达到很好的爬取效果。 爬虫代理在选择的时候也要多多挑选,因为爬虫的特殊性,所以找到效果好、合适的代理才能更好的完成工作。万变ip代理海量IP在线,多城市IP覆盖,更换IP速度快,可用率高达97%,是爬虫工作人员的最佳选择。... [阅读全文]
2 自动化的爬虫代理ip是什么意思?
自动化的爬虫代理ip是什么意思?如今很多人对于很多现代化的平台并不是十分信任,总觉得通过自己手动操作看到平台运行过程才能够更加放心。这种人虽然对工作更加负责,但是却更浪费时间。根据研究表明,人们在使用了万变代理ip资源之后,这种操作的速度明显比手动操作速度快了很多倍,节约了时间的同时还为工作创造更多的效益。 万变代理ip资源是代理资源的一种,它换高质量ip地址。和普通的爬虫代理平台相比,它的价格更适合普通大众,同时转化到了ip地址质量也更好。 万变代理ip资源的研发团队在研发的过程中,这已经无数次的测试了手动操作和自动操作之间的差别,得出的结果无一不是自动的更受人们欢迎。... [阅读全文]
推荐阅读
02
2020-04
高匿代理IP应用
一般来说,每一大城市的营运商常有自身与众不同的 IP 段(通称DNS),承担全省所管范围之内的IP。全透明代理商代表手机客户端不清楚有服务器代理,但传送依然应用真正IP,它是沒有多实用
16
2020-11
爱加速如何查看本机的公网IP和局域网IP
万变的API代理IP(通过API接口获取代理IP出来使用,简称API代理IP)在使用前需要进行授权,如果选择终端IP授权,则需要绑定使用代理的终端的公网IP进行授权。
12
2020-03
网络爬虫怎么通过代理IP安全爬取信息?
我们知道,网络爬虫是一种按照一定的规则,自动地抓取网站信息的程序或者脚本。那么,我们怎么通过网络爬虫获取所需要的网站信息呢?
06
2020-11
Python爬虫如何伪装成用户?
在 Python爬虫 抓取数据时,我们很容易被目标网站限制访问,这是目标网站阻止别人批量获取自己网站信息的一种方式,通常会采用封 IP 作为终极手段,效果非常好。针对此类情况,作为Python爬
01
2020-07
什么是代理IP私人定制IP?
代理IP套餐有很多,当有特殊业务的时候,普通套餐没办法满足自己,找其他适合的代理费时又费力该怎么办呢。很多代理IP服务商嗅到商机,推出了可以根据客户需求定制的私人定制IP。那么什
22
2020-12
如何选择合适的国内代理ip?
如何选择合适的国内 代理ip地址 地址?实际上,如何选择适合自己的国内代理ip地址,主要可分为以下几个方面:费用预算:想来大多数企业在做新项目的时候都是会有费用预算的,提前准备好
热门文章
因为专业! 所以简单! 产品至上,价格实惠 是我们服务追求的宗旨
免费试用