本章我将和大家谈谈关于应用层协议 ---- HTTP之前我们谈论过了关于传输层 --- TCP网络层 --- IP而HTTP对于我们程序员来说是更为重要的因为他是我们今后常常会打交道的~~~HTTP也称为超文本传输协议HTTP在传输层主要依赖的是TCP协议但是从HTTP3.0开始后就切换到UDP协议1.HTTP应用场景2.抓包工具 --- Fiddle3.HTTP请求和响应4.URL5.query string6.URLencode7.HTTP中的方法8.GET和POST的区别9.HOST10.Content-Length11.Content-Type12.User-Agent13.Referer14.Cookie15.状态码HTTP的应用场景1.Web开发网页前端和服务器后端之间的通信2.移动端app开发和服务器后端之间的通信3.分布式系统的服务器之间的调用抓包工具 --- Fiddle通过Fiddle抓包工具读取网卡的内容从而让我们可以看到当前请求和响应的数据~~~Fiddle下载连接https://www.telerik.com/fiddler/fiddler-classic当我们打开Fiddle的时候即使我们不操作任何的页面电脑上也可能运行很多程序这些程序都会访问他们的服务器这些都会被Fiddle抓包抓到当我们通过浏览器访问一个网站的时候就可以从Fiddle看到抓包比如我们访问bilibili网站HTTP请求和响应请求由首行请求报头空行正文组成正文可能会被省略通过抓包工具查看首行请求报头有若干行每一行都是一个键值对键值对都是有特殊的含义是HTTP协议规定好了的键和值之间通过空格 来进行分割遇到空行说明请求报头部分结束正文部分可能会被省略响应由首行响应报头空行正文组成通过抓包工具可以看到响应的首行响应报头有若干行每一行都是一个键值对键和值之间通过空格 进行分割每个键值对也有特殊的含义空行作为响应报头的结束标志正文部分也可以通过抓包工具查看URLURL也被称为唯一资源定位符标识一个网络上的资源位置说白了就是网址服务器IP/域名这里是IP地址其实更常见的是域名如果填写成IP地址也是可以的资源路径通过IP确定主机通过端口号确定程序但是一个服务器程序可能会有很多资源如HTMLCSSJS图片音频...为了让服务器管理方便就可能按照一定的目录结构来组织。查询字符串 query stringquery string也是键值对结构的数据。使用 分割键值对 分割键和值注意报头中的键值对都是HTTP协议规定好的而query string中的键值对是程序员自定义的URLencode协议名//IP地址.端口号/带层次的路径查询字符串其中查询字符串包含程序员自己定义的键值对的数据对于query string 来说有时候需要进行encode转码因为URL中包含很多特殊符号都是有特殊含义的只要是标点符号或者中文字符都是需要进行转义的因为一个中文包含很多个字节就害怕其中的某一个字节和ASCII中的某个特殊符号一样就完蛋了~~~~那么如何进行转义呢把要转义的内容将每个字节都拿出来是用十六进制表示每个字节前面加上%比如在ASCII中是2B那么转义后就是%2B不孕不育这四个中文每一个中文有三个字节然后将每个字节前面加上%就可以将不孕不育这四个中文转义为一串字符串了HTTP中的方法方法是请求中的一个部分是一个动词表示这个请求将要做什么样的动作GET获取我将要从服务器上获取某个资源POST投递我将要把xxx数据往服务器上发送PUT放过去也是将xxx数据往服务器上发送DELETE删除我将要删除服务器上的xxx数据GET方法对于GET请求来说通常情况下是没有body的也可以有body但是很少~~~~body就是放程序员自定义的数据GET是从服务器中获取一个数据到底拿哪个数据通过URL路径知道有啥要求通过URL中的query string知道POST方法POST请求一般都是有正文的当然也可以完全没有~~~俩个场景非常容易出现POST1.登录场景2.传输文件场景POST请求正文GET和POST的区别其实GET和POST没有本质上的区别可以使用GET的也可以使用POST区别一GET通常用来表示 “数据获取” 语义POST通常用来表示 “提交数据” 语义区别二GET通常把给服务器传递的数据放到query string中POST通常放在body中但是关于一些说法是有歧义的~~~1GET请求一般是实现 “幂等”POST请求没有 “幂等” 要求幂等在计算机中的含义如果某个请求重复产生之后结果是明确的就可以认为是幂等吃进去的是青草挤出来的是羊奶~~~(明确)反之如果这个请求重复产生之后结果不明确就认为不是幂等。HTTP RFC标准文档中意思是建议把GET实现成幂等。但是很多程序员并未遵守~~比如我们浏览哔哩哔哩网站但我们刷新时内容是不同的所以不是幂等2GET请求不安全POST请求更安全错误结论我们以登录为例GET实现登录用户名和密码出现在URL的query string中就会显示在浏览器地址栏里POST实现登录用户名和密码在body中不会显示在浏览器地地址栏里但是如果用户名和密码不进行加密即使黑客进行抓包照样可以抓到~~~3GET请求单次传输的数据量比较小POST请求单次传输的数据量更大不准确这个结论其实是上古时期的上古时期IE浏览器对URL的长度有限制1KB2KB10KB...但是现在的URL长度可以很长4针对GET请求只能传输文本数据POST可以传输文本和二进制数据不准确针对二进制数据可以通过urlencode/base64 转为文本通过GET的URL进行传输HOST ---- 表示服务器主机的地址和端口当我们在浏览器打开gitee通过Fiddle抓包得到的数据Content-Length ---- 表示body中的数据长度单位字节比如Content-Length1008611标识了body长度为1008611字节~~~Content-Type ---- 表示请求的body中的数据格式Conten-Type 描述了body的数据格式告诉服务器/浏览器如何理解这里面的数据~~对于浏览器来说如果是html就按照html的规则进行解析渲染成网页的骨架如果是css就按照css的规则进行解析渲染成网页的样式如果是javascript就执行JavaScript中的逻辑如果是json浏览器一般不主动处理由浏览器中的js代码来进行负责处理如果是图片浏览器直接按照图片的格式显示当我们在浏览器打开gitee通过Fiddle抓包得到的数据Content-Type常见的取值1text/html2text/css3application/javascript4application/json5image/jpg6image/png7text/plainUser-Agent简称UA通过修改UA的方式我们就可以在手机上查看到PC端的网页在PC端也可以看到手机端的网页PC端的搜狗网页修改UA使我们在PC端可以查看到手机端的搜狗网页Referer --- 表示这个界面是从哪个界面跳转过来的当我们打开搜狗网页搜索哔哩哔哩的时候我们跳转到对应的页面我们通过抓包可以看到哔哩哔哩这个页面是从哪里跳转过来的~~为什么需要记录这个页面是从哪里跳转过来的呢其实很多搜索引擎都有广告产商当我们点击广告的时候就会跳转到对应的广告页面这时候就需要记录这个广告是从哪里跳转过来的百度搜狗....这样才能区分好最后广告产生的利益也才不会乱哪个搜索引擎跳转多少次广告才不会乱了。Cookie ---- 浏览器提供本地存储数据的机制cookie是一系列的键值对每个键值对之间使用进行分割键和值之间使用进行分割关于键值对的内容是程序员自己定义的~~~~cookie的用途是浏览器本地储存数据的一种机制。我们一般谈到的本地存储是存储在硬盘里面的但是浏览器无法访问硬盘因为一些网页可能包含一些有风险的代码恶意的代码会攻击到我们的电脑是非常危险的~~~但是浏览器还是给我们开了一条通道允许提供一些机制使得浏览器可以访问硬盘但是有了一定的限制。浏览器提供的本地存储数据的机制CookieCookie有啥用浏览器给网页提供本存储数据的方案Cookie从哪里来服务器返回的Cookie怎么存储按照键值对方式来存储根据域名维度进行划分每个域名下都有自己的cookieCookie到哪里去本地存储之后访问同一个域名的网站就会把Cookie的内容通过请求报头发送给服务器Cookie的一个重要的用途用来保存用户登录的账户和密码的数据~~~~状态码1.2xx --- 表示成功状态码2.3xx --- 表示重定向状态码它们都告诉浏览器或搜索引擎“你要访问的这个页面不在原来的地方了去新的地址找吧~~~301 --- 永久重定向资源已经被永久移动到了新的 URL。原有的 URL 已经失效将来也不应该再访问了浏览器缓存 浏览器会记住这个重定向。下次用户再输入旧网址时浏览器可能根本不会去问服务器而是直接跳转到新网址适用场景网站更换域名如从example.com换到new-example.com。网页 URL 结构调整如从/blog/p123变成/blog/my-article。将http流量永久强制跳转到https302 --- 临时重定向源暂时被移动到了新的 URL。原来的 URL 还是有效的未来可能还会用回来~~~浏览器缓存 浏览器通常不会缓存这个重定向除非专门设置了缓存头。每次用户访问旧网址浏览器都会先去问服务器“我现在去哪”服务器说“今天先去新地址 B 吧。适用场景网站维护期间临时把用户引导到一个“维护中”的页面。根据用户的地理位置或设备临时跳转到特定版本的页面如 PC 端跳到移动端。A/B 测试一部分用户看页面 A一部分看页面 B。登录页跳转未登录用户访问主页临时跳到登录页登录后跳回。3.4xx --- 表示客户端错误状态码404Not Fount --- 访问的该资源在服务器上不存在403Forbidden--- 拒绝访问访问的页面无权限访问比如别人的私有仓库啥的405Method Not Allowed--- 服务器不支持这个方法4.5xx --- 表示服务器错误状态码500Internal Server Error--- 服务器挂了504Gateway Timeout ---- 服务器繁忙服务器网关出现问题
本章我将和大家谈谈关于应用层协议 ---- HTTP之前我们谈论过了关于传输层 --- TCP网络层 --- IP而HTTP对于我们程序员来说是更为重要的因为他是我们今后常常会打交道的~~~HTTP也称为超文本传输协议HTTP在传输层主要依赖的是TCP协议但是从HTTP3.0开始后就切换到UDP协议1.HTTP应用场景2.抓包工具 --- Fiddle3.HTTP请求和响应4.URL5.query string6.URLencode7.HTTP中的方法8.GET和POST的区别9.HOST10.Content-Length11.Content-Type12.User-Agent13.Referer14.Cookie15.状态码HTTP的应用场景1.Web开发网页前端和服务器后端之间的通信2.移动端app开发和服务器后端之间的通信3.分布式系统的服务器之间的调用抓包工具 --- Fiddle通过Fiddle抓包工具读取网卡的内容从而让我们可以看到当前请求和响应的数据~~~Fiddle下载连接https://www.telerik.com/fiddler/fiddler-classic当我们打开Fiddle的时候即使我们不操作任何的页面电脑上也可能运行很多程序这些程序都会访问他们的服务器这些都会被Fiddle抓包抓到当我们通过浏览器访问一个网站的时候就可以从Fiddle看到抓包比如我们访问bilibili网站HTTP请求和响应请求由首行请求报头空行正文组成正文可能会被省略通过抓包工具查看首行请求报头有若干行每一行都是一个键值对键值对都是有特殊的含义是HTTP协议规定好了的键和值之间通过空格 来进行分割遇到空行说明请求报头部分结束正文部分可能会被省略响应由首行响应报头空行正文组成通过抓包工具可以看到响应的首行响应报头有若干行每一行都是一个键值对键和值之间通过空格 进行分割每个键值对也有特殊的含义空行作为响应报头的结束标志正文部分也可以通过抓包工具查看URLURL也被称为唯一资源定位符标识一个网络上的资源位置说白了就是网址服务器IP/域名这里是IP地址其实更常见的是域名如果填写成IP地址也是可以的资源路径通过IP确定主机通过端口号确定程序但是一个服务器程序可能会有很多资源如HTMLCSSJS图片音频...为了让服务器管理方便就可能按照一定的目录结构来组织。查询字符串 query stringquery string也是键值对结构的数据。使用 分割键值对 分割键和值注意报头中的键值对都是HTTP协议规定好的而query string中的键值对是程序员自定义的URLencode协议名//IP地址.端口号/带层次的路径查询字符串其中查询字符串包含程序员自己定义的键值对的数据对于query string 来说有时候需要进行encode转码因为URL中包含很多特殊符号都是有特殊含义的只要是标点符号或者中文字符都是需要进行转义的因为一个中文包含很多个字节就害怕其中的某一个字节和ASCII中的某个特殊符号一样就完蛋了~~~~那么如何进行转义呢把要转义的内容将每个字节都拿出来是用十六进制表示每个字节前面加上%比如在ASCII中是2B那么转义后就是%2B不孕不育这四个中文每一个中文有三个字节然后将每个字节前面加上%就可以将不孕不育这四个中文转义为一串字符串了HTTP中的方法方法是请求中的一个部分是一个动词表示这个请求将要做什么样的动作GET获取我将要从服务器上获取某个资源POST投递我将要把xxx数据往服务器上发送PUT放过去也是将xxx数据往服务器上发送DELETE删除我将要删除服务器上的xxx数据GET方法对于GET请求来说通常情况下是没有body的也可以有body但是很少~~~~body就是放程序员自定义的数据GET是从服务器中获取一个数据到底拿哪个数据通过URL路径知道有啥要求通过URL中的query string知道POST方法POST请求一般都是有正文的当然也可以完全没有~~~俩个场景非常容易出现POST1.登录场景2.传输文件场景POST请求正文GET和POST的区别其实GET和POST没有本质上的区别可以使用GET的也可以使用POST区别一GET通常用来表示 “数据获取” 语义POST通常用来表示 “提交数据” 语义区别二GET通常把给服务器传递的数据放到query string中POST通常放在body中但是关于一些说法是有歧义的~~~1GET请求一般是实现 “幂等”POST请求没有 “幂等” 要求幂等在计算机中的含义如果某个请求重复产生之后结果是明确的就可以认为是幂等吃进去的是青草挤出来的是羊奶~~~(明确)反之如果这个请求重复产生之后结果不明确就认为不是幂等。HTTP RFC标准文档中意思是建议把GET实现成幂等。但是很多程序员并未遵守~~比如我们浏览哔哩哔哩网站但我们刷新时内容是不同的所以不是幂等2GET请求不安全POST请求更安全错误结论我们以登录为例GET实现登录用户名和密码出现在URL的query string中就会显示在浏览器地址栏里POST实现登录用户名和密码在body中不会显示在浏览器地地址栏里但是如果用户名和密码不进行加密即使黑客进行抓包照样可以抓到~~~3GET请求单次传输的数据量比较小POST请求单次传输的数据量更大不准确这个结论其实是上古时期的上古时期IE浏览器对URL的长度有限制1KB2KB10KB...但是现在的URL长度可以很长4针对GET请求只能传输文本数据POST可以传输文本和二进制数据不准确针对二进制数据可以通过urlencode/base64 转为文本通过GET的URL进行传输HOST ---- 表示服务器主机的地址和端口当我们在浏览器打开gitee通过Fiddle抓包得到的数据Content-Length ---- 表示body中的数据长度单位字节比如Content-Length1008611标识了body长度为1008611字节~~~Content-Type ---- 表示请求的body中的数据格式Conten-Type 描述了body的数据格式告诉服务器/浏览器如何理解这里面的数据~~对于浏览器来说如果是html就按照html的规则进行解析渲染成网页的骨架如果是css就按照css的规则进行解析渲染成网页的样式如果是javascript就执行JavaScript中的逻辑如果是json浏览器一般不主动处理由浏览器中的js代码来进行负责处理如果是图片浏览器直接按照图片的格式显示当我们在浏览器打开gitee通过Fiddle抓包得到的数据Content-Type常见的取值1text/html2text/css3application/javascript4application/json5image/jpg6image/png7text/plainUser-Agent简称UA通过修改UA的方式我们就可以在手机上查看到PC端的网页在PC端也可以看到手机端的网页PC端的搜狗网页修改UA使我们在PC端可以查看到手机端的搜狗网页Referer --- 表示这个界面是从哪个界面跳转过来的当我们打开搜狗网页搜索哔哩哔哩的时候我们跳转到对应的页面我们通过抓包可以看到哔哩哔哩这个页面是从哪里跳转过来的~~为什么需要记录这个页面是从哪里跳转过来的呢其实很多搜索引擎都有广告产商当我们点击广告的时候就会跳转到对应的广告页面这时候就需要记录这个广告是从哪里跳转过来的百度搜狗....这样才能区分好最后广告产生的利益也才不会乱哪个搜索引擎跳转多少次广告才不会乱了。Cookie ---- 浏览器提供本地存储数据的机制cookie是一系列的键值对每个键值对之间使用进行分割键和值之间使用进行分割关于键值对的内容是程序员自己定义的~~~~cookie的用途是浏览器本地储存数据的一种机制。我们一般谈到的本地存储是存储在硬盘里面的但是浏览器无法访问硬盘因为一些网页可能包含一些有风险的代码恶意的代码会攻击到我们的电脑是非常危险的~~~但是浏览器还是给我们开了一条通道允许提供一些机制使得浏览器可以访问硬盘但是有了一定的限制。浏览器提供的本地存储数据的机制CookieCookie有啥用浏览器给网页提供本存储数据的方案Cookie从哪里来服务器返回的Cookie怎么存储按照键值对方式来存储根据域名维度进行划分每个域名下都有自己的cookieCookie到哪里去本地存储之后访问同一个域名的网站就会把Cookie的内容通过请求报头发送给服务器Cookie的一个重要的用途用来保存用户登录的账户和密码的数据~~~~状态码1.2xx --- 表示成功状态码2.3xx --- 表示重定向状态码它们都告诉浏览器或搜索引擎“你要访问的这个页面不在原来的地方了去新的地址找吧~~~301 --- 永久重定向资源已经被永久移动到了新的 URL。原有的 URL 已经失效将来也不应该再访问了浏览器缓存 浏览器会记住这个重定向。下次用户再输入旧网址时浏览器可能根本不会去问服务器而是直接跳转到新网址适用场景网站更换域名如从example.com换到new-example.com。网页 URL 结构调整如从/blog/p123变成/blog/my-article。将http流量永久强制跳转到https302 --- 临时重定向源暂时被移动到了新的 URL。原来的 URL 还是有效的未来可能还会用回来~~~浏览器缓存 浏览器通常不会缓存这个重定向除非专门设置了缓存头。每次用户访问旧网址浏览器都会先去问服务器“我现在去哪”服务器说“今天先去新地址 B 吧。适用场景网站维护期间临时把用户引导到一个“维护中”的页面。根据用户的地理位置或设备临时跳转到特定版本的页面如 PC 端跳到移动端。A/B 测试一部分用户看页面 A一部分看页面 B。登录页跳转未登录用户访问主页临时跳到登录页登录后跳回。3.4xx --- 表示客户端错误状态码404Not Fount --- 访问的该资源在服务器上不存在403Forbidden--- 拒绝访问访问的页面无权限访问比如别人的私有仓库啥的405Method Not Allowed--- 服务器不支持这个方法4.5xx --- 表示服务器错误状态码500Internal Server Error--- 服务器挂了504Gateway Timeout ---- 服务器繁忙服务器网关出现问题
)
