HTTP协议具体解释

引言                                        

HTTP是一个属于应用层的面向对象的协议。因为其简捷、高速的方式。适用于分布式超媒体信息系统。它于1990年提出。经过几年的使用与发展。得到不断地完好和扩展。眼下在WWW中使用的是HTTP/1.0的第六版，HTTP/1.1的规范化工作正在进行之中，并且HTTP-NG(Next Generation of HTTP)的建议已经提出。

HTTP协议的主要特点可概括例如以下：
1.支持客户/server模式。

2.简单高速：客户向server请求服务时。仅仅需传送请求方法和路径。请求方法经常使用的有GET、HEAD、POST。每种方法规定了客户与server联系的类型不同。

因为HTTP协议简单，使得HTTPserver的程序规模小。因而通信速度非常快。

3.灵活：HTTP同意传输随意类型的数据对象。

正在传输的类型由Content-Type加以标记。
4.无连接：无连接的含义是限制每次连接仅仅处理一个请求。server处理完客户的请求。并收到客户的应答后。即断开连接。

採用这样的方式能够节省传输时间。

5.无状态：HTTP协议是无状态协议。无状态是指协议对于事务处理没有记忆能力。

缺少状态意味着假设兴许处理须要前面的信息，则它必须重传，这样可能导致每次连接传送的数据量增大。还有一方面，在server不须要先前信息时它的应答就较快。

一、HTTP协议具体解释之URL篇

    http（超文本传输协议）是一个基于请求与响应模式的、无状态的、应用层的协议，常基于TCP的连接方式，HTTP1.1版本号中给出一种持续连接的机制，绝大多数的Web开发。都是构建在HTTP协议之上的Web应用。

HTTP URL (URL是一种特殊类型的URI，包括了用于查找某个资源的足够的信息)的格式例如以下：
http://host[“:”port][abs_path]
http表示要通过HTTP协议来定位网络资源；host表示合法的Internet主机域名或者IP地址；port指定一个port号。为空则使用缺省port80。abs_path指定请求资源的URI。假设URL中没有给出abs_path，那么当它作为请求URI时。必须以“/”的形式给出，通常这个工作浏览器自己主动帮我们完毕。
eg:
1、输入：www.guet.edu.cn
浏览器自己主动转换成：http://www.guet.edu.cn/
2、http:192.168.0.116:8080/index.jsp 

二、HTTP协议具体解释之请求篇

    http请求由三部分组成，各自是：请求行、消息报头、请求正文

1、请求行以一个方法符号开头，以空格分开，后面跟着请求的URI和协议的版本号，格式例如以下：Method Request-URI HTTP-Version CRLF  
当中 Method表示请求方法；Request-URI是一个统一资源标识符；HTTP-Version表示请求的HTTP协议版本号；CRLF表示回车和换行（除了作为结尾的CRLF外。不同意出现单独的CR或LF字符）。

请求方法（全部方法全为大写）有多种，各个方法的解释例如以下：
GET     请求获取Request-URI所标识的资源
POST    在Request-URI所标识的资源后附加新的数据
HEAD    请求获取由Request-URI所标识的资源的响应消息报头
PUT     请求server存储一个资源。并用Request-URI作为其标识
DELETE  请求server删除Request-URI所标识的资源
TRACE   请求server回送收到的请求信息。主要用于測试或诊断
CONNECT 保留将来使用
OPTIONS 请求查询server的性能。或者查询与资源相关的选项和需求
应用举例：
GET方法：在浏览器的地址栏中输入网址的方式訪问网页时，浏览器採用GET方法向server获取资源，eg:GET /form.html HTTP/1.1 (CRLF)

POST方法要求被请求server接受附在请求后面的数据。经常使用于提交表单。

eg：POST /reg.jsp HTTP/ (CRLF)
Accept:image/gif,image/x-xbit,… (CRLF)
…
HOST:www.guet.edu.cn (CRLF)
Content-Length:22 (CRLF)
Connection:Keep-Alive (CRLF)
Cache-Control:no-cache (CRLF)
(CRLF)         //该CRLF表示消息报头已经结束。在此之前为消息报头
user=jeffrey&pwd=1234  //此行下面为提交的数据

HEAD方法与GET方法差点儿是一样的，对于HEAD请求的回应部分来说。它的HTTP头部中包括的信息与通过GET请求所得到的信息是同样的。

利用这种方法，不必传输整个资源内容，就能够得到Request-URI所标识的资源的信息。该方法经常使用于測试超链接的有效性，能否够訪问，以及近期是否更新。
2、请求报头后述
3、请求正文(略) 

三、HTTP协议具体解释之响应篇

    在接收和解释请求消息后，server返回一个HTTP响应消息。

HTTP响应也是由三个部分组成，各自是：状态行、消息报头、响应正文
1、状态行格式例如以下：
HTTP-Version Status-Code Reason-Phrase CRLF
当中。HTTP-Version表示serverHTTP协议的版本号；Status-Code表示server发回的响应状态代码。Reason-Phrase表示状态代码的文本描写叙述。

状态代码有三位数字组成。第一个数字定义了响应的类别，且有五种可能取值：
1xx：指示信息–表示请求已接收。继续处理
2xx：成功–表示请求已被成功接收、理解、接受
3xx：重定向–要完毕请求必须进行更进一步的操作
4xx：client错误–请求有语法错误或请求无法实现
5xx：server端错误–server未能实现合法的请求
常见状态代码、状态描写叙述、说明：
200 OK      //client请求成功
400 Bad Request  //client请求有语法错误。不能被server所理解
401 Unauthorized //请求未经授权，这个状态代码必须和WWW-Authenticate报头域一起使用 
403 Forbidden  //server收到请求，可是拒绝提供服务
404 Not Found  //请求资源不存在。eg：输入了错误的URL
500 Internal Server Error //server发生不可预期的错误
503 Server Unavailable  //server当前不能处理client的请求。一段时间后可能恢复正常
eg：HTTP/1.1 200 OK （CRLF）

2、响应报头后述

3、响应正文就是server返回的资源的内容 

四、HTTP协议具体解释之消息报头篇

    HTTP消息由client到server的请求和server到client的响应组成。

请求消息和响应消息都是由開始行（对于请求消息，開始行就是请求行，对于响应消息，開始行就是状态行）。消息报头（可选）。空行（仅仅有CRLF的行）。消息正文（可选）组成。

HTTP消息报头包含普通报头、请求报头、响应报头、实体报头。
每个报头域都是由名字+“：”+空格+值 组成，消息报头域的名字是大写和小写无关的。

1、普通报头
在普通报头中。有少数报头域用于全部的请求和响应消息。但并不用于被传输的实体。仅仅用于传输的消息。
eg：
Cache-Control   用于指定缓存指令，缓存指令是单向的（响应中出现的缓存指令在请求中未必会出现）。且是独立的（一个消息的缓存指令不会影响还有一个消息处理的缓存机制），HTTP1.0使用的类似的报头域为Pragma。

请求时的缓存指令包含：no-cache（用于指示请求或响应消息不能缓存）、no-store、max-age、max-stale、min-fresh、only-if-cached;
响应时的缓存指令包含：public、private、no-cache、no-store、no-transform、must-revalidate、proxy-revalidate、max-age、s-maxage.
eg：为了指示IE浏览器（client）不要缓存页面，server端的JSP程序能够编写例如以下：response.sehHeader(“Cache-Control”,”no-cache”);
//response.setHeader(“Pragma”,”no-cache”);作用相当于上述代码，通常两者//合用
这句代码将在发送的响应消息中设置普通报头域：Cache-Control:no-cache

Date普通报头域表示消息产生的日期和时间

Connection普通报头域同意发送指定连接的选项。

比如指定连接是连续，或者指定“close”选项，通知server，在响应完毕后。关闭连接

2、请求报头
请求报头同意client向server端传递请求的附加信息以及client自身的信息。
经常使用的请求报头
Accept
Accept请求报头域用于指定client接受哪些类型的信息。

eg：Accept：image/gif，表明client希望接受GIF图象格式的资源；Accept：text/html，表明client希望接受html文本。

Accept-Charset
Accept-Charset请求报头域用于指定client接受的字符集。eg：Accept-Charset:iso-8859-1,gb2312.假设在请求消息中没有设置这个域。缺省是不论什么字符集都能够接受。
Accept-Encoding
Accept-Encoding请求报头域类似于Accept。可是它是用于指定可接受的内容编码。eg：Accept-Encoding:gzip.deflate.假设请求消息中没有设置这个域server假定client对各种内容编码都能够接受。
Accept-Language
Accept-Language请求报头域类似于Accept，可是它是用于指定一种自然语言。

eg：Accept-Language:zh-cn.假设请求消息中没有设置这个报头域，server假定client对各种语言都能够接受。
Authorization
Authorization请求报头域主要用于证明client有权查看某个资源。当浏览器訪问一个页面时，假设收到server的响应代码为401（未授权），能够发送一个包括Authorization请求报头域的请求，要求server对其进行验证。
Host（发送请求时。该报头域是必需的）
Host请求报头域主要用于指定被请求资源的Internet主机和port号，它通常从HTTP URL中提取出来的，eg：
我们在浏览器中输入：http://www.guet.edu.cn/index.html
浏览器发送的请求消息中。就会包括Host请求报头域，例如以下：
Host：www.guet.edu.cn
此处使用缺省port号80，若指定了port号，则变成：Host：www.guet.edu.cn:指定port号
User-Agent
我们上网登陆论坛的时候。往往会看到一些欢迎信息，当中列出了你的操作系统的名称和版本号，你所使用的浏览器的名称和版本号，这往往让非常多人感到非常奇妙，实际上，server应用程序就是从User-Agent这个请求报头域中获取到这些信息。

User-Agent请求报头域同意client将它的操作系统、浏览器和其他属性告诉server。

只是，这个报头域没必要的，假设我们自己编写一个浏览器，不使用User-Agent请求报头域，那么server端就无法得知我们的信息了。
请求报头举例：
GET /form.html HTTP/1.1 (CRLF)
Accept:image/gif,image/x-xbitmap,image/jpeg,application/x-shockwave-flash,application/vnd.ms-excel,application/vnd.ms-powerpoint,application/msword,*/* (CRLF)
Accept-Language:zh-cn (CRLF)
Accept-Encoding:gzip,deflate (CRLF)
If-Modified-Since:Wed,05 Jan 2007 11:21:25 GMT (CRLF)
If-None-Match:W/”80b1a4c018f3c41:8317″ (CRLF)
User-Agent:Mozilla/4.0(compatible;MSIE6.0;Windows NT 5.0) (CRLF)
Host:www.guet.edu.cn (CRLF)
Connection:Keep-Alive (CRLF)
(CRLF)

3、响应报头
响应报头同意server传递不能放在状态行中的附加响应信息，以及关于server的信息和对Request-URI所标识的资源进行下一步訪问的信息。
经常使用的响应报头
Location
Location响应报头域用于重定向接受者到一个新的位置。

Location响应报头域经常使用在更换域名的时候。
Server
Server响应报头域包括了server用来处理请求的软件信息。与User-Agent请求报头域是相相应的。

以下是
Server响应报头域的一个样例：
Server：Apache-Coyote/1.1
WWW-Authenticate
WWW-Authenticate响应报头域必须被包括在401（未授权的）响应消息中。client收到401响应消息时候。并发送Authorization报头域请求server对其进行验证时，服务端响应报头就包括该报头域。
eg：WWW-Authenticate:Basic realm=”Basic Auth Test!”  //能够看出server对请求资源採用的是基本验证机制。

4、实体报头
请求和响应消息都能够传送一个实体。

一个实体由实体报头域和实体正文组成。但并非说实体报头域和实体正文要在一起发送，能够仅仅发送实体报头域。实体报头定义了关于实体正文（eg：有无实体正文）和请求所标识的资源的元信息。
经常使用的实体报头
Content-Encoding
Content-Encoding实体报头域被用作媒体类型的修饰符，它的值指示了已经被应用到实体正文的附加内容的编码。因而要获得Content-Type报头域中所引用的媒体类型，必须採用对应的解码机制。Content-Encoding这样用于记录文档的压缩方法。eg：Content-Encoding：gzip
Content-Language
Content-Language实体报头域描写叙述了资源所用的自然语言。没有设置该域则觉得实体内容将提供给全部的语言阅读
者。eg：Content-Language:da
Content-Length
Content-Length实体报头域用于指明实体正文的长度。以字节方式存储的十进制数字来表示。
Content-Type
Content-Type实体报头域用语指明发送给接收者的实体正文的媒体类型。eg：
Content-Type:text/html;charset=ISO-8859-1
Content-Type:text/html;charset=GB2312
Last-Modified
Last-Modified实体报头域用于指示资源的最后改动日期和时间。
Expires
Expires实体报头域给出响应过期的日期和时间。为了让代理server或浏览器在一段时间以后更新缓存中(再次訪问曾訪问过的页面时。直接从缓存中载入，缩短响应时间和减少server负载)的页面，我们能够使用Expires实体报头域指定页面过期的时间。eg：Expires：Thu，15 Sep 2006 16:23:12 GMT
HTTP1.1的client和缓存必须将其它非法的日期格式（包含0）看作已经过期。

eg：为了让浏览器不要缓存页面，我们也能够利用Expires实体报头域，设置为0。jsp中程序例如以下：response.setDateHeader(“Expires”,”0″);

五、利用telnet观察http协议的通讯过程

    实验目的及原理：
    利用MS的telnet工具，通过手动输入http请求信息的方式，向server发出请求，server接收、解释和接受请求后，会返回一个响应，该响应会在telnet窗体上显示出来，从而从感性上加深对http协议的通讯过程的认识。

    实验步骤：

1、打开telnet
1.1 打开telnet
执行–>cmd–>telnet

1.2 打开telnet回显功能
set localecho

2、连接server并发送请求
2.1 open www.guet.edu.cn 80  //注意port号不能省略

    HEAD /index.asp HTTP/1.0
    Host:www.guet.edu.cn
    
   /*我们能够变换请求方法,请求桂林电子主页内容,输入消息例如以下*/
    open www.guet.edu.cn 80 
   
    GET /index.asp HTTP/1.0  //请求资源的内容
    Host:www.guet.edu.cn  

2.2 open www.sina.com.cn 80  //在命令提示符号下直接输入telnet www.sina.com.cn 80
    HEAD /index.asp HTTP/1.0
    Host:www.sina.com.cn
 

3 实验结果：

3.1 请求信息2.1得到的响应是:

HTTP/1.1 200 OK                                              //请求成功
Server: Microsoft-IIS/5.0                                    //webserver
Date: Thu,08 Mar 200707:17:51 GMT
Connection: Keep-Alive                                 
Content-Length: 23330
Content-Type: text/html
Expries: Thu,08 Mar 2007 07:16:51 GMT
Set-Cookie: ASPSESSIONIDQAQBQQQB=BEJCDGKADEDJKLKKAJEOIMMH; path=/
Cache-control: private

//资源内容省略

3.2 请求信息2.2得到的响应是:

HTTP/1.0 404 Not Found       //请求失败
Date: Thu, 08 Mar 2007 07:50:50 GMT
Server: Apache/2.0.54 <Unix>
Last-Modified: Thu, 30 Nov 2006 11:35:41 GMT
ETag: “6277a-415-e7c76980”
Accept-Ranges: bytes
X-Powered-By: mod_xlayout_jh/0.0.1vhs.markII.remix
Vary: Accept-Encoding
Content-Type: text/html
X-Cache: MISS from zjm152-78.sina.com.cn
Via: 1.0 zjm152-78.sina.com.cn:80<squid/2.6.STABLES-20061207>
X-Cache: MISS from th-143.sina.com.cn
Connection: close

失去了跟主机的连接

按随意键继续…

4 .注意事项：1、出现输入错误，则请求不会成功。
          2、报头域不分大写和小写。

          3、更深一步了解HTTP协议，能够查看RFC2616，在http://www.letf.org/rfc上找到该文件。

          4、开发后台程序必须掌握http协议

六、HTTP协议相关技术补充

    1、基础：
    高层协议有：文件传输协议FTP、电子邮件传输协议SMTP、域名系统服务DNS、网络新闻传输协议NNTP和HTTP协议等
中介由三种：代理(Proxy)、网关(Gateway)和通道(Tunnel)，一个代理依据URI的绝对格式来接受请求，重写所有或部分消息，通过 URI的标识把已格式化过的请求发送到server。

网关是一个接收代理，作为一些其他server的上层，而且假设必须的话，能够把请求翻译给下层的server协议。一 个通道作为不改变消息的两个连接之间的中继点。当通讯须要通过一个中介(比如：防火墙等)或者是中介不能识别消息的内容时。通道常常被使用。
     代理(Proxy)：一个中间程序，它能够充当一个server，也能够充当一个客户机，为其他客户机建立请求。

请求是通过可能的翻译在内部或经过传递到其他的 server中。

一个代理在发送请求信息之前。必须解释而且假设可能重写它。代理常常作为通过防火墙的客户机端的门户，代理还能够作为一个帮助应用来通过协议处 理没有被用户代理完毕的请求。

网关(Gateway)：一个作为其他server中间媒介的server。与代理不同的是，网关接受请求就好象对被请求的资源来说它就是源server。发出请求的客户机并没有意识到它在同网关打交道。
网关常常作为通过防火墙的server端的门户，网关还能够作为一个协议翻译器以便存取那些存储在非HTTP系统中的资源。

    通道(Tunnel)：是作为两个连接中继的中介程序。

一旦激活，通道便被觉得不属于HTTP通讯。虽然通道可能是被一个HTTP请求初始化的。

当被中继 的连接两端关闭时。通道便消失。当一个门户(Portal)必须存在或中介(Intermediary)不能解释中继的通讯时通道被常常使用。

2、协议分析的优势—HTTP分析器检測网络攻击
以模块化的方式对高层协议进行分析处理，将是未来入侵检測的方向。

HTTP及其代理的经常使用端口80、3128和8080在network部分用port标签进行了规定

3、HTTP协议Content Lenth限制漏洞导致拒绝服务攻击
使用POST方法时。能够设置ContentLenth来定义须要传送的数据长度。比如ContentLenth:999999999。在传送完毕前，内 存不会释放，攻击者能够利用这个缺陷，连续向WEBserver发送垃圾数据直至WEBserver内存耗尽。

这样的攻击方法基本不会留下痕迹。
http://www.cnpaf.net/Class/HTTP/0532918532667330.html

4、利用HTTP协议的特性进行拒绝服务攻击的一些构思
server端忙于处理攻击者伪造的TCP连接请求而无暇理睬客户的正常请求（毕竟client的正常请求比率很之小），此时从正常客户的角度看来。server失去响应，这样的情况我们称作：server端受到了SYNFlood攻击（SYN洪水攻击）。

而Smurf、TearDrop等是利用ICMP报文来Flood和IP碎片攻击的。本文用“正常连接”的方法来产生拒绝服务攻击。

19port在早期已经有人用来做Chargen攻击了，即Chargen_Denial_of_Service，可是！他们用的方法是在两台Chargen server之间产生UDP连接，让server处理过多信息而DOWN掉。那么，干掉一台WEBserver的条件就必须有2个：1.有Chargen服务2.有HTTP 服务
方法：攻击者伪造源IP给N台Chargen发送连接请求（Connect），Chargen接收到连接后就会返回每秒72字节的字符流（实际上依据网络实际情况，这个速度更快）给server。

5、Http指纹识别技术
   Http指纹识别的原理大致上也是同样的：记录不同server对Http协议运行中的微小区别进行识别.Http指纹识别比TCP/IP堆栈指纹识别复杂许 多,理由是定制Httpserver的配置文件、添加插件或组件使得更改Http的响应信息变的非常easy,这样使得识别变的困难；然而定制TCP/IP堆栈的行为 须要对核心层进行改动,所以就easy识别.
      要让server返回不同的Banner信息的设置是非常easy的,象Apache这种开放源码的Httpserver,用户能够在源码里改动Banner信息,然 后重起Http服务就生效了；对于没有公开源码的Httpserver比方微软的IIS或者是Netscape,能够在存放Banner信息的Dll文件里修 改,相关的文章有讨论的,这里不再赘述,当然这种改动的效果还是不错的.第二种模糊Banner信息的方法是使用插件。

经常使用測试请求：
1：HEAD/Http/1.0发送主要的Http请求
2：DELETE/Http/1.0发送那些不被同意的请求,比方Delete请求
3：GET/Http/3.0发送一个非法版本号的Http协议请求
4：GET/JUNK/1.0发送一个不对规格的Http协议请求
Http指纹识别工具Httprint,它通过运用统计学原理,组合模糊的逻辑学技术,能非常有效的确定Httpserver的类型.它能够被用来收集和分析不同Httpserver产生的签名。

6、其它：为了提高用户使用浏览器时的性能。现代浏览器还支持并发的訪问方式。浏览一个网页时同一时候建立多个连接，以迅速获得一个网页上的多个图标，这样能更高速完毕整个网页的传输。
HTTP1.1中提供了这样的持续连接的方式，而下一代HTTP协议：HTTP-NG更添加了有关会话控制、丰富的内内容协商以及其他形式的支持，提供
更高效的连接。