0%

题 2:单例模式

python 中的单例模式有四种实现方式:

  1. 模块
  2. 使用 __new__ 方法
  3. 使用装饰器
  4. 使用元类

这里解释使用 __new__ 方法的实现。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
# coding:utf-8

# 单例模式
class Singleton(object):
_instance = None

def __new__(cls, *args, **kwargs):
if not isinstance(cls._instance, cls):
# cls._instance = super(Singleton, cls).__new__(cls, *args, **kwargs)
cls._instance = object.__new__(cls, *args, **kwargs)
return cls._instance


# 测试
class Myclass(Singleton):
a = 1


A = Myclass()
B = Myclass()

print id(A), id(B)

题 3:数组中重复的数字

1. 找出数组中重复的数字

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
# -*- coding:utf-8 -*-
class Solution:
# 这里要特别注意~找到任意重复的一个值并赋值到duplication[0]
# 函数返回True/False
def duplicate(self, numbers, duplication):
if numbers is None or len(numbers) <= 0:
return False
else:
for i in numbers:
if i < 0 or i > len(numbers) - 1:
return False
for i in range(len(numbers)):
while numbers[i] != i:
if numbers[i] == numbers[numbers[i]]:
duplication[0] = numbers[i]
return True
else:
index = numbers[i]
numbers[i], numbers[index] = numbers[index], numbers[i]
return False

2. 找出数组中重复的数字(不修改数组)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
# coding:utf-8


class Solution:

def count_range(self, numbers, length, start, end):
if numbers is None:
return False
count = 0
for i in range(0, length):
if start <= numbers[i] <= end:
count += 1
return count # 返回区间的数目

def getDuplication(self, numbers, length):
if numbers is None or len(numbers) <= 0:
return False
else:
start = 1 # 1
end = length - 1 # n
while end >= start:
middle = ((end - start) >> 1) + start
count = self.count_range(numbers, length, start, middle)
if end == start:
if count > 1:
return start
else:
break
if count > (middle - start + 1):
end = middle
else:
start = middle + 1
return False


# 测试
if __name__ == '__main__':
num = [2, 3, 5, 4, 3, 2, 6, 7]
s = Solution()
print s.getDuplication(num, 8)

题 4:二维数组中的查找

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
# -*- coding:utf-8 -*-


class Solution:
# array 二维列表
def Find(self, matrix, rows, columns, number):
# write code here
found = False

if matrix is not None and rows > 0 and columns > 0:
row = 0
column = columns - 1
while row < rows and column >= 0:
if matrix[row][column] == number:
found = True
break
elif matrix[row][column] > number:
column -= 1
else:
row += 1

return found

# 测试
if __name__ == '__main__':
matrix = [[1, 2, 8, 9],
[2, 4, 9, 12],
[4, 7, 10, 13],
[6, 8, 11, 15]]
s = Solution()
print s.Find(matrix, 4, 4, 7)



# 牛客网中写法

# -*- coding:utf-8 -*-
class Solution:
# array 二维列表
def Find(self, number, matrix):
# write code here
found = False
rows = len(matrix)
columns = len(matrix[0])
if matrix is not None and rows > 0 and columns > 0:
row = 0
column = columns - 1
while row < rows and column >= 0:
if matrix[row][column] == number:
found = True
break
elif matrix[row][column] > number:
column -= 1
else:
row += 1
return found

题 5:替换空格

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
# -*- coding:utf-8 -*-

class Solution:
# s 源字符串
def replaceSpace(self, s):
# write code here
s_list = list(s)
s_replace = []
for item in s_list:
if item == ' ':
s_replace.append('%')
s_replace.append('2')
s_replace.append('0')
else:
s_replace.append(item)
return "".join(s_replace)

题 6:从尾到头打印链表

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
class ListNode:
def __init__(self, x=None):
self.val = x
self.next = None

# 单链表的一个实现函数
listnode = ListNode(1)
p = listnode
for i in xrange(2,11):
listnode.next = ListNode(i)
listnode = listnode.next
while p:
print p.val
p = p.next

# 利用栈
class Solution:
def printListFromTailToHead(self, listNode):
if listNode.val is None:
return
l = []
head = listNode
while head:
l.insert(0, head.val)
head = head.next
return l


s = Solution()
print s.printListFromTailToHead(p)

题 7:重建二叉树

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
# coding:utf-8

'''
输入某二叉树的前序遍历和中序遍历的结果,请重建出该二叉树。
假设输入的前序遍历和中序遍历的结果中都不含重复的数字。
例如输入前序遍历序列{1,2,4,7,3,5,6,8}和中序遍历序列{4,7,2,1,5,3,8,6},则重建二叉树并返回。
'''


# -*- coding:utf-8 -*-
class TreeNode:
def __init__(self, x):
self.val = x
self.left = None
self.right = None


class Solution:
# 返回构造的TreeNode根节点
def reConstructBinaryTree(self, pre, tin):
# write code here
if not pre and not tin:
return None
root = TreeNode(pre[0])
if set(pre) != set(tin):
return None
i = tin.index(pre[0])
root.left = self.reConstructBinaryTree(pre[1:i + 1], tin[:i])
root.right = self.reConstructBinaryTree(pre[i + 1:], tin[i + 1:])
return root


pre = [1, 2, 3, 5, 6, 4]
tin = [5, 3, 6, 2, 4, 1]
test = Solution()
newTree = test.reConstructBinaryTree(pre, tin)


# 按层序遍历输出树中某一层的值
def PrintNodeAtLevel(treeNode, level):
if not treeNode or level < 0:
return 0
if level == 0:
print(treeNode.val)
return 1
PrintNodeAtLevel(treeNode.left, level - 1)
PrintNodeAtLevel(treeNode.right, level - 1)


# 已知树的深度按层遍历输出树的值
def PrintNodeByLevel(treeNode, depth):
for level in range(depth):
PrintNodeAtLevel(treeNode, level)

题 8:二叉树的下一个节点

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
'''
给定一个二叉树和其中的一个结点,请找出中序遍历顺序的下一个结点并且返回。
注意,树中的结点不仅包含左右子结点,同时包含指向父结点的指针。
'''
# -*- coding:utf-8 -*-
class TreeLinkNode:
def __init__(self, x):
self.val = x
self.left = None
self.right = None
self.next = None
class Solution:
def GetNext(self, pNode):
if pNode == None:
return
pNext = None
if pNode.right != None:
pRight = pNode.right
while pRight.left != None:
pRight = pRight.left
pNext= pRight
elif pNode.next != None:
pCurrent = pNode
pParent = pCurrent.next
while pParent != None and pCurrent == pParent.right:
pCurrent = pParent
pParent = pCurrent.next
pNext = pParent
return pNext

class Solution2:
def GetNext(self, pNode):
# 输入是一个空节点
if pNode == None:
return None
# 注意当前节点是根节点的情况。所以在最开始设定pNext = None, 如果下列情况都不满足, 说明当前结点为根节点, 直接输出None
pNext = None
# 如果输入节点有右子树,则下一个结点是当前节点右子树中最左节点
if pNode.right:
pNode = pNode.right
while pNode.left:
pNode = pNode.left
pNext = pNode
else:
# 如果当前节点有父节点且当前节点是父节点的左子节点, 下一个结点即为父节点
if pNode.next and pNode.next.left == pNode:
pNext = pNode.next
# 如果当前节点有父节点且当前节点是父节点的右子节点, 那么向上遍历
# 当遍历到当前节点为父节点的左子节点时, 输入节点的下一个结点为当前节点的父节点
elif pNode.next and pNode.next.right == pNode:
pNode = pNode.next
while pNode.next and pNode.next.right == pNode:
pNode = pNode.next
# 遍历终止时当前节点有父节点, 说明当前节点是父节点的左子节点, 输入节点的下一个结点为当前节点的父节点
# 反之终止时当前节点没有父节点, 说明当前节点在位于根节点的右子树, 没有下一个结点
if pNode.next:
pNext = pNode.next
return pNext

题 9:用两个栈实现队列

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
# -*- coding:utf-8 -*-
class Solution:
def __init__(self):
self.stack1 = []
self.stack2 = []

def push(self, node):
self.stack1.append(node)
# write code here
def pop(self):
if len(self.stack2) == 0 and len(self.stack1) == 0:
return
elif len(self.stack2) == 0:
while len(self.stack1) > 0:

self.stack2.append(self.stack1.pop())
return self.stack2.pop()
# return xx

题 10:斐波那契数列

1
2
3
4
5
6
7
8
9
10
11
12
13
14
# -*- coding:utf-8 -*-
class Solution:
def Fibonacci(self, n, cache=None):
if cache is None:
cache = {}
if n in cache:
return cache[n]
if n == 0:
return 0
if n == 1:
return 1

cache[n] = self.Fibonacci(n - 1, cache) + self.Fibonacci(n - 2, cache)
return cache[n]

题 11:旋转数组的最小数字

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
# coding:utf-8

class Solution:
def minNumberInRotateArray(self, array):
if len(array) == 0:
return 0
head, end = 0, len(array) - 1
mid = 0
while array[head] >= array[end]:
if end - head == 1:
mid = end
break
mid = (end + head) // 2
if array[head] == array[end] and array[head] == array[mid]:
return self.order_min(array, head, end)
if array[mid] >= array[head]:
head = mid
elif array[mid] <= array[end]:
end = mid
return array[mid]

def order_min(self, array, head, end):
result = array[0]
for i in range(len(array)):
if i < result:
result = i
return result

题 12:矩阵中的路径

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
# -*- coding:utf-8 -*-
class Solution:
def hasPath(self, matrix, rows, cols, path):
if matrix == None or rows < 1 or cols < 1 or path == None:
return False
visited = [0] * (rows * cols)

pathLength = 0
for row in range(rows):
for col in range(cols):
if self.hasPathCore(matrix, rows, cols, row, col, path, pathLength, visited):
return True
return False

def hasPathCore(self, matrix, rows, cols, row, col, path, pathLength, visited):
if len(path) == pathLength:
return True

hasPath = False
if row >= 0 and row < rows and col >= 0 and col < cols and matrix[row * cols + col] == path[pathLength] and not \
visited[row * cols + col]:

pathLength += 1
visited[row * cols + col] = True

hasPath = self.hasPathCore(matrix, rows, cols, row, col - 1, path, pathLength, visited) or \
self.hasPathCore(matrix, rows, cols, row - 1, col, path, pathLength, visited) or \
self.hasPathCore(matrix, rows, cols, row, col + 1, path, pathLength, visited) or \
self.hasPathCore(matrix, rows, cols, row + 1, col, path, pathLength, visited)

if not hasPath:
pathLength -= 1
visited[row * cols + col] = False

return hasPath

题 13:机器人的运动范围

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
# -*- coding:utf-8 -*-
class Solution:
def movingCount(self, threshold, rows, cols):
if threshold < 0 or rows <= 0 or cols <= 0:
return False
visited = [False] * (rows * cols)
count = self.movingCountCore(threshold, rows, cols, 0, 0, visited)
return count

def movingCountCore(self, threshold, rows, cols, row, col, visited):
count = 0
if self.check(threshold, rows, cols, row, col, visited):
visited[row * cols + col] = True
count = 1 + self.movingCountCore(threshold, rows, cols, row, col - 1, visited) + \
self.movingCountCore(threshold, rows, cols, row, col + 1, visited) + \
self.movingCountCore(threshold, rows, cols, row - 1, col, visited) + \
self.movingCountCore(threshold, rows, cols, row + 1, col, visited)
return count

def check(self, threshold, rows, cols, row, col, visited):
if row >= 0 and row <= rows and col >= 0 and col <= cols and self.getDigitSum(row) + self.getDigitSum(
col) <= threshold and not visited[row * cols + col]:
return True
return False

def getDigitSum(self, number):
sum = 0
while number > 0:
sum += number % 10
number = number // 10
return sum

题 14:剪绳子

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
# coding:utf-8


class Solution:
def max_product_after_cutting1(self, length): # 使用动态规划,自下而上解决
if length < 2:
return 0
if length == 2:
return 1
if length == 3:
return 2
products = [0] * (length + 1)
products[0] = 0
products[1] = 1
products[2] = 2
products[3] = 3
for i in range(4, length + 1):
max = 0
for j in range(1, i / 2 + 1):
product = products[j] * products[i - j]
if max < product:
max = product
products[i] = max
max = products[length]
return max

def max_product_after_cutting2(self, length): # 贪婪算法
if length < 2:
return 0
if length == 2:
return 1
if length == 3:
return 2
timesof3 = length / 3
if length - timesof3 * 3 == 1:
timesof3 -= 1
timesof2 = (length - timesof3 * 3) / 2
max = (3 ** timesof3) * (2 ** timesof2)
return max


if __name__ == '__main__':
s = Solution()
result1 = s.max_product_after_cutting1(8)
result2 = s.max_product_after_cutting2(8)
print result1, result2

题 15:二进制中 1 的个数

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
# -*- coding:utf-8 -*-
class Solution:
def NumberOf1(self, n): # 死循环
# n = bin(n)
count = 0
while n:
if n & 1:
count += 1
n = n >> 1
return count

def Numberof1_2(self, n):
l = len(bin(n))
count = 0
flag = 1
for i in range(l):
if n & flag:
count += 1
flag = flag << 1
return count

def Numberof1_3(self, n): # 最佳解法
count = 0
while n:
count += 1
n = (n - 1) & n
return count

def Numberof1_4(self, n):
if n < 0:
s = bin(n & 0xffffffff)
else:
s = bin(n)
return s.count('1')


if __name__ == '__main__':
s = Solution()
result1 = s.NumberOf1(9)
result2 = s.Numberof1_2(78787)
result3 = s.Numberof1_3(989798798798)
result4 = s.Numberof1_4(9)
print result1, result2, result3, result4

IO 调度算法

NOOP

NOOP 全称 No Operation,中文名称电梯式调度器,该算法实现了最简单的 FIFO 队列,所有 I/O 请求大致按照先来后到的顺序进行操作。之所以说”大致“,原因是 NOOP 在 FIFO 的基础上还做了相邻 IO 请求的合并,并不是完完全全按照先进先出的规则满足 IO 请求。它是基于先入先出(FIFO)队列概念的 Linux 内核里最简单的 I/O 调度器。此调度程序最适合于固态硬盘。

Anticipatory

Anticipatory 的中文含义是”预料的,预想的”,顾名思义有个 I/O 发生的时候,如果又有进程请求 I/O 操作,则将产生一个默认的 6 毫秒猜测时间,猜测下一个进程请求 I/O 是要干什么的。这个 I/O 调度器对读操作优化服务时间,在提供一个 I/O 的时候进行短时间等待,使进程能够提交到另外的 I/O。Anticipatory 算法从 Linux 2.6.33 版本后被删除了,因为使用 CFQ 通过配置也能达到 Anticipatory 的效果。

DeadLine

Deadline 翻译成中文是截止时间调度器,它避免有些请求太长时间不能被处理。另外可以区分对待读操作和写操作。DEADLINE 额外分别为读 I/O 和写 I/O 提供了 FIFO 队列。

CFQ

CFQ 全称 Completely Fair Scheduler ,中文名称完全公平调度器,它是现在许多 Linux 发行版的默认调度器,CFQ 是内核默认选择的 I/O 调度器。该算法的特点是按照 IO 请求的地址进行排序,而不是按照先来后到的顺序来进行响应。CFQ 为每个进程/线程,单独创建一个队列来管理该进程所产生的请求,也就是说每个进程一个队列,各队列之间的调度使用时间片来调度,

相关命令

查看当前系统支持的I/O调度器

1
2
3
4
5
[sankuai@dx-cloud-climc01 ~]$ dmesg | grep -i scheduler
io scheduler noop registered
io scheduler anticipatory registered
io scheduler deadline registered
io scheduler cfq registered (default)

查看一个硬盘使用的I/O调度器

1
2
[sankuai@gh-cloud-mss-store02 ~]$ cat /sys/block/sda/queue/scheduler
noop anticipatory deadline [cfq]

查看调度算法参数的含义

1
2
yum -y install kernel-doc
比如:/usr/share/doc/kernel-doc-2.6.32/Documentation/block/deadline-iosched.txt

永久修改系统 IO 调度器

grubby 命令

1
$ grubby --grub --update-kernel=ALL --args="elevator=deadline

配置文件

1
2
3
4
5
6
7
使用vi编辑器修改grub配置文件
#vi cat /etc/default/grub
#修改第五行,在行尾添加#
elevator= cfq

然后保存文件,重新编译配置文件,
#grub2-mkconfig -o /boot/grub2/grub.cfg

算法调优

CFQ 算法参数

1
2
3
4
5
6
7
8
9
10
11
12
13
14
[sankuai@gh-cloud-mss-store02 ~]$ ls -l /sys/block/sda/queue/iosched
total 0
-rw-r--r-- 1 root root 4096 Jun 4 11:53 back_seek_max
-rw-r--r-- 1 root root 4096 Jun 4 11:53 back_seek_penalty
-rw-r--r-- 1 root root 4096 Jun 4 11:53 fifo_expire_async
-rw-r--r-- 1 root root 4096 Jun 4 11:53 fifo_expire_sync
-rw-r--r-- 1 root root 4096 Jun 4 11:53 group_idle
-rw-r--r-- 1 root root 4096 Jun 4 11:53 group_isolation
-rw-r--r-- 1 root root 4096 Jun 4 11:53 low_latency
-rw-r--r-- 1 root root 4096 May 24 2017 quantum
-rw-r--r-- 1 root root 4096 Jun 4 11:53 slice_async
-rw-r--r-- 1 root root 4096 Jun 4 11:53 slice_async_rq
-rw-r--r-- 1 root root 4096 May 24 2017 slice_idle
-rw-r--r-- 1 root root 4096 Jun 4 11:53 slice_sync
  • back_seek_max

    默认 16384。该参数规定了磁头向后寻址的最大范围,默认值是16M。对于请求所访问的扇区号在磁头后方的请求,cfq 会像向前寻址的请求一样调度他。

  • back_seek_penalty

    默认值是 2。该参数用来计算向后寻址的代价。相对于前方查找,后方查找的距离为 1/2(1/back_seek_penalty)时,cfq 调度时就认为这两个请求寻址的代价是相同的。

  • fifo_expire_async

    默认值是250ms。该参数用来控制异步请求的超时时间。如果队列被激活后,则优先检查是否有请求超时,如果有超时的请求,则派发。但是,在队列激活的期间内,只会派发 一个超时的请求,其余的请求按照请求的优先级,以及所访问的扇区号大小来派发。

  • fifo_expire_sync

    默认值是125ms。功能类似于fifo_expire_async参数,该参数用于控制同步请求的超时时间,。

  • group_idle

    默认值是 8ms,该参数为了提高吞吐量。

  • group_isolation

    该参数用来标识应用程序所在的cgroup。

  • low_latency

    该参数用来表示低延迟,默认值是1ms

  • quantum

    该参数用于控制队列派发到设备驱动层所含有的请求数,默认值是8。不管是同步队列还是异步队列, 在时间片内,超过这个限制,则不再派发请求。对于异步队列 而言,请求数的派发个数还取决于参数slice_async_rq。

  • slice_async

    默认值是 40ms。这个参数功能同slice_sync,但是用来计算异步队列的时间片。
    异步队列的时间片的计算公式是:time slice=slice_async + (slice_async/5 * (4 - priority));

  • slice_async_rq

    默认值是 2。这个参数用来计算在时间片内异步请求被派发的最大数。同样,最大请求数也依赖于队列的优先级。计算公式是:最大请求数=2 * slice_async_rq( 8 –priority );

  • slice_idle

    默认值是 8ms,这个参数只控制同步队列的idle time。当同步队列当前没有请求派发时,并不切换到其他队列,而是等待 8ms,以便让应用程序产生更多的请求。直到同步队列的时间片用完。

  • slice_sync

    默认值是 100ms。这个参数用来计算同步队列的时间片, 默认值是100ms。时间片还依赖于队列的优先级。同步队列的时间片的计算公式是:time slice=slice_sync + (slice_sync/5 * (4 - priority));

Anticipatory 算法参数

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
The parameters are:
* read_expire
Controls how long until a read request becomes "expired". It also controls the interval between which expired requests are served, so set to 50, a request might take anywhere < 100ms to be serviced _if_ it is the next on the expired list. Obviously request expiration strategies won't make the disk go faster. The result basically equates to the timeslice a single reader gets in the presence of other IO. 100*((seek time / read_expire) + 1) is very roughly the % streaming read efficiency your disk should get with multiple readers.

* read_batch_expire
Controls how much time a batch of reads is given before pending writes are served. A higher value is more efficient. This might be set below read_expire if writes are to be given higher priority than reads, but reads are to be as efficient as possible when there are no writes. Generally though, it should be some multiple of read_expire.

* write_expire, and
* write_batch_expire are equivalent to the above, for writes.

* antic_expire
Controls the maximum amount of time we can anticipate a good read (one with a short seek distance from the most recently completed request) before giving up. Many other factors may cause anticipation to be stopped early, or some processes will not be "anticipated" at all. Should be a bit higher for big seek time devices though not a linear correspondence - most processes have only a few ms thinktime.

In addition to the tunables above there is a read-only file named est_time
which, when read, will show:

- The probability of a task exiting without a cooperating task
submitting an anticipated IO.

- The current mean think time.

- The seek distance used to determine if an incoming IO is better.

测试-fio

可以使用专业的工具 fio,或者命令 dd。

fio 格式

fio 可以采用命令行格式,也可以采用 jobfile 格式。

1
2
3
fio [options] [jobfile] ...
options
--output=filename

jobfile 参数

General

1
runtime=time 单位:seconds

I/O type

1
2
3
4
5
6
7
8
9
direct=bool # 是否使用缓存,true 表示不使用缓存
readwrite=str
read # 顺序读
write # 顺序写
randread # 随机读
randwrite # 随即写
rw # 顺序读写
randrw # 随机读写

Block size

1
2
3
4
5
blocksize/bs=int[,int][,int] # read, writes, trimes,默认是 4096
bs=256k
blocksize_range/bsrange=irange[,irange][,irange]
bsrange=1k-4k,2k-8k
bssplit=str

Buffers and memory

1
2
3
4
5
iomem=str, mem=str
malloc
shm
shmhuge
mmap

I/O size

1
2
3
size=int # 一个任务中每一个线程的总大小
io_size=int, io_limit=int
filesize=irange(int)

I/O engine

1
2
3
4
5
ioengine=str
sync # 基本的读写操作
psync # 基本的 pread 和 pwrite
vsync # 基本的 readv 和 writev 将通过将相邻的 I/O 合并为一个提交来模拟排队。
libaio # Linux 原生的异步 I/O

I/O depth

1
iodepth=int # 线程的数量

I/O rate

1
2
thinktime=time # I/O 发出后,在一段时间内停止,再发出下一个
rate=int[,int][,int] # 限制某一个任务的带宽

I/O latency

1
latency_target=time # 如果设置,fio将尝试查找给定工作负载运行时的最高性能点,同时保持低于此目标的延迟。

I/O replay

1
2
write_iolog=str
read_iolog=str

Threads, processes and job synchronization

1
thread # fio 默认是通过 fork 的方式创建任务,但是如果这个参数指定,就会采用 POSIX 的线程函数来创建线程

Verification

1
verify_only # 不指定工作负载,只验证数据是否符合之前的

Steady state

1
2
steadystate=str:float, ss=str:float # 定义评估稳态性能的标准和限制。
iops # 收集 iops 数据 如:iops:2

Measurements and reporting

1
2
write_bw_log=str
write_lat_log=str

相关测试用例

随机读

1
2
3
4
5
6
7
8
9
10
11
[Rand_Read_Testing]
direct=1
iodepth=128
rw=randread
ioengine=libaio
bs=4k
size=1G
numjobs=1
runtime=1000
group_reporting
filename=/s3plus/mount/002/randread.test

参考:http://devopslinux.com/2016/07/23/PTE-fio/

1
2
3
4
5
6
7
8
9
10
11
12
13
14
#顺序读
fio -filename=/dev/sda -direct=1 -iodepth 1 -thread -rw=read -ioengine=psync -bs=16k -size=200G -numjobs=30 -runtime=1000 -group_reporting -name=mytest

#顺序写
fio -filename=/dev/sda -direct=1 -iodepth 1 -thread -rw=write -ioengine=psync -bs=16k -size=200G -numjobs=30 -runtime=1000 -group_reporting -name=mytest

#随机读
fio -filename=/dev/sda -direct=1 -iodepth 1 -thread -rw=randread -ioengine=psync -bs=16k -size=200G -numjobs=30 -runtime=1000 -group_reporting -name=mytest

#随机写
fio -filename=/dev/sda -direct=1 -iodepth 1 -thread -rw=randwrite -ioengine=psync -bs=16k -size=200G -numjobs=30 -runtime=1000 -group_reporting -name=mytest

#混合随机读写
fio -filename=/dev/sda -direct=1 -iodepth 1 -thread -rw=randrw -rwmixread=70 -ioengine=psync -bs=16k -size=200G -numjobs=30 -runtime=100 -group_reporting -name=mytest -ioscheduler=noop

混合随机读写

1
2
3
4
5
6
7
8
9
10
11
[randrw]
direct=1
iodepth=128
rw=randrw
ioengine=libaio
bs=4k
size=1G
numjobs=16
runtime=60
group_reporting
filename=/s3plus/mount/002/randrw.file

参考:

https://www.ibm.com/developerworks/cn/linux/l-lo-io-scheduler-optimize-performance/index.html

http://bbs.chinaunix.net/thread-1967733-1-1.html

一些小命令:

1
2
3
4
grep --color=auto ''
grep -n 'str' file # 查找 str -n 表示行号
grep -vn 'str' file # 查找不包含 str 的字符串
grep -in 'str' file # 不论大小写

正则

1
2
3
4
5
6
7
8
9
10
11
^ # 行首
$ # 行尾
. # 表示任意
\w # 字类字符
\W # 非字类字符
\b # 单词分隔
* # 0 个或多个
\{n,m\} # 连续 n 到 m 个前一个字符
+ # 一次或多次
? # 零次或一次
| # 或

sed

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
[root@www ~]# sed [-nefr] [动作]
参数:
-n # 使用安静(silent)模式。
-e # 直接在指令列模式上进行 sed 的动作编辑
-f # 直接将 sed 的动作写在一个文件内,-f filename
-r # sed 支持延伸型正则表示法
-i # 直接修改读取的文件内容
动作说明: [n1[,n2]]function
n1, n2 # 行数
function:
a # 新增,在后面
c # 取代,取代 n1,n2 之间的行数
d # 删除
i # 插入,在前面
p # 打印,通常和 sed -n 一起
s # 取代,例如 1,20s/old/new/g
1
2
3
4
5
6
7
sed '2,5d'
sed '2a drink tea'
sed '2a Drink tea or ......\
> drink beer ?'
sed '/^$/d' # 删除空白行
sed 's/#.*$//g' # 删除注释行
sed -i 's/\.$/\!/g' regular_express.txt # 直接修改文件内容,将 . 替换为 !

awk

1
2
3
4
5
6
7
8
9
10
11
12
13
14
awk [options] 'command' file
command:pattern{命令}
$0 # 当前行
$1 # 第一个字段,以此类推
-F ':' # 分隔符
NR # 每行记录号
NF # 字段数
逻辑运算符 > < >= <= == !=
逻辑判断 if...else...
正则表达式 ~ !~
awk -F ':' '$1~/^m.*/{print $1}' file # 表示 $1 以 m 开头
扩展格式:
BEGIN{}pattern{}END{}
awk -F ":" 'BEGIN{print 'line col user'}{print NR,NF,$1}END{print ...}'

Linux 文件属性代表

1
2
3
4
5
6
[root@localhost ~]# ll
total 171164
-rw-------. 1 root root 1261 Apr 27 06:50 anaconda-ks.cfg
-rw-r--r--. 1 root root 3624 Apr 28 21:50 install.txt
-rw-r--r--. 1 root root 175262413 Apr 3 14:05 jdk-8u171-linux-x64.rpm
drwxr-xr-x. 3 root root 132 May 13 21:47 script

-:代表普通文件

d:代表目录

l:代表链接文件

b:代表块设备文件

c:代表字符设备,如鼠标等

Linux 命令

开关机

1
2
3
4
5
shutdown -r now # 重启
init 0 # 关机
init 3 # 纯命令行
init 5 # 含有图形界面
init 6 # 重启

权限

1
2
3
chgrp # 改变文件所属用户组
chown # 改变文件所有者 可以用:或.分割所有者与用户组来进行改变,如 root:root
chmod # 改变文件权限 -R 递归改变

目录

1
2
3
4
5
6
7
pwd -P # 列出链接文件的完整文件名
mkdir
-p # 多级创建目录
-m # 给新建目录添加权限 mkdir -m 777 test
cp -s -l -a # 软链接,硬链接,所有属性
ls -l --time= # atime:权限或属性改变的时间
# ctime:读取文件内容的时间

查看文件

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
cat
-n # 打印出行号
tac # 从最后一行开始显示
nl # 输出行号
more # 一页一页的显示
# 空格键:向下翻一页
# enter:向下滚动一行
# /:向下查询
# :f:立刻显示出文件名以及目前显示的行数
# b:往前翻页,对管道不行
less # 与 more 类似,但是可以向前翻页
# 可以向前/或者向后?查询字符串
head # 显示头几行
tail # 显示后几行
# 这两个都是默认显示 10 行,-n 参数指定行数
od # 以二进制方式读取
-t # 后面可以指定文件类型。a:默认字符;c:ascii字符;d:十进制
touch [-acdmt] # 可以修改文件时间

权限管理

1
2
3
4
5
6
umask # 默认权限管理,文件最大权限666,目录777
chattr +i +a # 设置默认属性。i:设置文件无法被改动/删除/设置链接等;a:只能增加数据,不能删除修改数据
lsattr # -a:列出隐藏属性
SUID # 使得用户暂时获得执行者权限,4
SGID # 使得用户暂时获得用户组权限,2
SBIT # 其他人无法修改别人创建的文件,只能修改自己的文件,1

文件类型

1
file # 可以查看文件类型

文件查找

1
2
3
4
which # 查找命令
whereis # 查找文件
locate # 可以按照部分文件名查找文件
updatedb # 更新数据库

解压缩命令

1
2
3
4
5
6
7
8
tar -zcvf filename.tar.gz 要压缩的文档
tar -zxvf filename.tar.gz -C 目录

-z 表示.gz
-j 表示.bz2
-c|x 表示压缩/解压
-v 表示显示文件名
-f 表示指定文件名

shell

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
type # 可以显示命令类型,属于系统自带还是外部
unset 变量名 # 取消变量设置
单引号会让引号内的内容失去转义,而双引号则不会。
引号内如果需要执行命令,则可以采用 $(命令)的形式,或者采用反单引号
locale -a # 可以显示当前系统支持的语系
read variable # 读取输入内容
declare # 声明变量类型
-a:# 定义为数组
-i:# 定义成为整数数字
-x:# 将变量变成环境变量
-r: # 将变量设置成为 readonly

# 代表删除最短变量
## 代表删除最长变量
这两个是从前向后删除
% %% # 从后向前
/ // # 替换字符串
变量测试与内容替换
- 与 = ?
历史命令
!number # 执行第几条命令
!command # 执行上一个以 command 开头的命令
/etc/issue /etc/motd # 可以设置欢迎信息与提示信息
ctrl + c # 终止命令
ctrl + z # 暂停命令

输出重定向

1
2
3
4
5
6
7
8
1>
2>
将错误信息与正确信息分别输入到不同的文件中去
find /home -name .bashrc > list_right 2> list_error
将正确与错误信息统统写入同一个文件
find /home -name .bashrc > list 2>&1
tee # 双向重定向
-a 表示累加

命令的一次执行

1
2
3
; # 表示下一个命令与上一个命令没有关系
&& # 表示上一个命令执行正确之后才会执行下一个命令(与)
|| # 表示上一个命令执行错误才执行下一个命令(或)

选取命令

1
2
3
cut -d '分隔符' -f 分隔后的区域块
cut -c 字符范围 # 用于排列整齐的信息
last # 可以显示登录者信息

排序命令

1
2
3
4
5
6
7
sort # 排序
-n # 使用纯数字排序
-t # 分隔符
-k # 区间
uniq # 将重复数据只显示一次
-c # 计数
wc -l -w -m # 行数/字数/字符数

字符转换命令

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
tr str1 str2 # 将 1 替换为 2 
-d # 删除字符串
-s # 替换掉重复的字符串
col # 字符转换命令
-x # 将 tab 键转换成对等的空格键
join # 将有相同字段的连接为一行
-t # 默认以空格符分隔,并且对比第一个字段的内容
paste # 直接将两行贴在一起
expand # 将tab转换为空格 -t 接数字,表示空格键个数
split # 切割命令
-b # 按照文件大小切割
-t # 按照行数切割
xargs # 参数代换,可以将标准输出作为某一个命令的参数
- # 表示标准输入或输出
sed -n # 安静模式
a # 新增
c # 替换
d # 删除
i # 插入
p # 打印
s # 替换
sed 's/str1/new_str/g'

测试及判断命令

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
test
-e # 该文件名是否存在
-f # 该文件名是否存在且是否为文件
-d # 目录
-rwx # 文件权限
还可以测试文件之间的比较,整数之间的判定,判定字符串的数据等
-ne # 两数值不等
-eq # 两数值相等
-gt # 大于
-lt # 小于
-ge #
-le #
-n # 判断字符串是否为非空
-z # 判断字符串是否为空
-a # 与
-o # 或
! # 非

shell 参数

1
2
3
4
5
$0 # 脚本名字
${1..n} # 第几个参数
$# # 参数个数
$@ # 代表"$1"/"$2"...
shift # 变量的偏移,后面可以接数字,也即删除掉前面的几个参数

条件判断

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
if [];then
...
fi

if [];then
...
elif [];then
...
else
...
fi

case $variable in
"name")
...
;;
"")
...
;;
*)
exit 1
;;
esac

函数

1
2
3
4
function fname ()
{...}

需要注意,函数中的 $0,$1,$2,与脚本中的参数不同,这个参数指的是函数的形参

循环

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
while []
do
...
done

until []
do
...
done

for var in con1 con2 con3
do
...
done

$(seq 1 100) # 1 到 100

for ((初始值;限制值;步长))
do
done

语法检查

1
2
3
4
bash -nvx 
-n # 查询语法问题
-v # 执行脚本之前,现将内容输出
-x # 将使用到的脚本内容显示到屏幕上

系统相关

后台进程

1
2
3
4
5
6
& # 代表把程序放到后台执行
jobs # 可以查看后台程序,默认只显示jobnumber
-l # 列出 PID 号码
fg %jobnumber # 把程序拿到前台处理
fg - # 把状态为 - 的拿到前台,默认+
bg %jobnumber # 把后台任务状态变为 running

系统资源查看

1
2
3
free # 查看内存使用情况
uname # 查看系统与内核相关信息
uptime # 查看系统启动时间与工作负载

查询已打开文件或已执行程序打开的文件

1
2
3
fuser file/dir # 
lsof # 显示进程所打开的文件
pidof # 找出某个正在执行的进程的 PID

1xx消息

这一类型的状态码,代表请求已被接受,需要继续处理。这类响应是临时响应,只包含状态行和某些可选的响应头信息,并以空行结束。由于HTTP/1.0协议中没有定义任何1xx状态码,所以除非在某些试验条件下,服务器禁止向此类客户端发送1xx响应。 这些状态码代表的响应都是信息性的,标示客户应该采取的其他行动。

100 Continue
客户端应当继续发送请求。这个临时响应是用来通知客户端它的部分请求已经被服务器接收,且仍未被拒绝。客户端应当继续发送请求的剩余部分,或者如果请求已经完成,忽略这个响应。服务器必须在请求完成后向客户端发送一个最终响应。

101 Switching Protocols
服务器已经理解了客户端的请求,并将通过Upgrade消息头通知客户端采用不同的协议来完成这个请求。在发送完这个响应最后的空行后,服务器将会切换到在Upgrade消息头中定义的那些协议。
只有在切换新的协议更有好处的时候才应该采取类似措施。例如,切换到新的HTTP版本(如HTTP/2)比旧版本更有优势,或者切换到一个实时且同步的协议以传送利用此类特性的资源。

102 Processing
由WebDAV扩展的状态码,代表处理将被继续执行。

2xx成功

这一类型的状态码,代表请求已成功被服务器接收、理解、并接受。

200 OK
请求已成功,请求所希望的响应头或数据体将随此响应返回。

201 Created
请求已经被实现,而且有一个新的资源已经依据请求的需要而创建,且其URI已经随Location头信息返回。假如需要的资源无法及时创建的话,应当返回’202 Accepted’。

202 Accepted
服务器已接受请求,但尚未处理。正如它可能被拒绝一样,最终该请求可能会也可能不会被执行。在异步操作的场合下,没有比发送这个状态码更方便的做法了。
返回202状态码的响应的目的是允许服务器接受其他过程的请求(例如某个每天只执行一次的基于批处理的操作),而不必让客户端一直保持与服务器的连接直到批处理操作全部完成。在接受请求处理并返回202状态码的响应应当在返回的实体中包含一些指示处理当前状态的信息,以及指向处理状态监视器或状态预测的指针,以便用户能够估计操作是否已经完成。

203 Non-Authoritative Information
服务器已成功处理了请求,但返回的实体头部元信息不是在原始服务器上有效的确定集合,而是来自本地或者第三方的拷贝。当前的信息可能是原始版本的子集或者超集。例如,包含资源的元数据可能导致原始服务器知道元信息的超集。使用此状态码不是必须的,而且只有在响应不使用此状态码便会返回200 OK的情况下才是合适的。

204 No Content
服务器成功处理了请求,但不需要返回任何实体内容,并且希望返回更新了的元信息。响应可能通过实体头部的形式,返回新的或更新后的元信息。如果存在这些头部信息,则应当与所请求的变量相呼应。
如果客户端是浏览器的话,那么用户浏览器应保留发送了该请求的页面,而不产生任何文档视图上的变化,即使按照规范新的或更新后的元信息应当被应用到用户浏览器活动视图中的文档。
由于204响应被禁止包含任何消息体,因此它始终以消息头后的第一个空行结尾。

205 Reset Content
服务器成功处理了请求,且没有返回任何内容。但是与204响应不同,返回此状态码的响应要求请求者重置文档视图。该响应主要是被用于接受用户输入后,立即重置表单,以便用户能够轻松地开始另一次输入。
与204响应一样,该响应也被禁止包含任何消息体,且以消息头后的第一个空行结束。

206 Partial Content
服务器已经成功处理了部分GET请求。类似于FlashGet或者迅雷这类的HTTP 下载工具都是使用此类响应实现断点续传或者将一个大文档分解为多个下载段同时下载。
该请求必须包含Range头信息来指示客户端希望得到的内容范围,并且可能包含If-Range来作为请求条件。
响应必须包含如下的头部域:

  • Content-Range用以指示本次响应中返回的内容的范围;如果是Content-Type为multipart/byteranges的多段下载,则每一multipart段中都应包含Content-Range域用以指示本段的内容范围。假如响应中包含Content-Length,那么它的数值必须匹配它返回的内容范围的真实字节数。
  • Date
  • ETag和/或Content-Location,假如同样的请求本应该返回200响应。
  • Expires, Cache-Control,和/或Vary,假如其值可能与之前相同变量的其他响应对应的值不同的话。
    假如本响应请求使用了If-Range强缓存验证,那么本次响应不应该包含其他实体头;假如本响应的请求使用了If-Range弱缓存验证,那么本次响应禁止包含其他实体头;这避免了缓存的实体内容和更新了的实体头信息之间的不一致。否则,本响应就应当包含所有本应该返回200响应中应当返回的所有实体头部域。

假如ETag或Last-Modified头部不能精确匹配的话,则客户端缓存应禁止将206响应返回的内容与之前任何缓存过的内容组合在一起。
任何不支持Range以及Content-Range头的缓存都禁止缓存206响应返回的内容。

207 Multi-Status
由WebDAV扩展的状态码,代表之后的消息体将是一个XML消息,并且可能依照之前子请求数量的不同,包含一系列独立的响应代码。

3xx重定向

这类状态码代表需要客户端采取进一步的操作才能完成请求。通常,这些状态码用来重定向,后续的请求地址(重定向目标)在本次响应的Location域中指明。
当且仅当后续的请求所使用的方法是GET或者HEAD时,用户浏览器才可以在没有用户介入的情况下自动提交所需要的后续请求。客户端应当自动监测无限循环重定向(例如:A→B→C→……→A或A→A),因为这会导致服务器和客户端大量不必要的资源消耗。按照HTTP/1.0版规范的建议,浏览器不应自动访问超过5次的重定向。

300 Multiple Choices
被请求的资源有一系列可供选择的回馈信息,每个都有自己特定的地址和浏览器驱动的商议信息。用户或浏览器能够自行选择一个首选的地址进行重定向。
除非这是一个HEAD请求,否则该响应应当包括一个资源特性及地址的列表的实体,以便用户或浏览器从中选择最合适的重定向地址。这个实体的格式由Content-Type定义的格式所决定。浏览器可能根据响应的格式以及浏览器自身能力,自动作出最合适的选择。当然,RFC 2616规范并没有规定这样的自动选择该如何进行。
如果服务器本身已经有了首选的回馈选择,那么在Location中应当指明这个回馈的URI;浏览器可能会将这个Location值作为自动重定向的地址。此外,除非额外指定,否则这个响应也是可缓存的。

301 Moved Permanently
被请求的资源已永久移动到新位置,并且将来任何对此资源的引用都应该使用本响应返回的若干个URI之一。如果可能,拥有链接编辑功能的客户端应当自动把请求的地址修改为从服务器反馈回来的地址。除非额外指定,否则这个响应也是可缓存的。
新的永久性的URI应当在响应的Location域中返回。除非这是一个HEAD请求,否则响应的实体中应当包含指向新的URI的超链接及简短说明。
如果这不是一个GET或者HEAD请求,因此浏览器禁止自动进行重定向,除非得到用户的确认,因为请求的条件可能因此发生变化。
注意:对于某些使用HTTP/1.0协议的浏览器,当它们发送的POST请求得到了一个301响应的话,接下来的重定向请求将会变成GET方式。

302 Found
请求的资源现在临时从不同的URI响应请求。由于这样的重定向是临时的,客户端应当继续向原有地址发送以后的请求。只有在Cache-Control或Expires中进行了指定的情况下,这个响应才是可缓存的。
新的临时性的URI应当在响应的Location域中返回。除非这是一个HEAD请求,否则响应的实体中应当包含指向新的URI的超链接及简短说明。
如果这不是一个GET或者HEAD请求,那么浏览器禁止自动进行重定向,除非得到用户的确认,因为请求的条件可能因此发生变化。
注意:虽然RFC 1945和RFC 2068规范不允许客户端在重定向时改变请求的方法,但是很多现存的浏览器将302响应视作为303响应,并且使用GET方式访问在Location中规定的URI,而无视原先请求的方法。状态码303和307被添加了进来,用以明确服务器期待客户端进行何种反应。

303 See Other
对应当前请求的响应可以在另一个URI上被找到,而且客户端应当采用GET的方式访问那个资源。这个方法的存在主要是为了允许由脚本激活的POST请求输出重定向到一个新的资源。这个新的URI不是原始资源的替代引用。同时,303响应禁止被缓存。当然,第二个请求(重定向)可能被缓存。
新的URI应当在响应的Location域中返回。除非这是一个HEAD请求,否则响应的实体中应当包含指向新的URI的超链接及简短说明。
注意:许多HTTP/1.1版以前的浏览器不能正确理解303状态。如果需要考虑与这些浏览器之间的互动,302状态码应该可以胜任,因为大多数的浏览器处理302响应时的方式恰恰就是上述规范要求客户端处理303响应时应当做的。

304 Not Modified
如果客户端发送了一个带条件的GET请求且该请求已被允许,而文档的内容(自上次访问以来或者根据请求的条件)并没有改变,则服务器应当返回这个状态码。304响应禁止包含消息体,因此始终以消息头后的第一个空行结尾。
该响应必须包含以下的头信息:

  • Date,除非这个服务器没有时钟。假如没有时钟的服务器也遵守这些规则,那么代理服务器以及客户端可以自行将Date字段添加到接收到的响应头中去(正如RFC 2068中规定的一样),缓存机制将会正常工作。
  • ETag和/或Content-Location,假如同样的请求本应返回200响应。
  • Expires, Cache-Control,和/或Vary,假如其值可能与之前相同变量的其他响应对应的值不同的话。

假如本响应请求使用了强缓存验证,那么本次响应不应该包含其他实体头;否则(例如,某个带条件的GET请求使用了弱缓存验证),本次响应禁止包含其他实体头;这避免了缓存了的实体内容和更新了的实体头信息之间的不一致。
假如某个304响应指明了当前某个实体没有缓存,那么缓存系统必须忽视这个响应,并且重复发送不包含限制条件的请求。
假如接收到一个要求更新某个缓存条目的304响应,那么缓存系统必须更新整个条目以反映所有在响应中被更新的字段的值。

305 Use Proxy
被请求的资源必须通过指定的代理才能被访问。Location域中将给出指定的代理所在的URI信息,接收者需要重复发送一个单独的请求,通过这个代理才能访问相应资源。只有原始服务器才能创建305响应。
注意:RFC 2068中没有明确305响应是为了重定向一个单独的请求,而且只能被原始服务器建立。忽视这些限制可能导致严重的安全后果。

306 Switch Proxy
在最新版的规范中,306状态码已经不再被使用。

307 Temporary Redirect
请求的资源现在临时从不同的URI响应请求。由于这样的重定向是临时的,客户端应当继续向原有地址发送以后的请求。只有在Cache-Control或Expires中进行了指定的情况下,这个响应才是可缓存的。
新的临时性的URI应当在响应的Location域中返回。除非这是一个HEAD请求,否则响应的实体中应当包含指向新的URI的超链接及简短说明。因为部分浏览器不能识别307响应,因此需要添加上述必要信息以便用户能够理解并向新的URI发出访问请求。
如果这不是一个GET或者HEAD请求,那么浏览器禁止自动进行重定向,除非得到用户的确认,因为请求的条件可能因此发生变化。

4xx客户端错误

这类的状态码代表了客户端看起来可能发生了错误,妨碍了服务器的处理。除非响应的是一个HEAD请求,否则服务器就应该返回一个解释当前错误状况的实体,以及这是临时的还是永久性的状况。这些状态码适用于任何请求方法。浏览器应当向用户显示任何包含在此类错误响应中的实体内容。
如果错误发生时客户端正在传送数据,那么使用TCP的服务器实现应当仔细确保在关闭客户端与服务器之间的连接之前,客户端已经收到了包含错误信息的数据包。如果客户端在收到错误信息后继续向服务器发送数据,服务器的TCP栈将向客户端发送一个重置数据包,以清除该客户端所有还未识别的输入缓冲,以免这些数据被服务器上的应用程序读取并干扰后者。

400 Bad Request
由于包含语法错误,当前请求无法被服务器理解。除非进行修改,否则客户端不应该重复提交这个请求。

401 Unauthorized
当前请求需要用户验证。该响应必须包含一个适用于被请求资源的WWW-Authenticate信息头用以询问用户信息。客户端可以重复提交一个包含恰当的Authorization头信息的请求。如果当前请求已经包含了Authorization证书,那么401响应代表着服务器验证已经拒绝了那些证书。如果401响应包含了与前一个响应相同的身份验证询问,且浏览器已经至少尝试了一次验证,那么浏览器应当向用户展示响应中包含的实体信息,因为这个实体信息中可能包含了相关诊断信息。

402 Payment Required
该状态码是为了将来可能的需求而预留的。

403 Forbidden
服务器已经理解请求,但是拒绝执行它。与401响应不同的是,身份验证并不能提供任何帮助,而且这个请求也不应该被重复提交。如果这不是一个HEAD请求,而且服务器希望能够讲清楚为何请求不能被执行,那么就应该在实体内描述拒绝的原因。当然服务器也可以返回一个404响应,假如它不希望让客户端获得任何信息。

404 Not Found
请求失败,请求所希望得到的资源未被在服务器上发现。没有信息能够告诉用户这个状况到底是暂时的还是永久的。假如服务器知道情况的话,应当使用410状态码来告知旧资源因为某些内部的配置机制问题,已经永久的不可用,而且没有任何可以跳转的地址。404这个状态码被广泛应用于当服务器不想揭示到底为何请求被拒绝或者没有其他适合的响应可用的情况下。

405 Method Not Allowed
请求行中指定的请求方法不能被用于请求相应的资源。该响应必须返回一个Allow头信息用以表示出当前资源能够接受的请求方法的列表。
鉴于PUT,DELETE方法会对服务器上的资源进行写操作,因而绝大部分的网页服务器都不支持或者在默认配置下不允许上述请求方法,对于此类请求均会返回405错误。

406 Not Acceptable
请求的资源的内容特性无法满足请求头中的条件,因而无法生成响应实体。
除非这是一个HEAD请求,否则该响应就应当返回一个包含可以让用户或者浏览器从中选择最合适的实体特性以及地址列表的实体。实体的格式由Content-Type头中定义的媒体类型决定。浏览器可以根据格式及自身能力自行作出最佳选择。但是,规范中并没有定义任何作出此类自动选择的标准。

407 Proxy Authentication Required
与401响应类似,只不过客户端必须在代理服务器上进行身份验证。代理服务器必须返回一个Proxy-Authenticate用以进行身份询问。客户端可以返回一个Proxy-Authorization信息头用以验证。

408 Request Timeout
请求超时。客户端没有在服务器预备等待的时间内完成一个请求的发送。客户端可以随时再次提交这一请求而无需进行任何更改。

409 Conflict
由于和被请求的资源的当前状态之间存在冲突,请求无法完成。这个代码只允许用在这样的情况下才能被使用:用户被认为能够解决冲突,并且会重新提交新的请求。该响应应当包含足够的信息以便用户发现冲突的源头。
冲突通常发生于对PUT请求的处理中。例如,在采用版本检查的环境下,某次PUT提交的对特定资源的修改请求所附带的版本信息与之前的某个(第三方)请求向冲突,那么此时服务器就应该返回一个409错误,告知用户请求无法完成。此时,响应实体中很可能会包含两个冲突版本之间的差异比较,以便用户重新提交归并以后的新版本。

410 Gone
被请求的资源在服务器上已经不再可用,而且没有任何已知的转发地址。这样的状况应当被认为是永久性的。如果可能,拥有链接编辑功能的客户端应当在获得用户许可后删除所有指向这个地址的引用。如果服务器不知道或者无法确定这个状况是否是永久的,那么就应该使用404状态码。除非额外说明,否则这个响应是可缓存的。
410响应的目的主要是帮助网站管理员维护网站,通知用户该资源已经不再可用,并且服务器拥有者希望所有指向这个资源的远端连接也被删除。这类事件在限时、增值服务中很普遍。同样,410响应也被用于通知客户端在当前服务器站点上,原本属于某个个人的资源已经不再可用。当然,是否需要把所有永久不可用的资源标记为’410 Gone’,以及是否需要保持此标记多长时间,完全取决于服务器拥有者。

411 Length Required
服务器拒绝在没有定义Content-Length头的情况下接受请求。在添加了表明请求消息体长度的有效Content-Length头之后,客户端可以再次提交该请求。

412 Precondition Failed
服务器在验证在请求的头字段中给出先决条件时,没能满足其中的一个或多个。这个状态码允许客户端在获取资源时在请求的元信息(请求头字段数据)中设置先决条件,以此避免该请求方法被应用到其希望的内容以外的资源上。

413 Request Entity Too Large
服务器拒绝处理当前请求,因为该请求提交的实体数据大小超过了服务器愿意或者能够处理的范围。此种情况下,服务器可以关闭连接以免客户端继续发送此请求。
如果这个状况是临时的,服务器应当返回一个Retry-After的响应头,以告知客户端可以在多少时间以后重新尝试。

414 Request-URI Too Long
请求的URI长度超过了服务器能够解释的长度,因此服务器拒绝对该请求提供服务。这比较少见,通常的情况包括:

本应使用POST方法的表单提交变成了GET方法,导致查询字符串(Query String)过长。
重定向URI“黑洞”,例如每次重定向把旧的URI作为新的URI的一部分,导致在若干次重定向后URI超长。
客户端正在尝试利用某些服务器中存在的安全漏洞攻击服务器。这类服务器使用固定长度的缓冲读取或操作请求的URI,当GET后的参数超过某个数值后,可能会产生缓冲区溢出,导致任意代码被执行[1]。没有此类漏洞的服务器,应当返回414状态码。

415 Unsupported Media Type
对于当前请求的方法和所请求的资源,请求中提交的实体并不是服务器中所支持的格式,因此请求被拒绝。

416 Requested Range Not Satisfiable
如果请求中包含了Range请求头,并且Range中指定的任何数据范围都与当前资源的可用范围不重合,同时请求中又没有定义If-Range请求头,那么服务器就应当返回416状态码。
假如Range使用的是字节范围,那么这种情况就是指请求指定的所有数据范围的首字节位置都超过了当前资源的长度。服务器也应当在返回416状态码的同时,包含一个Content-Range实体头,用以指明当前资源的长度。这个响应也被禁止使用multipart/byteranges作为其Content-Type。

417 Expectation Failed
在请求头Expect中指定的预期内容无法被服务器满足,或者这个服务器是一个代理服务器,它有明显的证据证明在当前路由的下一个节点上,Expect的内容无法被满足。

418 I’m a teapot
本操作码是在1998年作为IETF的传统愚人节笑话, 在RFC 2324 超文本咖啡壶控制协议中定义的,并不需要在真实的HTTP服务器中定义。当一个控制茶壶的HTCPCP收到BREW或POST指令要求其煮咖啡时应当回传此错误。

421 There are too many connections from your internet address
从当前客户端所在的IP地址到服务器的连接数超过了服务器许可的最大范围。通常,这里的IP地址指的是从服务器上看到的客户端地址(比如用户的网关或者代理服务器地址)。在这种情况下,连接数的计算可能涉及到不止一个终端用户。

422 Unprocessable Entity
请求格式正确,但是由于含有语义错误,无法响应。

423 Locked
当前资源被锁定。

424 Failed Dependency
由于之前的某个请求发生的错误,导致当前请求失败,例如PROPPATCH。

425 Unordered Collection
在WebDav Advanced Collections草案中定义,但是未出现在《WebDAV顺序集协议》中。

426 Upgrade Required
客户端应当切换到TLS/1.0。

449 Retry With
由微软扩展,代表请求应当在执行完适当的操作后进行重试。

451 Unavailable For Legal Reasons
由IETF核准,代表该访问因法律的要求而被拒绝。

5xx服务器错误

这类状态码代表了服务器在处理请求的过程中有错误或者异常状态发生,也有可能是服务器意识到以当前的软硬件资源无法完成对请求的处理。除非这是一个HEAD请求,否则服务器应当包含一个解释当前错误状态以及这个状况是临时的还是永久的解释信息实体。浏览器应当向用户展示任何在当前响应中被包含的实体。
这些状态码适用于任何响应方法。

500 Internal Server Error
服务器遇到了一个未曾预料的状况,导致了它无法完成对请求的处理。一般来说,这个问题都会在服务器的程序码出错时出现。

501 Not Implemented
服务器不支持当前请求所需要的某个功能。当服务器无法识别请求的方法,并且无法支持其对任何资源的请求。

502 Bad Gateway
作为网关或者代理工作的服务器尝试执行请求时,从上游服务器接收到无效的响应。

503 Service Unavailable
由于临时的服务器维护或者过载,服务器当前无法处理请求。这个状况是临时的,并且将在一段时间以后恢复。如果能够预计延迟时间,那么响应中可以包含一个Retry-After头用以标明这个延迟时间。如果没有给出这个Retry-After信息,那么客户端应当以处理500响应的方式处理它。

504 Gateway Timeout
作为网关或者代理工作的服务器尝试执行请求时,未能及时从上游服务器(URI标识出的服务器,例如HTTP、FTP、LDAP)或者辅助服务器(例如DNS)收到响应。
注意:某些代理服务器在DNS查询超时时会返回400或者500错误。

505 HTTP Version Not Supported
服务器不支持,或者拒绝支持在请求中使用的HTTP版本。这暗示着服务器不能或不愿使用与客户端相同的版本。响应中应当包含一个描述了为何版本不被支持以及服务器支持哪些协议的实体。

506 Variant Also Negotiates
由《透明内容协商协议》扩展,代表服务器存在内部配置错误:被请求的协商变元资源被配置为在透明内容协商中使用自己,因此在一个协商处理中不是一个合适的重点。

507 Insufficient Storage
服务器无法存储完成请求所必须的内容。这个状况被认为是临时的。

509 Bandwidth Limit Exceeded
服务器达到带宽限制。这不是一个官方的状态码,但是仍被广泛使用。

510 Not Extended
获取资源所需要的策略并没有被满足。