首页 > 专题系列 > 算法分析 > 算法引论
2013
12-26

算法引论

算法引论

何谓算法(Algorithm

通俗的讲,算法是指解决问题的一种方法或一个过程。严格的讲,算法是若干指令的有穷序列,满足性质:

(1) 输入:有零个或者多个外部量作为算法的输入。

(2) 输出:算法产生至少一个量作为输出。

(3) 确定性:组成算法的每条指令是清晰,无歧义的。

(4) 有限性:算法中每条指令的执行次数是有限的,执行每条指令的时间也是有限的。

何谓程序(Program)

程序是算法用某种程序设计语言的具体实现。程序可以不满足算法的性质(4)即有限性。例如操作系统,它是在无限循环中执行的程序,因而不是算法。然后可把操作系统的各种任务看成一些单独的问题,每一个问题由操作系统中的一个子程序通过特定的算法实现。该子程序得到的输出结果后便终止。

问题求解(Problem Solving)

 

算法设计过程

1 理解问题

2 了解计算机设备的性能

3 在精确解法和近似解法间做选择

4 确定适当的数据结构

5 算法设计技术

6 详细表述算法的方法

7 证明算法的正确性

8 分析算法

9 为算法写代码

算法复杂性分析

算法复杂性 算法所需要的计算机资源;

算法的时间复杂性T(n);

算法的空间复杂性S(n);

其中n是问题的规模(输入大小).

1算法渐近复杂性

 

t(n)T(n)的渐近性态,为算法的渐近复杂性。

在数学上, t(n)T(n)的渐近表达式,是T(n)略去低阶项留下的主项。它比T(n) 简单。

2渐近分析的记号

在下面的讨论中,对所有nf(n) >= 0g(n)>=0

(1)渐近上界记号Ο

O(g(n)) = { f(n) | 存在正常数cn0使得对所有n >=n0有:0 <= f(n)<= cg(n) }

(2)渐近下界记号Ω

Ω(g(n)) = { f(n) | 存在正常数cn0使得对所有n>=n0有:0 <=cg(n)<=f(n) }

(3)非紧上界记号o 

o(g(n)) = { f(n) | 对于任何正常数c>0,存在正数和n0 >0使得对所有n>=n0有:0 <=f(n)<cg(n) }

等价于  f(n) / g(n) ->0 ,as  n->∞。

(4)非紧下界记号ω

ω(g(n)) = { f(n) | 对于任何正常数c>0,存在正数和n0 >0使得对所有n>=n0有:0 <=cg(n) < f(n) }

等价于  f(n) / g(n)-> ∞,as  n->∞。 f(n) ∈ω(g(n))  等价于g(n) ∈o (f(n)) 

(5)紧渐近界记号Θ

Θ(g(n)) = { f(n) | 存在正常数c1,c2和n0使得对所有n>=n0有:c1g(n)<=f(n)<=c2g(n) }

 定理1: Θ(g(n)) = O (g(n)) ∩Ω(g(n)) 

3渐近分析记号在等式和不等式中的意义

f(n)= Θ(g(n))的确切意义是:f(n)∈Θ(g(n))。

一般情况下,等式和不等式中的渐近记号Θ(g(n))表示Θ(g(n))中的某个函数。

例如:2n*n + 3n + 1 = 2n*n + Θ(n) 表示

2n*n+3n +1=2n*n + f(n),其中f(n) 是Θ(n)中某个函数。

等式和不等式中渐近记号O,o,Ω和Θ的意义是类似的。

4渐近分析中函数比较

f(n)= O(g(n)) ≈a <= b;

f(n)= Ω(g(n)) ≈ a >= b;

f(n)= Θ(g(n)) ≈ a = b;

f(n)= o(g(n)) ≈ a < b;

f(n)= ω(g(n)) ≈ a > b

5渐近分析记号的若干性质

 

(1)传递性:

 

(2)反身性:

(3)对称性

(4)互对称性

 

几种复杂度比较

 

n

Logn

n

nlogn

n^2

n^3

2^n

n!

10

3.3

10

3.3*10

10^2

10^3

10^3

3.6*10^6

10^2

6.6

10^2

6.6*10^2

10^4

10^6

1.3*10^30

9.3*10^157

10^3

10

10^3

1.0*10^4

10^6

10^9

 

 

算法的效率

一个算法的最差效率:是指当输入规模为N时,算法在最坏情况下的效率。

一个算法的最优效率:是指当输入规模为N时,算法在最优情况下的效率。

一个算法的平均效率:在典型或者随机输入的情况下,算法会具有什么样的行为。 

(1)最坏情况下的时间复杂性

  Tmax(n) = max{ T(I) | size(I)=n }

(2)最好情况下的时间复杂性

  Tmin(n) = min{ T(I) | size(I)=n }

(3)平均情况下的时间复杂性

  Tavg(n) = 

 

其中I是问题的规模为n的实例,p(I)是实例I出现的概率。

算法分析方法

例:顺序搜索算法

 

template<class Type>
int seqSearch(Type *a, int n, Type k)
{
     for(int i=0;i<n;i++)
	  if (a[i]==k) return i;
     return -1;
}

(1)Tmax(n) = max{ T(I) | size(I)=n } = O(n)

(2)Tmin(n) = min{ T(I) | size(I)=n } = O(1)

(3)在平均情况下,假设:

 (a) 搜索成功的概率为p ( 0 <= p<= 1 );

(b) 在数组的每个位置i ( 0 <=i < n )搜索成功的概率相同,均为 p/n。

 

 

算法分析的基本法则

1非递归算法

1for / while 循环

循环体内计算时间 * 循环次数;

2)嵌套循环

循环体内计算时间 * 所有循环次数;

3)顺序语句

各语句计算时间相加;

4if-else语句

if语句计算时间和else语句计算时间的较大者。

2递归算法复杂性分析

 

int factorial(int n)
{
	if (n == 0) return 1;          
	return n*factorial(n-1);
}

 

 

 

参考资料 王晓东编著《算法设计与分析(第二版)》

授课教师 张阳教授

转自:http://www.cnblogs.com/chinazhangjie/archive/2010/10/01/1840051.html