解:A=
a0b
020
b0-2
由tr(A)=a+2-2=1得a=1
由|A|=-4-2b^2=-12且b>0得b=2.
所以A=
102
020
20-2
|A-λE|=
1-λ02
02-λ0
20-2-λ
=(2-λ)[(1-λ)(-2-λ)-4]
=(2-λ)(λ^2+λ-6)
=(2-λ)(λ-2)(λ+3).
(A-2E)x=0的基础解系为a1=(0,1,0)^T,a2=(2,0,1)^T
(A+3E)x=0的基础解系为a3=(1,0,-2)^T
将a1,a2,a3单位化构成正交矩阵Q
则Y=QX为正交变换,f=2y1^2+2y2^2-3y3^2.