(1)∵a+b=x+y=2,ax+by=5,
∴ay+bx=(a+b)(x+y)-(ax+by)=2*2-5=-1
∴(a²+b²)xy+ab(x²+y²)=(ax+by)*(ay+bx)
=5(ay+bx)=5*(-1)=-5
(2)∵由x+y+z=5得:x+y=5-z①,
将①式代入xy+yz+zx=3,整理得:xy=z²-5z+3②,
∴由根与系数的关系知:x、y是方程M²-(5-z)M+(z²-5z+3)=0③的两根,
又∵xyz均为实数,
∴对于方程③有:Δ≥0,
即Δ=[-(5-z)]²-4*1*(z²-5z+3)≥0,
整理得:3z²-10z-13≤0,
(z+1)(3z-13)≤0,
解得:-1≤z≤13/3
∴z的最大值是13/3.