矩阵、向量求导法则

复杂矩阵问题求导方法：可以从小到大，从scalar到vector再到matrix。

 x is a column vector, A is a matrix

d(A?x)/dx=A$d(A?x)/dx=A$            

d(xT?A)/dxT=A$d(x^T?A)/d{x}^T=A$   

d(xT?A)/dx=AT$d(x^T?A)/dx=A^T$    

d(xT?A?x)/dx=xT(AT+A)$d(x^T?A?x)/dx=x^T(A^T+A)$

 

practice: