大数据

(large data - Why does the condition number of the covariance matrix explode as number of variables increases?)

发布于 2020-09-17 17:33:08

从N$N$股票N×N$N\times N$的资产收益构造对称协方差矩阵size ，将资产收益作为变量处理。

• 当变量N$N$数量相当少时，例如N=5$N=5$or N=12$N=12$，条件数量在 cond 附近相对较低=1−5$=1-5$。
• 当我增加协方差矩阵中的变量数量时，例如N=30$N=30$or N=50$N=50$，它已经爆炸到 cond=500+$={500}^{+}$范围。

这个讨论解释了当特征/变量具有不同尺度时条件数的恶化，但这显然不适用于我的情况，因为所有变量都在相同的单位：回报。

我的情况与他们的情况有一个共同点，即变量的标准偏差高于或低于另一个（股票的风险比另一个更高或更低），但我不会将其称为规模差异。

为什么协方差矩阵条件数对变量数量的增加如此敏感N$N$？

Questioner

proof_by_accident 2020-09-18 02:46:19

在评论中解释这一点有点限制，抱歉：

假设居中数据矩阵X$X$，那么你的协方差矩阵M=XTX$M=X^{T}X$。这将具有高的条件数，如果奇异值的范围M$M$是高的，因为条件数被定义κ(M)=smaxsmin$\kappa (M)=\frac{s_{\text{max}}}{s_{\text{min}}}$，其中smax$s_{\text{max}}$和smin$s_{\text{min}}$是最小和最大的奇异值M$M$。

让我们看看哪些特征X$X$会在信号值中产生高范围。一般来说，奇异值M$M$满足：

M=∑i=1NsivivTi=VΣVT$$M=\sum _{i=1}^N{s}_i{v}_i{v}_i^T=V\mathrm{\Sigma }{V}^T$$

其中vi$v_i$（V 的列）是一些正交向量，并且Σ$\mathrm{\Sigma }$是一个对角矩阵，其对角线元素是奇异值si$s_i$，其他一切都是 0。由于V−1=VT$V^{-1}=V^T$（因为正交）我们可以看到即：

Σ=VTMV=VTXTXV=(XV)T(XV)$$\mathrm{\Sigma }=V^{T}MV=V^T{X}^{T}XV=(XV{)}^T(XV)$$

让(XV)i$(XV{)}_i$表示 的ith$i^{\text{th}}$列XV$XV$，矩阵乘法被设置为：

si=(XV)Ti(XV)i=|(XV)i|2$$s_i=(XV{)}_i^T(XV{)}_i=|(XV{)}_i{|}^2$$

因此，如果 的某些列XV$XV$非常大而其他列非常小，那么某些si$s_i$将非常大而其他将非常小。发生这种情况时，你的条件数将很大（根据条件数的定义）。

回忆一下线性代数，因为V$V$是正交矩阵，所以 的列XV$XV$只是 的列的旋转X$X$。实际上，乘法V$V$所做的是旋转数据矩阵，使其变化最大的方向与数据空间的基本方向对齐。的大列XV$XV$对应数据变化较大的方向，小列对应数据变化很小的方向。对于你的数据，听起来好像只有 的D<<N$D<<N$列XV$XV$具有可观的量级，而其余的列非常小。这个数字D$D$不会增长太多，但N$N$会增长。作为N$N$增长，数据在每个新维度上的变化越来越小，越来越smin$s_{\text{min}}$低，并导致κ(M)$\kappa (M)$爆炸。