全连接神经网络理论上性能是优于卷积神经网络吗？

你指的应该是Alex Krizhevsky、Ilya Sutskever、Geoffrey E. Hinton在2012年发表的《ImageNet Classification with Deep Convolutional Neural Networks》（https://papers./paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf）。

（图为AlexNet架构，来源：上述论文）

第1页末尾有这样一句话：

Thus, compared to standard feedforward neural networks with similarly-sized layers, CNNs have much fewer connections and parameters and so they are easier to train, while their theoretically best performance is likely to be only slightly worse.

翻译一下：

因此，相比具备类似尺寸的标准前馈神经网络，CNN（译者注：卷积神经网络）连接和参数更少，因此更容易训练，而它们的理论最佳表现大概仅仅稍微差一点。

黑体部分是我特意加上的，为了突出重点：

1. 论文说的是“理论最佳表现”（theoretically best performance），“卷积神经网络的理论最佳表现比全连接神经网络稍微差一点”和“卷积神经网络理论上比全连接神经网络表现稍微差一点”是两回事（有点像绕口令，类比一下可能更容易理解，“理论上力气最大的猫比狗力气大”和“理论上猫比狗力气大”是两回事）。
2. 其次，“大概”（likely）表示这仅仅是推断，并没有经过严格的形式上的证明，或者有大量的统计数据佐证。
3. “仅仅稍微”（only slightly）说明论文作者本意是强调卷积神经网络和全连接神经网络表现相当，而不是强调不如。

所以，你理解的方向可能有些偏差。至于为何卷积神经网络的理论最佳表现要差一点，这是因为卷积操作毕竟损失了信息，所以，从直觉上而言，理论最佳表现会差一点。