| 共 92 篇文章 |
|
这些数据被称为多模态大数据，包含丰富的多模态和跨模态信息，对传统的数据融合方法提出了巨大的挑战。Srivastava 和 Salakhutdinov （2012） 提出了一种基于深度玻尔兹曼学习模型的多模态生成模型，通过拟合多模态数据在各种模态（如图像、文本和音频）上的联合分布来学习多模态表示。在共享模态表示中，在去噪自编码器的激励下，引入了特定于... 阅1 转0 评0 公众公开 24-04-21 23:57 |
OpenAI最强竞品训练AI拆解LLM黑箱，意外窥见大模型「灵魂」创建一个可解释的AI去理解「AI黑盒」研究人员首先训练了一个非常简单的512神经元AI来预测文本，然后训练了另一个名为「自动编码器」的AI来预测第一个AI的激活模式。或者第一个AI会将「God」和「哥斯拉」放在一起，而第二个AI会将它们分开?第二个AI是否就完全不会有表示「God」的特征，... 阅1 转自天承办公室 公众公开 24-03-24 06:03 |
普林斯顿DeepMind用数学证明：LLM不是随机鹦鹉！如果几乎所有这些连接的文本节点都成功——意味着LLM对这个特定技能所代表的文本的预测非常准确——那么LLM在这个特定技能上是有能力的。这些二分图与LLMs之间的连接使Arora和Goyal能够利用随机图理论的工具来分析LLM的行为。比方说，一个LLM已经可以使用一种技能来生成文本了，那么如果我们把LL... 阅1 转0 评0 公众公开 24-03-09 04:56 |
5月4日，微软官方宣布New bing进入开放预览阶段，用户使用微软账户登录到Bing搜索引擎或Edge浏览器，就可以访问公开预览版的New Bing。微软方面的说法是，Bing把强大的GPT-4大语言模型与微软庞大的搜索索引相结合，以获取最新的对话结果，这从根本上改变了人们查找信息的方式，除Bing以外的任何地方都无法获得。言外之意似乎是说，ChatGPT有的B... 阅1 转自天选小丑 公众公开 23-12-05 17:19 |
让GPT大获成功的in-context learning，其实就是梯度下降？梯度反传，是深度学习模型训练的一个基本概念，即根据拟合目标，计算各个参数上的梯度，基于这个梯度更新模型参数，以达到模型逐渐向更好的方向对目标进行拟合的目的，这也是模型进行下游任务针对性finetune的原因。其中e表示梯度，x表示输入表示，二者的外积得到参数的梯度，原来的模... 阅1 转自520jeffer... 公众公开 23-12-01 13:35 |
分类：应用以分类数据进行模型训练，根据模型对新样本进行精准分类与预测。因为在训练模型的时候，参数全是根据现有训练集里的数据进行修正、拟合，有可能会出现过拟合的情况，即这个参数仅对训练集里的数据拟合比较准确，这个时候再有一个数据需要利用模型预测结果，准确率可能就会很差。复杂模型的对应的函数千奇百怪，毫无任何规则，但平均... 阅4 转0 评0 公众公开 23-11-02 17:11 |
PyTorch版《动手学深度学习》PDF 版开源了内容简介。一位北大的老哥把他翻译成了 Pytorch 版。https://github.com/ShusenTang/Dive-into-DL-PyTorch.https://github.com/OUCMachineLearning/OUCML/blob/master/BOOK/Dive-into-DL-PyTorch.pdf.PyTorch版《动手学深度学习》PDF 版开源了 - 马卡斯·扬的文章 - 知乎https://zhuanlan.zhihu.co... 阅1 转自大邓的Pyt... 公众公开 23-10-01 04:45 |
单个神经元也能实现DNN功能，图像分类准确率达98% | Nature子刊。单神经元的Fit-DNN在功能上真的可以等同于多层神经网络吗？如下图所示，Fit-DNN可以将具有多个延迟环的单个神经元的动态性转化为DNN。不过Fit-DNN真正的问题是，时间循环的单个神经元是否能产生与数十亿个神经元相同的输出。为了证明Fit-DNN和时间状态下的计算能力，研究人员选... 阅1 转自山峰云绕 公众公开 23-09-22 03:46 |
新范式的产生必然会带来全新的限制和挑战，ChatDev 在 7 月发表的论文中声明：由于生成式大语言模型对下一个 Token 采样本身具有一定随机性、ChatDev 里的艺术设计师对 GUI 各个图像素材均是独立生成的、ChatDev 对编程语言存在一定的归纳偏置等，ChatDev 还存在软件生产过程具有一定不确定性、GUI 配图不自然、导致系统隐患、不能胜任中大规模... 阅206 转0 评0 公众公开 23-09-11 23:45 |
用别的模型权重训练神经网络，改神经元不影响输出：英伟达神奇研究机器之心报道编辑：泽南、小舟。权重空间的对称性那么，哪些变换可以应用于 MLP 的权重，使得 MLP 所表征的底层函数不会改变？我们将这些层称为深度权重空间层（DWS 层），并将由它们构建的网络称为深度权重空间网络（DWSNet）。实验一：INR 分类此配置根据 INR 所代表的图像对... 阅2 转0 评0 公众公开 23-09-10 18:14 |
