| 共 144 篇文章 |
|
离谱...大模型融合爆了！图为LLMs和KGs的优缺点为了解决这些问题，研究人员提出用知识图谱 (KGs)来加强LLMS。免费扫码参与课程领知识图谱+大模型前沿论文&授课PPT原稿导师推荐100+大模型论文合集。2、知识图谱与LLM融合原因。1）KG增强的LLMs，在LLMs的预训练和推理阶段加入KGs，或者为了加强对LLMs所学知识的理解；3）协同的LLM+KG，其中L... 阅6 转0 评0 公众公开 24-04-04 00:06 |
llya是OpenAI的那个1，其他人是后面的0?2015年，马斯克创立OpenAI的时候，llya被马斯克称为「OpenAI最艰难也最重要的招聘」。OpenAI成立之初Altman和Brockman因为llya而修改了公司成立的日期，等llya来到OpenAI的当天，公司才宣布成立。考虑到OpenAI正在开发GPT5，我们有理由怀疑，llya在GPT5中看到了什么。而OpenAI技术的发展是因为Brockman和... 阅105 转1 评0 公众公开 23-11-24 05:06 |
虽然 NLP 最早的论文出现在 1952 年，但是其论文数量至 2000 年才开始缓慢增长，从 2000 年至 2017 年，NLP 的研究数量增加了四倍，而在接下来的五年中，NLP 的研究数量又翻了一番，这表明这五年 NLP 领域得到了爆炸式的发展，而根据作者构建的论文领域分类集，作者研究了 NLP 中最受欢迎的研究领域（Fos）的发展与变化情况： 阅8 转1 评0 公众公开 23-08-08 05:31 |
揭秘大语言模型实践：分布式推理的工程化落地才是关键！DeepSpeed Inference：是 Microsoft 提供的分布式推理解决方案，提供了对 GPT、BLOOM 等 LLM 模型的分布式推理优化，具体可参考 DeepSpeed Inference [3]。get_model 函数：先进行 model 和分词器的加载，然后将 model 通过 deepspeed.init_inference 转换为具有分布式推理能力的 model，... 阅72 转1 评0 公众公开 23-06-24 04:17 |
AI大模型领域的热门技术——Embedding入门介绍以及为什么Embedding在大语言模型中很重要。Embedding在大模型中的价值。实值向量的embedding可以表示单词的语义，主要是因为这些embedding向量是根据单词在语言上下文中的出现模式进行学习的。那么，此时你有2个向量embedding了，一个是你的问题embedding，一个是之前PDF的embedding。此时，你应... 阅554 转2 评0 公众公开 23-06-03 06:34 |
研究方向 | 文本生成与预训练语言模型。基于对预训练语言模型的记忆、理解、推理和创作能力的测试，我们发现：（1）使用不同预训练目标和策略的模型擅长不同的任务，比如基于双向目标的BERT和使用鲁棒训练策略的RoBERTa能够很好地记忆预训练语料，使用permutation language modeling的XLNet在理解任务中可以有效地建模双向的上下文信息，使用in... 阅21 转0 评0 公众公开 22-09-22 05:09 |
从下图可以看出，无论是采用 CLS 向量还是词向量平均的方式，都还比不过通过 GloVe 训练的词向量求平均的方式要效果好。作者认为，直接用 BERT 句向量来做相似度计算效果较差的原因并不是 BERT 句向量中不包含语义相似度信息，而是其中包含的相似度信息在余弦相似度等简单的指标下无法很好的体现出来。MACSE 是一篇针对医学文本的句向量表征工... 阅28 转0 评0 公众公开 22-08-15 13:30 |
中文文本纠错任务简介。LA位置精确率：识别出笔误位置的句子／总的句子。中文纠错（Chinese Spelling Correct）最新技术方案总结中文文本纠错算法--错别字纠正的二三事中文文本纠错算法走到多远了？中文输入纠错任务整理 nlp 中文文本纠错_百度中文纠错技术中文拼写检测（Chinese Spelling Checking）相关方法、评测任务、榜单 中文(语音结果)... 阅122 转0 评0 公众公开 22-07-26 14:01 |
清华大学开源了一项神器，已经在GitHub爆了。整理自：https://github.com/pwxcoo/chinese-xinhua最近，清华大学在GitHub开源了一项神器叫万词王（Want Wrong），号称是首个支持中文及跨语言查询的开源在线反向词典。关于清华大学自然语言处理与社会人文计算实验室。目前，Wantwords已经在GitHub上标星 1.2K，累计分支 56 个（GitHub地址：https... 阅13 转0 评0 公众公开 21-12-08 23:27 |
EMNLP''21 | 基于相似样本检索的在线更新机器翻译系统。kNN-MT 为神经机器翻译引入了词级别的样本检索机制，使得翻译系统在无需额外训练的情况下，显著提升多领域机器翻译和领域适应机器翻译的能力，同时具有了在线更新的能力。造成这种现象的原因是，kNN-MT 过度依赖了检索到的样本，在检索到的样本与测试样本不相似时，检索到的样本... 阅6 转0 评0 公众公开 21-11-12 06:01 |
