他的首页
他的馆藏
他的动态
馆友反馈
关于他
| 共 3120 篇文章 |
|
一些通用的Makefile文件模板。编写测试例程，文件存放目录结构如下，头文件存放在“include”目录，库文件存放在“lib”目录，源文件存放在“source”目录，Makefile在当前目录下。/*头文件*/#ifndef _FUN_LIB_SO_H_#define _FUN_LIB_SO_H_#endifextern void fun_lib_so_printf(void);/*头文件*/#include <stdio.h>#include "fun_li... 阅7 转0 评0 公众公开 24-01-11 18:18 |
领域/场景大模型也太难训了吧领域/场景大模型也太难训了吧 包包算法笔记 2023-08-18 09:27 发表于北京。个人的一些拙见是，如果想快速的将领域大模型落地，最简单的是将系统中原有能力进行升级，即大模型在固定的某一个或某几个任务上的效果超过原有模型。但这对现有领域模型是十分困难的，所以在哪些场景上来用大模型是很关键的，并且如何... 阅77 转0 评0 公众公开 23-09-12 18:40 |
PEFT | Transformer参数量、计算量、显存占用分析前言。MLP的中间激活 第一个线性层需要保存其输入，占用显存大小为激活函数需要保存其输入，占用显存大小为第二个线性层需要保存其输入，占用显存大小为最后有一个dropout操作，需要保存mask矩阵，占用显存大小为。然后，本文分析了transformer模型前向计算过程中产生的中间激活值的显存大小，... 阅525 转1 评0 公众公开 23-09-06 17:47 |
Broadcast,Scatter,Gather,Reduce,All Broadcast.All-reduce与reduce的区别就在于后者最后的结果是只保存在一个进程中，而All-reduce需要每个进程都有同样的结果。所以All-reduce一般包含scatter操作，所以有时候也会看到reduce-scatter这种说法，其实reduce-scatter可以看成是all reduce的一种实现方式。 阅47 转0 评0 公众公开 23-09-06 10:26 |
最近，笔者关注的知乎博主"回旋托马斯x"（文章链接详见附录）最近也发表了类似PPT综述，介绍大模型结构、训练目标、位置编码、tokenizer、层归一化、激活函数及多头注意力机制等重要细节；"回旋托马斯x"的综述很适合作为笔者之前文章的姊妹篇或进阶篇，该综述针对大模型及其前沿技术做了更为具体全面的介绍，非常利于大家... 阅142 转6 评0 公众公开 23-09-06 09:00 |
2023年7月6日，在2023世界人工智能大会（WAIC）科学前沿全体会议上，深度学习与计算机专家、上海人工智能实验室教授、香港中文大学教授林达华，发布了“书生通用大模型体系”（以下简称“书生大模型”），包括书生·多模态、书生·浦语InternLM和书生·天际LandMark等三大基础模型，以及首个面向大模型研发与应用的全链条开源体系。 阅1 转自处女座的... 公众公开 23-08-25 18:22 |
关于大语言模型的11个应用方向和16个挑战总结：来自来自伦敦大学、MetaAI等机构合作的688篇参考文献与业界实践。前天，EleutherAI、MetaAI、StabilityAI、伦敦大学等研究人员合作提交了一个关于大语言模型（Large Language Model，LLM）的挑战和应用的论文综述，引用了688篇参考文献总结了当前LLM的主要挑战和应用方向。作者先说的LLM挑战，再... 阅297 转2 评0 公众公开 23-07-26 17:37 |
LLM 全景图 （The Landscape of LLM）OpenAI API接口通过 Prompt 工程构建SFT 模型。InstructGPT：Training language models to follow instructions with human feedback[Blog]：最后才到 InstructGPT，罗马不是一天建成，能看到 OpenAI 在 RLHF 上是积累了很长时间的，到 InstructGPT 可能是 API 用户反馈有类似需求，当时没引起太大反响，直... 阅62 转0 评0 公众公开 23-07-26 17:32 |
650亿参数，8块GPU就能全参数微调：邱锡鹏团队把大模型门槛打下来了机器之心报道。该研究评估了 LOMO 的内存和吞吐量性能，表明借助 LOMO，研究者在 8 个 RTX 3090 GPU 上就可以训练 65B 参数的模型。本文方法减少了梯度的内存使用，从存储所有参数的梯度到只存储一个参数的梯度。大部分 LOMO 内存使用与参数高效微调方法的内存使用一致，这表... 阅42 转1 评0 公众公开 23-06-21 09:54 |
FinGPT：一个「专用于金融领域」的开源大语言模型（LLM）框架，源码公开！这几类数据对于市场动态都能给出独特的见解，通过整合这些数据，金融语言模型FinGPT能够促进人们对金融市场有更全面的了解，进而做出有利的金融决策。基于以上问题，本文提出FinGPT，它是专为在金融领域应用大型语言模型 (LLM) 而设计的开源框架。通过维护更新的模型，F... 阅107 转1 评0 公众公开 23-06-19 10:20 |
