| 共 512 篇文章 |
|
为什么训练大模型需要大量的GPU或TPU？- 大模型在训练过程中涉及大量的浮点运算，GPU和TPU专为高性能浮点计算而优化，能够提供比传统CPU更高的计算能力。- 大模型需要频繁访问和更新大量的参数，GPU和TPU具有高内存带宽，可以快速读写数据，这对于模型的训练效率至关重要。- 尽管GPU和TPU在计算能力上远超CPU，但它们通常更加能源高效。由于上... 阅1 转0 评0 公众公开 24-04-23 18:12 |
终结长文本之战：Meta爆改Transformer，实现无限上下文长度的新算法。为评估在长文本序列建模方面的效率，研究将Megalodon扩展到70亿参数规模，并应用于2万亿token的大语言模型训练。为了评估Megalodon在跟随指令和对齐方面的泛化能力，研究在受控环境下基于专门的指令对齐数据，对Megalodon-7B的基础模型展开微调。研究评估了Megalodon在中等... 阅4 转0 评0 公众公开 24-04-17 18:29 |
水木ai知识库由水木AI社区发起，旨在持续收集高质量AI行业报告，AI学习资料，供相关从业者阅读学习，此外，还有丰富的社区活动。疯语咒AI为大家提供海量免费的AI学习材料，包括AI课程、AI学习资源、AI项目、AI代码、AI研究论文、AI基础理论、深度学习、机器学习、提示词工程师、大语言模型、ai绘画设计、模型训练、token、llms、chatgpt、Midjo... 阅7 转0 评0 公众公开 24-04-03 00:00 |
实际上在过去的一年多，国内外大厂、相关技术人员甚至普通的AI爱好者们，本着追赶AI浪潮与时代共同进步的原则，已经用爱发电了很多AI产品和学习资源。Vega AI.可惜目前只对白名单用户开放Beta测试，从界面上来看应该是打算从小白用户服务到专业用户，AI生成音乐和AI编曲辅助功能应有尽有。想进阶还有IBM跟Coursera合作的《面向所有人的人工智能... 阅1 转自天承办公室 公众公开 24-03-27 00:11 |
一图解析：世界模拟器Sora作为世界模拟器的视频生成模型Video generation models as world simulatorsOpenAI团队探索了基于视频数据对生成模型进行大规模训练。OpenAI团队比较了Sora与其将所有训练视频裁剪为方形的模型版本（这是训练生成模型时的常见做法）进行了比较。OpenAI团队在官网（https://openai.com/sora）中列举了模型的其他常见失... 阅5 转0 评0 公众公开 24-03-25 22:32 |
这里主要介绍最常用的工具：AI聊天对话、AI绘画、AI音视频以及AI办公，更多AI工具可以去这个网站找：http://ainavigator.topAI聊天。是目前最强大的AI工具之一。Huggingface：AI界中的GitHub，有很全的AI模型和应用-https://huggingface.coAIGC知识社群：每日更新10+优质的AI学习资源，包括不限于AI绘画/AI聊天/ChatGPT、Midjourney、Stable Di... 阅24 转2 评0 公众公开 24-03-25 22:12 |
Copilot&GPT万能沟通「公式」让AI秒懂你的需求。经常使用 Copilot 的你，是否真的掌握了下达指令Prompt的技巧？Copilot 虽然具备强大的任务处理能力，但只有给出「精确、具体」的指令Prompt，才能让它瞬间Get你的想法，助你高效完成工作。毕业论文党路过我的论文润色小技巧——指令Prompt：请分析下文各段句子之间的逻辑性和连贯性。 阅6 转0 评0 公众公开 24-03-15 10:33 |
思维链提出者Jason Wei：关于大模型的6个直觉。很显然，训练前沿语言模型需要花费很多资金，而我们之所以还这么做，是因为我们有信心使用更大的神经网络和更多数据就能得到更好的模型（即增大模型和数据规模时性能不会饱和）。直觉 4：预计增大语言模型规模（模型大小和数据）会改善损失。下图给出了 8 个这类任务的例子，其中模型较小时性能是... 阅2 转0 评0 公众公开 23-12-07 01:30 |
Vol.17 OpenAI 创始人 Ilya 伊利亚 的 5 个关键演讲。每次有人问我 GPT 的本质、局限或者 OpenAI 的发展历史时，我都会强烈推荐对方去 Youtube 或者 B 站搜索 OpenAI 三个创始人（Sam Altman, Ilya Sutskever, Greg Brockman）的演讲和采访。语言是一个序列，图片也是，生命也是 中文版： Youtube 原版（推荐）：https://www.youtube.com/w... 阅15 转0 评0 公众公开 23-11-27 10:29 |
白盒Transformer——CRATE.https://github.com/Ma-Lab-Berkeley/CRATE可以使用以下代码定义一个CRATE模型。from model.crate import CRATEdim = 384n_heads = 6depth = 12model = CRATE(image_size=224, patch_size=16, num_classes=1000, dim=dim, depth=depth, heads=n_heads, dim_head=dim // n_heads)预训练检查点 (ImageNet-1K)在ImageNet... 阅11 转0 评0 公众公开 23-11-26 12:44 |
