2
Together 联合斯坦福等机构开启 RedPajama 计划，旨在创建完全开源的大型语言模型
source link: https://www.8btc.com/article/6814928
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
2023-04-23 03:44
Together 联合斯坦福等机构开启 RedPajama 计划，旨在创建完全开源的大型语言模型
据 VentureBeat 报道，总部位于加州的专注于建立去中心化云和开源模式的公司 Together 近日宣布了 RedPajama 计划。据悉，RedPajama 是 Together、Ontocord.ai、ETH DS3 Lab、斯坦福 CRFM、Hazy Research 和 MILA 魁北克人工智能研究所之间的一个合作项目，旨在创建领先的、完全开源的大型语言模型（LLM）。其训练将基于 LLaMA 的 1.2 万亿 token 数据集。这些数据使任何组织都能对模型进行预训练，并可获得许可。
在未来几周，Together 将发布一整套 LLM 和基于 RedPajama 数据集的指令调整版本。该公司强调，即将推出的模型将是完全开源的，并且在商业上是可行的。
Recommend
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK