免费、开源且堪比GPT 4！Meta在训练Llama 3了？
source link: https://awtmt.com/articles/3696631
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
免费、开源且堪比GPT 4！Meta在训练Llama 3了？
有消息称，Meta正在开发比GPT4更强大的人工智能大模型Llama3，开源且免费！
据人工智能新闻网站the decoder，这是OpenAI工程师、前谷歌大脑工程师Jason Wei在Meta组织的Generative AI Group社交活动中无意中听到的消息。
Wei表示，他注意到Meta现在有足够的计算能力来训练Llama3和4。Llama3计划达到GPT-4的性能水平，但仍将免费提供。
不过，目前还没有关于Llama3何时发布甚至是否发布的官方声明。从今年2月发布的Llama1到7月的Llama2，Meta花了大约五个月的时间。
但值得一提的是，GPT-4具有比Llama标准版更复杂的架构。文章称，GPT-4可能通过使用更复杂的专家混合架构来实现其高性能，该架构具有16个专家网络，每个网络具有约1110亿个参数。
因此，从Llama 2跳到Llama 3可能不只是简单地进行扩展，并且可能比从Llama 1跳到Llama 2需要花费更长的时间。
Llama2在某些应用中达到了GPT-3.5的水平，并且还通过微调和额外功能由开源社区进行优化。
例如，最近发布的基于Llama2的CodeLlama，通过微调在Human Eval编码基准测试中达到了GPT-3.5和GPT-4水平的结果(取决于测量类型)。
然而，在关于Llama2的论文中，Meta自己指出,与GPT-4和谷歌的PaLM-2等闭源模型之间仍存在巨大的性能差距。
所以可以说，Llama2在某些方面达到了GPT-3.5的水平，但与最先进的闭源模型GPT-4相比，仍存在明显的差距。它主要的优势在于其开源性，即允许研究人员和开发者基于它进行调优和创新。
英国《金融时报》7月中旬报道称，Meta开发Llama模型的主要目标是，打破OpenAI在大语言模型（LLM）市场的主导地位。Meta可能会尝试将Llama模型建立为LLM市场的一项支持技术，类似于谷歌在移动市场上对Android所做的事情，以便稍后推出更多产品。此外，Meta还从开源社区模型的快速开发中受益。
OpenAI首席执行官Sam Altman于6月上旬表示，GPT-5距离训练发布还很远。谷歌计划在今年年底或明年初推出下一代多模态LLM Gemini。
Recommend
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK