3

500行代码打造AI搜索引擎!贾扬清周末项目登顶GitHub热榜

 7 months ago
source link: https://www.qbitai.com/2024/01/117181.html
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
neoserver,ios ssh client

500行代码打造AI搜索引擎!贾扬清周末项目登顶GitHub热榜

head.jpg梦晨 2024-01-29 13:48:30 来源:量子位

让天下没有难构建的AI应用

梦晨 发自 凹非寺
量子位 | 公众号 QbitAI

只用500行代码搭出来的AI搜索引擎,登顶GitHub趋势榜。

作者:贾扬清的LeptonAI团队。

7657018b9f8378945c0938fd1ee667d4.png

Lepton Search耗时一个周末打造,仅作为Demo演示而不是正式产品,只为向开发者展示“天下没有难构建的AI应用”

fab2c5b71b25689e5a864f3909d672a2.gif

能理解中文但用英文回答

贾扬清事后感慨到:

这件事并没有那么复杂——我们刚开始时确实以为会更难。

7fea3dd87c62140ba4af3b91469ef19b.png

另外,围绕这个Demo还发生了一些争议。

AI搜索引擎Perplexity创始人认为其参考了自己产品的UI界面,转发评论了一番。

aabdb1e19494fc79c93e8a74db11d4f4.png

贾扬清也做出回应,称无意进入这个市场,更多的是Demo展示以及宣传自家LeptonAI云服务,并且一开始就准备开源。

d359c5802c2547aeed9deeb8427b5761.png

总之,两位大佬“友好”地一番交锋之后,Lepton Search修好bug后立即开源并且迅速获得社区认可

目前,已有偏学术的开源AI搜索引擎SciPhi使用贾扬清的代码完成升级。

7b6662611e6a3eac82fe1d8c35f88ee7.png

500行代码的AI搜索引擎

要注意,AI搜索引擎整体上依然是一个复杂的项目。

Lepton Search之所以500行代码就能实现,正如贾扬清想要展示的,是因为今天的应用开发已经高度模块化

  • 大模型,调用了在自家云上部署的开源Mixtral-8x7b模型。
  • 搜索引擎,目前用了必应搜索的API。
  • 数据存储,用自家Lepton KV作为无服务器存储。
c25fe718b60b4493bcd81ed2b3e9cd0b~noop.image?_iz=58558&from=article.pc_detail&lk3s=953192f4&x-expires=1707111865&x-signature=GHxJ7%2B4eNYWzqZbnE6eep%2BRW%2Bto%3D

这500行代码其实只做到以下几点,就完成一个产品的雏形了:

  • 对大模型和搜索引擎的接口支持
  • 前端UI界面
  • 可缓存和可分享的搜索结果
3c5e1c47900b4aa2af40e749371cca1f~noop.image?_iz=58558&from=article.pc_detail&lk3s=953192f4&x-expires=1707111865&x-signature=630e7A2uopuDVHPbr%2Bn%2BzEqc4Dk%3D

除此之外,贾扬清还分享了开发过程中学到的一些经验:

  • 搜索质量确实非常重要,好的结果片段才能产生好的摘要。
  • 一点AI幻觉其实有助于填补片段中未涉及的“常识”。
  • 开源模型在文本摘要任务上已经做的非常好。
f8241651b76644668ee13a0be93bc7d3~noop.image?_iz=58558&from=article.pc_detail&lk3s=953192f4&x-expires=1707111865&x-signature=q3kMD3EQR4foicywf1UVstid%2FaU%3D

在后续与网友讨论过程中,贾扬清还认为“AI对话式搜索不会取代传统搜索”,还需要依赖传统搜索引擎的结果。

9b93f4884eac430f951148c4ab78f8f5~noop.image?_iz=58558&from=article.pc_detail&lk3s=953192f4&x-expires=1707111865&x-signature=EUT2kmAgbBbrV9CtJn9r5Y1QPNQ%3D

事实上,AI搜索目前正是行业的一个大热门方向。

代表公司正是前面提到的Perplexity,刚刚拿到7360万美元的A轮融资,估值超过5亿美元。

投资者中有英伟达、亚马逊,甚至谷歌AI大佬Jeff Dean和前YouTube CEO也不避嫌,以个人名义参与投资。

并且Perplexity已和部分浏览器厂商如Arc展开合作,成为默认搜索引擎的选项之一。

42140d318ef04ea7b705036fbf50396f~noop.image?_iz=58558&from=article.pc_detail&lk3s=953192f4&x-expires=1707111865&x-signature=Oa4kiypSH4MQbYXm2T5ZwfOvlrQ%3D

Perplexity网页版

更小一些的创业项目方面,比如面向程序员的devv_,面向学术的Consensus也各自受到垂直用户群体的认可。

4bca69abef4549cbb325ec07e35d2dfc~noop.image?_iz=58558&from=article.pc_detail&lk3s=953192f4&x-expires=1707111865&x-signature=veAErnRyNCt7tvRMjeO64AwQRCc%3D

国内大厂也是AI搜索的积极参与者,百度除了以文心一言插件的形式集成了AI搜索之外,还推出了独立的简单搜索App试水。

ba36244eeef44824834c28b170759561~noop.image?_iz=58558&from=article.pc_detail&lk3s=953192f4&x-expires=1707111865&x-signature=Y%2FC%2FS3wIkure%2BMxnVRM8izQN1MQ%3D

360也推出360AI搜索独立APP版,安卓版刚刚上线还是热乎的,连评分数量都还没够展示门槛。

c489d9944d424c37a5841854bed9ba5d~noop.image?_iz=58558&from=article.pc_detail&lk3s=953192f4&x-expires=1707111865&x-signature=PsOxWew2p3ms%2B7ScPy9YJq5KGQ4%3D

昆仑万维的天工AI搜索则已推出了将近半年,其首页推荐问题通常紧追最新热点,很方便吃瓜。

90311188142546fd9b02c7df49247770~noop.image?_iz=58558&from=article.pc_detail&lk3s=953192f4&x-expires=1707111865&x-signature=ALHFhdpyuFa0qLMiMjs%2F5tO1wx4%3D

AI搜索类产品在设计上大致分为三大类

谷歌和百度在传统搜索的页面顶部,以卡片形式展示AI生成结果。

必应、百度文心一言更偏重对话,搜索结果由AI总结提炼后呈现在多轮对话中。

其他产品大多遵循Perplexity为代表的新范式:

  • 搜索结果页面分为“参考链接-AI回答-相关追问”几个模块,并可多轮提问。
  • 搜索结果有历史记录,且可以对外分享
  • Copilot增强模式,AI理解问题后反向提问,引导用户补充搜索条件。
  • 个性化提示词,用于调整AI回答的风格以及格式。

正如Perplexity的CEO所说,他们的产品大获成功后,其模式已成为行业流行标准。

除了宏观的界面、功能之外,更细节之处如“付费功能的免费使用次数”都被一些后来者学走。

参考链接:
[1]https://github.com/leptonai/search_with_lepton
[2]https://twitter.com/jiayq/status/1751633905890038232

版权所有,未经授权不得以任何形式转载及使用,违者必究。

About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK