4
👏🏻 [妙笔写作助手] 基于 ChatGPT 开发的一款垂直应用，顺便聊聊如何提速。
source link: https://www.v2ex.com/t/921229
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
一个基于 ChatGPT 的小程序，目前可以帮你写周报，文章检查与润色以及写小红书文案等。 如果反响还行，后面会开发网站，并且新增功能。
优化了一下，能秒出结果了。 输入内容不能太少，要不然就是人工智障。
🚀 如何提速？
我的速度，经过我和我身边人的测试还是可以的，我是这么做的。
- 后端服务器在国内，通过反向代理解决 OpenAI 被墙问题。
- 使用 OpenAI 的流式传输，也即参数 Stream=True ，这种也是 EventStream 的方式。
- 后端接口全异步，使用 FastAPI + aiohttp 模块。
- 由于小程序不支持 EventStream 的方式，所以我使用 websocket 的方式替代。
- 上面那样做，是为了实时渲染 ChatGPT 的返回结果。
经过这些优化，基本可以做到秒出结果（非高并发情景，大佬勿喷）。
Recommend
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK