5

AI把小说变漫画?Lore Machine推出AI新工具,224万字文本生成1792张图

 6 months ago
source link: https://www.mittrchina.com/news/detail/13066
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
neoserver,ios ssh client

麻省理工科技评论-AI把小说变漫画?Lore Machine推出AI新工具,224万字文本生成1792张图

AI把小说变漫画?Lore Machine推出AI新工具,224万字文本生成1792张图
经过一年多的开发,Lore Machine 首次向公众开放。
280

13 年前,为了完成一门新闻课的作业,我写了一篇关于一个吃奢侈猫粮的男人的滑稽短篇小说。

今天早上,我坐在电脑前,亲眼目睹了一个名为 Lore Machine 的生成式人工智能平台将我的小说变成了漫画。

674931e95abf472c81c8e1255c96cca1~tplv-obj.image?lk3s=ef143cfe&traceid=20240306154512BE6A6E632EDDCABFEE2A&x-expires=2147483647&x-signature=64A3u2qctCz8mCnohoK9qrsoGmU%3D
(来源:LORE MACHINE)

我把我的故事输入到一个文本框中,屏幕上显示了如下信息:“我们正在识别场景、地点、人物以及氛围。这个过程可能需要 2 分钟。”

Lore Machine 分析了文本,提取了其中对人物和地点的描述,然后将这些信息交给图像生成模型。随后,屏幕上弹出了一个图文并茂的故事板。

当我看到那些几乎被我遗忘的故事角色以生动的漫画效果展示出来时,我甚至有些心跳加速。

85263893da114c678a51d48b43d60bcc~tplv-obj.image?lk3s=ef143cfe&traceid=20240306154512BE6A6E632EDDCABFEE2A&x-expires=2147483647&x-signature=rpOt2EAKm9MCR%2FelJn0jrs3WRlo%3D
图 | 文字描述:故事叙述者坐在地上和猫们一起吃早餐(来源:LORE MACHINE/ WILL DOUGLAS HEAVEN)

经过一年多的开发,Lore Machine 首次向公众开放。每月订阅费 10 美元,你可以总共上传 10 万字的文本(单次最多 3 万字),并为短篇小说、脚本、播客转录文本等生成 80 张图片。

它还有更高级的用户计划,包括每月 160 美元的企业计划,可以接收 224 万字,生成 1792 张图片。

这些配图有一系列预设的风格,包括漫画、水彩和 80 年代的电视节目风等等。

Lore Machine 创始人托贝·坎皮恩(Thobey Campion)向创意机构 Modern Arts 的创始人扎克·莱德(Zac Ryder)展示了该工具的功能,自那以后,该机构就一直在使用该工具的早期版本。

当时,莱德发给坎皮恩一个短片的剧本,坎皮恩利用 Lore Machine 一夜之间将其变成了一部 16 页的漫画小说。

莱德说:“我记得坎皮恩共享了他的屏幕,我们所有人都彻底惊呆了。与其说是被它的图像生成能力所打动,不如说是被它讲故事的水平震惊了。从叙事的流程到人物的情感,它做得都很好。”

Modern Arts 现在正在使用 Lore Machine 为一部漫画系列开发一个虚构宇宙,该漫画系列的文本来自于网飞(Netflix)热剧《爱,死亡和机器人》的创作者。

4261e959fa6f41a08ba62a9fe0c88291~tplv-obj.image?lk3s=ef143cfe&traceid=20240306154512BE6A6E632EDDCABFEE2A&x-expires=2147483647&x-signature=2iACOmJgyLERgpJkMO7GAkc39Zo%3D
图 | 文字描述:故事叙述者在商店里遇到了一个拿猫粮开玩笑的男人(来源:LORE MACHINE / WILL DOUGLAS HEAVEN)

令人震惊的表现背后,Lore Machine 其实是由熟悉的组件构成的。一个大型语言模型会扫描你的文本,识别出对人物和地点的描述以及它的整体情绪。随后,它用到了 Stable Diffusion 的一个版本来生成图像。

它的与众不同之处在于易用性。从上传我的故事,到下载漫画故事板,我大概点击了六次鼠标。

这使它成为新一批十分易用的人工智能工具之一,这些工具将生成式模型的惊人力量隐藏在一键式网络界面后面。

内容创作公司 New Computer 公司的 CEO 本·帕尔默(Ben Palmer)表示:“要跟上新的人工智能工具的发展,需要做很多工作,而且每个工具的界面和工作流程都不同。

使用一个具有统一 UI 设计的大型工具非常有吸引力。我觉得这就是这个行业的发展方向。”

a7769d8ca9cb45719cdfc1f9cc095ac6~tplv-obj.image?lk3s=ef143cfe&traceid=20240306154512BE6A6E632EDDCABFEE2A&x-expires=2147483647&x-signature=ngKO6weXgVYpGVNHAGBmFwBSAzo%3D

不需要提示

两年前,坎皮恩成立了 Lore Machine 背后的公司,致力于开发一种基于区块链的维基百科。但当他看到人们如何使用生成式模型时,他改变了方向。

使用免费的文本到图像模型 Midtravel,坎皮恩制作了英国诗人塞缪尔·泰勒·柯勒律治(Samuel Taylor Coleridge)的经典作品《古舟子咏》的漫画版。他说,这些成果在网上疯传,但制作起来并不容易。

706cef0e0b7d4abf9a851d939fd631a9~tplv-obj.image?lk3s=ef143cfe&traceid=20240306154512BE6A6E632EDDCABFEE2A&x-expires=2147483647&x-signature=%2FprTvVifQ%2FD4e4OsGy7T8NAPoCA%3D
图 | 文字描述:玛尔塔就他们的新饮食与故事叙述者对质(来源:LORE MACHINE/ WILL DOUGLAS HEAVEN)

“我妻子讨厌那个项目。”他说,“我每天早上四点就起床工作,试图把这些图像做好。”可问题是,像 Midtravel 这样的文本到图像模型只会一个接一个地生成图像。

这使得它很难让相同角色在不同画面之间保持一致性,即使在多个图像中锁定特定样式也很难实现。

坎皮恩说:“我最终转向了一种更为曲折、抽象的表达方式。”

这段经历让他意识到这项技术需要更容易使用。坎皮恩没有具体解释 Lore Machine 是如何在一系列漫画画面中保持其图像和风格一致的。

Lore Machine 很不错,但并不完美。在我的故事中的一个场景里,一个短发角色长出了刘海;在另一个场景中,一个角色出现了两次。

这些漫画图片也逐渐开始让人觉得有些宽泛,情节刻画不够具体。但与手动、一次又一次地输入提示相比,这是一个巨大的进步。

“一致性非常好。”莱德说。它让 Modern Arts 有信心在其客户的项目中使用 Lore Machine。他说:“如果我们需要一直回去解决一致性问题,我们就不可能按时交付图片。”

92a22dc5f4954f7d994f0570063133e2~tplv-obj.image?lk3s=ef143cfe&traceid=20240306154512BE6A6E632EDDCABFEE2A&x-expires=2147483647&x-signature=fKWSik81Jp9V3zH9ksdOU9bSZMM%3D
图 | 用人工智能生成的故事板(来源:LORE MACHINE / WILL DOUGLAS HEAVEN)

像所有生成式模型一样,Lore Machine 背后的技术会根据用户指令生成有毒内容。坎皮恩说,他们已经阻止它生成描绘暴力或仇恨刻板印象的图像。

但除此之外,他不愿意抑制艺术家的创造性表达。例如,为名人同人小说制作插图是允许的。

起初,对 Lore Machine 最感兴趣的公司是营销机构。但坎皮恩希望此次公开发布能鼓励更多用户尝试。

他说,六个月前,美国曼哈顿一所学校的校长给他打了电话,该学校专门为有学习障碍的孩子们提供服务。

校长想通过这个工具把他的课本变成漫画,这样孩子们就可以看图学习了。坎皮恩说:“我甚至从未想过这一点,因为我太拘泥于好莱坞一类的东西了。”

作者简介:威尔·道格拉斯·海文(Will Douglas Heaven)是《麻省理工科技评论》人工智能栏目的高级编辑,他主要报道新的研究、新兴趋势及其背后的人。此前,他是英国广播公司(BBC)科技与地缘政治网站 Future Now 的创始编辑,也是 New Scientist 杂志的首席技术编辑。他拥有英国伦敦帝国理工学院计算机科学博士学位,深谙与机器人合作的体验。

支持:Ren

运营/排版:何晨龙


About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK