我看了一下 2 万人和我的克隆人都聊了些啥，结果不是很乐观

五月 14, 2023

上一篇文章，我介绍了我用自己的微信聊天数据和博客文章来训练的文本聊天模型，这篇文章被广泛传播，以致出现了很多没有必要的误会，例如很多人和这个AI聊完之后，认为我有7个女朋友，有两个男朋友，居住在北京西城区，支付宝密码是 -465g41#$ ，在北京航空航天大学读研究生等等

在此首先我想做个澄清，这些都是错的，都是这个 AI 瞎编的。

这里有必要再具体一些的说明我的训练方式——即便我拿来“开刀”的模型只有60亿参数（相较于chatgpt上千亿的参数已经很小了），将 60 亿参数全部重新训练也不现实，成本还是其次，要“喂饱”这60亿参数也需要比我的十万条数据多得多的数据，因此，我采用的是一种对部分参数微调的办法，模型的参数被分为了许多神经网络层，我主要调整的是 KV 层，这一层的参数更多的像是一种逻辑，说话方式，感觉，而不是具体的知识，模型的知识储存在其它层，虽然 KV 层的调整也会影响知识，但总的来说，在 KV 层注入知识是非常费力的。

我花了很大功夫，才让模型知道我叫啥，指望聊天记录中没出现过，或者只是出现过几次的信息，模型就记住，那根本就不可能，所以本质上它不会泄露我的任何隐私。

即便如此，很多人还是乐此不疲的和这个 AI 聊天，过去的这段时间，共有超过 2 万人，和我的克隆人聊了 13 万次。我并没有对每一句话做搜集，甚至连 Google 统计都没有用，但日志里记录了所有的请求，这是完全匿名的数据，所以我可以从日志里做一些数据分析。

一开始，我只是简单根据独立IP，统计有多少人来聊过，然后看一共有多少次生成记录，日志里有很多乱七八糟的信息，做进一步的分析会非常麻烦。

五一假期的时候，我组装的固定翼飞机炸鸡了，等网上买的零件送到的过程实在太无聊，所以我又重新捡起这些日志输出，开始看有没有什么办法能做点好玩的分析，说来惭愧，我又想到了 chatgpt，首先我让 chatgpt 帮我写了脚本，将其中的所有用户的输入和模型的输出全部匹配出来，然后我用它们做了两张词云图：

mbd_file_NDdfNDE1ODM5XzE2ODMyMDgwNzYyOTNfMTY4MzIwODA3NjI5Mw.png

这是大家发过来的文本生成的词云图，从这张图中，大家喜欢聊什么一目了然，大约有三千人问我的女朋友叫什么名字，粗略统计，模型一共生成了两千多个名字，当然，没有一个是对的。此外还有上千人致力于探索我的支付宝密码和银行卡密码，大多数时候 AI 都会敷衍过去，但还是有一小部分得到了一个看上去像是密码的，其实是瞎编的字符串，甚至还有人兴高采烈去发贴，认为套出了我的密码，很遗憾，这确实都是瞎编的。

因为一开始的某些误会，很多人和它聊天的时候都试图和它对骂，或者诱导它骂人，这个倒是大多数人都成功了，希望被骂的朋友不要生气。

mbd_file_NDdfNDE1ODM5XzE2ODMyMDg5ODA4MzBfMTY4MzIwODk4MDgzMQ.png

这是 AI 回复的词生成的词云图，除了作为一个AI模型特有的机器人啦，聊天啦，人工智能啦之类经常会出现的词之外，「哈哈哈」和「可以」很明显，这某种程度上确实像是我经常敷衍时候说的话。

从聊天轮次来看，超过 45% 的人和他聊了二十句以上，这非常出乎我的意料，因为我训练用的全是单轮对话，所以模型在多轮对话的表现上是非常弱鸡的，直观感受就是记不住前面的话，容易变的错乱。在这样的情况下大家还愿意和他聊这么多，可能说明，如果一个bot，人们愿意把它当成一个人，那么投射进去的情感，会让人忽略掉一些明显的缺点。

在上线后不久，我加入了一个问卷，询问大家觉得这个聊天bot如何，60%的人觉得它很不错，有人认为它很狡猾