虎年春节，撸了一个文言文白话文转换器
source link: https://mp.weixin.qq.com/s?__biz=MjM5ODkzMzMwMQ%3D%3D&%3Bmid=2650428941&%3Bidx=1&%3Bsn=e7e434e4f6ba8c93fe50918cff2007da
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
虎年春节，撸了一个文言文白话文转换器
春节前几天，看到了东北大学小牛翻译团队开源的语料项目：文言文（古文）-现代文平行语料（https://github.com/NiuTrans/Classical-Modern） ，这个项目整理了非常全的文言文（古文）- 现代文（白话文）对齐数据，基本涵盖了大部分经典古籍著作，并且对原始爬取的篇章级对齐数据进行了断句及人工校对，形成了共计约96万句对的文言文-白话文对齐（平行）语料。
这份语料数据很珍贵，看到的第一眼想到就是用这份文言文现代文对齐语料训练一个文言文白话文转换器：文言文（古文）转白话文（现代文），白话文（现代文）转文言文（古文）。
刚好春节假期有点闲，于是训练了两个神经网络机器翻译模型：文言文（古文）到白话文（现代文），白话文（现代文）到文言文（古文），现在可以在AINLP公众号直接对话测试了，至于效果，基于语料和模型的水平，仅供一乐，大家可以自行评估。
具体使用方法：关注AINLP公众号，对话输入"文言文转白话文：待转换内容"或者"文转白：待转换内容"测试文言文转白话文，输入"白话文转文言文：待转换内容"或者"白转文：待转换内容"测试白话文转文言文：
以下是我的一些测试结果，感兴趣的朋友可以关注AINLP公众号直接测试：
也可以先用AINLP写一段文言文，然后再翻译成白话文，不过看起来有点怪：
以下是AINLP目前支持的自动生成模块，欢迎关注测试：
鼠年春节，用 GPT-2 自动写对联和对对联
用 GPT-2 自动写诗，从五言绝句开始自动作诗机&藏头诗生成器：五言、七言、绝句、律诗全了
仅供娱乐，藏尾诗生成器来了
进技术交流群请添加AINLP小助手微信（id: ainlper)
请备注具体方向+所用到的相关技术点
关于AINLP
AINLP 是一个有趣有AI的自然语言处理社区，专注于 AI、NLP、机器学习、深度学习、推荐算法等相关技术的分享，主题包括文本摘要、智能问答、聊天机器人、机器翻译、自动生成、知识图谱、预训练模型、推荐系统、计算广告、招聘信息、求职经验分享等，欢迎关注！加技术交流群请添加AINLPer(id：ainlper)，备注工作/研究方向+加群目的。
阅读至此了，分享、点赞、在看三选一吧🙏
Recommend
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK