28

我在MySQL的那些年(一)

 3 years ago
source link: https://mp.weixin.qq.com/s?__biz=Mzg4NjA4NTAzNQ%3D%3D&%3Bmid=2247489420&%3Bidx=1&%3Bsn=acd70011e45c26445c5abf736e25b400
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
neoserver,ios ssh client

| 作者   赖铮(Allen Lai)前MySQL官方团队成员,专注数据库内核开发近二十年,先后就职于达梦,Teradata,北大方正以及MySQL InnoDB存储引擎团队,是达梦数据库内核,方正XML数据库,以及MySQL InnoDB的GIS支持,透明加密功能的主要开发者。现任腾讯TEG云架构平台部数据库团队专家工程师,负责腾讯云MySQL数据库内核的研发。

rYveAna.png!mobile

Part1 相遇

2012年的春天,我正在张江的一栋橙黄色的大楼里,窗外的阳光很好,我跟我的小伙伴们正在一起奋力地敲打着键盘,随着一阵轻柔的电话铃响起,手机屏幕上显示出一个陌生的号码,“是不是又是骚扰电话?”没管他,我接着做自己的事情。但是手机一直在震动着,好像催促着我,我拿起电话接通,那头传来一个非常轻柔而且职业化的女声,“您好,我是Oracle的招聘顾问Amy,请问您现在方便吗…”。

我的职业生涯从此与MySQL发生了交集。

Amy告诉我MySQL InnoDB团队有意在中国招聘合适的数据库内核工程师,问我有没有兴趣加入。MySQL是什么,the world’s most popular open source database,邀请我加入?我想都没想就回答她:“当然有,而且兴趣很大!”

Amy是个非常专业的HR,非常有效率的安排了我后面的面试事宜,怀着一丝忐忑和兴奋,我开始了进入MySQL团队的面试。

面试第一轮: InnoDB团队manager,Calvin。Calvin是数据库领域的专家,早年中科大毕业出国的那批牛人之一(后续的文章我会专门介绍MySQL的牛人们)。

面试第二轮: InnoDB性能优化专家Innam,Innam是缓冲池性能优化的作者。

面试第三轮: InnoDB大神Marko。Marko是InnoDB创始团队成员之一,存储引擎技术的大神级专家。

面试第四轮: InnoDB架构师Jimmy。Jimmy也是数据库内核的全能型专家,而且是之前是sybase内核团队的老大。

完整的一套流程走下来,其实MySQL的面试并没有想象中的那么多规则和高难度,前后4轮,基本都是聊天,主要围绕以前做过的事情和对数据库内核的理解,在面试过程中,让我印象比较深(比较有趣)的是三件事:

一个是Innam的口音实在太重,加上从遥远的加拿大打过来,我的英语听力也的确水平不高,所以好多问题都没听懂,当时真的是慌得一批。

另外一个是Marko用google talk问了一个如何发现事务死锁的问题,他的打字速度超级快,以至于我认为对面是个打字机器,直到见到他真人才发现,他就是一台没有感情的程序机器(其实,Marko还是很有意思的一个人,后面我会介绍他的一些趣事)。

最后,和Jimmy的面试是在一个南京西路的咖啡厅里面进行的,两个人似曾相识一般聊了很久,Jimmy是特别赞的一个人,很有亲和力。整个面试的流程总体感觉比较轻松,我也没有刻意准备,或许真的是幸运吧。

Part2 团队

就传统的软件企业来说,MySQL的团队架构相对比较扁平化,层级很少,像我这样的基础员工,离Oracle最大的老板Larry Ellison也就隔了五层。这里面的原因主要是Oracle收购MySQL后的很长一段时间里,基本保留了MySQL团队的原有架构和人员,只是做了一些简单接入。

整个MySQL分为好几个大的团队,有MySQL kernel,MySQL replication和MySQL NDB等等,这些大的团队里面又细分为若干小的团队,比如:MySQL kernel团队里面又分为优化器,server层,InnoDB和QA等。

当时,我所在的InnoDB团队里有base在美国的Calvin,Kevin,Jimmy,芬兰的Marko,澳大利亚的Sunny,加拿大的Innam,Michael,瑞典的Mattias,印度的Satya,保加利亚的Vasil,再加上中国的我,一共只有十一个人,却来自八个不同的国家,是一个完全全球化的研发团队。团队里的每一个人都是经验丰富的数据库内核程序员,比如:Marko是2003年就加入InnoDB的资历最深的大神,Sunny是日后的InnoDB manager,Kevin也是曾经参与过Falcon存储引擎开发的老将,Jimmy曾经领导过Sybase的研发团队等等。可以跟那么多大佬一起工作,实在是一件幸运的事情。

AFremu.jpg!mobile

2013 Team meeting in Shanghai

右起:Jimmy,Yasufumi, Allen, Kevin, Marko, Shaohua, Mattias, Satya, Sunny, Vasil,Aditya, ??, Annamalai, Bin, Michael, ??, Krunal…

Part3 工作

在InnoDB工作,是一件非常开心的事情,因为可以在家上班,这一点说出来相信就有很多人羡慕了,而这对于一个每天需要接送孩子的家长(我)来说,更是非常难得的福利,不仅可以按照自己的节奏分配工作和生活的时间,另外也节省了大量不必要的通勤时间,要知道,去一次Oracle在上海的办公室,来回要两个多小时的时间。

由于是一个全球化的团队,而且,成员也比较有经验,所以,大家的工作方式也很特别。基本上是每个人都专注于自己的工作,相对比较独立,需要合作的时候,通过pigeon、邮件或电话沟通。每周会开一次周会,大家各自汇报自己的工作进展情况,并进行讨论。

除了周会,我们每年还会组织一次team meeting,大家从全球各地汇聚到一起,总结上年的工作,规划明年的目标,谈谈理想,聊聊人生。

在MySQL,研发的流程非常规范。以一个bug修复为例,大致要经历以下几个步骤:

首先,需要根据bug report来分析并复现bug,然后找到修复方法,经过和5级大佬讨论后,确定修复方案并通过bzr创建新的代码分支。

编码完成后,还需要创建对应的MTR test case,并和修复代码一起,放到reviewboard上面请大佬review。Review的过程可能会持续好几轮,因为像Marko这样的大神review的时候非常严谨,不会放过任何一个出问题的细节。

Review完成后,需要把要提交的代码放到测试集群上面去测试。这个自动化测试系统非常强劲,它会同时在多平台上面编译好debug和release版本,再并行测试。

测试完成,确认没有问题后代码才能最终被合并到主干。

我的第一个提交

以上只是一个简单的bug修复过程,而对于更为复杂的特性开发,步骤还会包括前期的创建任务worklog,并在worklog里面相应的填写HLD(High Level Design),LLD(Low Level Design)等设计内容,并且开发原型等。

vMbqAvI.png!mobile

我做的check空间索引的特性worklog

在InnoDB工作的六年时间里,我一共做了461次提交,做过的主要特性包括,InnoDB支持空间索引,透明加密,新的数据字典等等,以下是其中一些worklog的列表:

WL#6968   InnoDB GIS: R-tree index support

WL#6455   InnoDB: GEOMETRY datatypes support

WL#6745   InnoDB GIS: support DML operation for InnoDB R-tree Index

WL#7740   InnoDB GIS: Enhance Check Table for InnoDB Spatial index

WL#8548    InnoDB: Transparent data encryption

WL#9290   InnoDB: Support Transparent Data Encryption for Redo Log

WL#9289   InnoDB: Support Transparent Data Encryption for Undo Tablespaces

WL#9531   InnoDB_New_DD: Enable table encryption and transparent compression

WL#9535.    InnoDB_New_DD: Remove InnoDB system table and modify the view of their I_S counterparts

WL#9537    InnoDB_New_DD: Support InnoDB table import/export for new DD

在这六年里,自己感觉收获了很多很多, 体验到了MySQL这样一个开源的数据库软件产品是如何进行研发的整个过程,也了解了一个成熟的研发体系和国际化团队是如何运作的。与国外大神们一起工作,不仅仅是学习到了知识和技能,也从他们身上发现了一些与我们完全不一样的工作,生活,乃至思维方式, 这对我来说也是一种很新奇的体验。

Part4 离开

随着互联网公司的爆发式崛起,以及MySQL生态链的迅速发展,MySQL团队的很多成员获得了更好的发展机会而逐渐离开。而我也开始了和腾讯云数据库CDB内核TXSQL的故事。

巧的是,就在我离开MySQL不到一年,Oracle宣布关闭中国研发中心。对于Oracle来说,面对着诸如亚马逊,阿里,腾讯的强势冲击以及去O的浪潮,它将经历一段艰难的转型期。而对于MySQL来说,在可预见的未来依旧会是the world’s most popular open source database,身为曾经的MySQL人,我也会在腾讯继续助力MySQL的发展,通过腾讯云MySQL的内核TXSQL为MySQL生态链继续贡献自己的力量。

PS:在后续的系列文章里,我将会陆续跟大家分享一些跟MySQL相关的有意思的事情,让大家更了解MySQL和它的腾讯版本TXSQL,希望大家喜欢。

手机运维小程序限时免费体验!

手机运维小程序——腾讯云数据库上线啦,从此在手机里可以实现实例信息查看,健康报告接收,慢SQL分析和异常查看等功能,以后回家终于可以不背电脑了!

iuYbQbY.jpg!mobile

特惠体验MySQL点这儿~  


About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK