12

这半年来,我埋头做的那些事

 3 years ago
source link: https://www.nndev.cn/archives/2048
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
neoserver,ios ssh client

跳至内容

技术人成长 – 聊技术,话成长

C/C++ C# Java Python PHP JavaScript 云计算 大数据 物联网 人工智能 区块链

workhard.jpg

大概去年十月份,我以技术负责人的身份加入了一家外包公司。在此之前我经常说,有我类似技术经验的人,基本不会去外包公司,但这次不一样,因为我并不是去做那些业务需求每天都变更的外包项目,而是负责公司战略转型过程中需要配套的研发体系的构建。去年我曾经写了一本小电子书《漫谈中小企业研发技术栈》,说实话,里面的大部分内容我都曾经接触或使用过,但是因为各种各样的原因,主要是研发投入不够的原因,导致那些方法论并没有能在哪家公司完全实施起来。因此,这对我来说,是一次加强验证理论框架和持续成长的机会,当然更重要的是对公司来说,能帮助公司摆脱老套的技术架构和管理方式,并通过建立起新的研发体系,提高生产率,降低研发成本。

说到技术体系,除了需要一些通用的如持续集成、持续部署系统外,还包括公司大方向上的技术栈选择、基础核心代码构成、开发规范、甚至是团队沟通方式等。比如对于我们来说,拥抱云原生就是我们大方向上的选型,但是具体组件的使用还是跟业务类型有关。更具体一点来说,我们最底下是基于容器的私有云平台,上面是大数据计算框架,很多数据的采集和处理就在这一层完成,也是在这一层,我们沉淀数据极其处理方法,构建公司的数据中台。再上面,是我们的共享服务层,这一层沉淀我们具有共性的业务逻辑,构建公司的业务中台。比如用户中心这种可以对接各种应用的模块,就是在这一层完成,还有日志功能,也是在这一层实现,上面五花八门的应用统一通过共享服务层的网关调用日志接口,就可以将日志写入到HBase数据库中。这样一来,各种应用业务的日志记录方式就统一了起来,并持久化到统一的存储系统中,再通过统一的日志查询接口,可以获取各种应用的日志进行后续分析,或将日志展现给系统管理员。

数据中台和业务中台,一起构成了数字中台。中台这个概念流行了一段时间,虽然被很多人认为是噱头,但在我看来,它代表了对企业服务模型的一种思考,是企业级能力复用的一种手段。建设中台有很多难点,首先是企业高层要对中台的目标和作用有一定的理解,而且短期内不能有太高的预期,毕竟平台的建设不是一蹴而就。其次是需要具备产品眼光的人,能够准确勾画出基于中台的产品蓝图,产品蓝图和公司的战略是一致的。再次是需要具备较为广阔的技术视野的技术人才,对中台建设进行技术选型,这种选型最好是具备一定的前瞻性,然后进行核心体系的构建。最后,也是非常重要的,就是需要深谙业务逻辑的人员,将共性的业务逻辑进行合理的抽象,并在共享服务层中实现,达到业务功能的复用。从这个层面来看的话,中台涉及到公司的战略、产品、技术、业务,需要这些不同角色人员的密切配合才能完成,因此某种程度上,也代表了可能需要公司进行组织架构的调整。

方法论有了之后,需要进行具体落实,比如私有云平台的搭建。因此,这半年来,我很多时间都花在k8s的学习和使用上。几年前我曾经搭建过各种私有云系统,那时候大多都使用了传统的虚拟化技术,比如KVM、Xen等,而近年来容器技术的发展如日中天,云原生可以说是未来几年或十年的技术走向,因此我也免不了要入坑。因为建设私有云,我又重新去温习了几年前用过的分布式存储系统Ceph,然后又需要对这些系统的运维、灾备进行了解和实验,此外,还需要对采用的网络方案进行比较、选择等。以前我经常说,自建私有云是脏活累活,小公司不要做这些事情,应该直接使用公有云,因此我工作和学习的重心也从云平台建设转到了应用层的开发和架构上来,但是目前公司的客户对象是企事业单位,对数据的保密性等有更高的要求,或者说他们就是觉得私有云更安全,即便事实上不一定正确。也是因为这个原因,我又回到了鼓捣私有云系统建设这么一个工作上来。

私有云平台有了,虽然还有很多不完善的地方,但只能持续的慢慢演化。上面的大数据计算框架,如何选型、如何衔接起来,也需要花费时间去试验。再上面的共享服务层,使用微服务应用架构,这个架构的核心代码最初是我亲手实现的。基于大数据存储和微服务框架,我设计了一套监控和日志系统,使得我们可以从统一的控制面板去监控所有的应用、服务,还可以从这个统一的控制面板去查询日志,高效定位应用问题。我将监控和日志功能做成一个插件,所有的业务应用只需简单集成下我的插件,就具备了将自己的应用集成到统一控制面板的功能,同时具备了将日志存储到大数据存储系统中的功能。总结起来就是,技术上,我这半年来搭建了公司的私有云平台和基于私有云的大数据平台,实现了公司共享服务层的微服务架构核心代码,设计了监控日志架构并编写代码实现。

技术之外,我主要推进项目管理工具的使用,使得大家的任务透明化、责任明晰化,从而实现任务检查的节点化、时间化,然后具体的工作检查由各个项目经理来完成。还有很大一部分时间,花在了人员招聘上。这半年来,我大概对200多位技术人员进行了面试,期间也是感触颇多,因此我打算专门写一篇文章来总结招聘这个话题,想了解的读者们可以期待一下。

以上就是我近半年来主要的工作内容,回首之际,有失有得,留下了某些小遗憾,但更多的是感激、感恩,总体而言,还是得到的更多。这半年来,几乎没怎么打开微信朋友圈,主要是觉得自己没有什么想表达的,同时也没有了解其他人日常生活的意愿,或许是因为,我找到了工作和生活的重心后,把时间都花在这上面了。

欢迎关注微信视频号:

%E8%A7%86%E9%A2%91%E5%8F%B7%E4%BA%8C%E7%BB%B4%E7%A0%81-4.jpg

About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK