分享几个超大规模分布式计算的应用案例

大数据
后台-插件-广告管理-内容页头部广告(手机)

Laxcus集群操作系统能够做到现在,发展成一个巨型的分布式操作系统,被云计算、物联网、大数据行业广泛采用,尤其是应用到各种大型存储计算工作中,成为分布式计算领域的佼佼者,除了团队成员们一直以来对技术持续不懈的努力攻坚,也和团队早期一大批成员们的实践经历密不可分。今天说说他们早期曾经参与和设计过的一些应用案例,这些案例的很多关键技术,现在多多少少被应用集成到Laxcus集群操作系统里面了。

一、搜索引擎

Laxcus集群操作系统很多核心技术都是从搜索引擎发展来的。这个搜索引擎和Google主打网页搜索不同,是专门用来检索网络上的文档、图像、音乐、视频等流媒体的搜索引擎,另外也支持P2P和P2SP媒体流的搜索。这个搜索引擎早些年曾经红火过一阵,因为市场竞争和政策多种原因,后来被收购了,产品定位也发生转向,现在主打企业网络的网页搜索和媒体资源搜索。

这个搜索引擎虽然被收购了,但是在签署协议时,搜索引擎的一些关键技术,包括底层的松耦合架构、分布式处理体系、网络通信、RPC,被当时的创业团队保留下来,现在他们仍然持有这些技术的知识产权,这些技术后来被继续迁移到Laxcus集群操作系统上,成为Laxcus集群操作系统能够发展到今天的基石。

     

二、视频转码

这是一家视频网站的接单项目,网站名字就不说了,有替人宣传嫌疑,他们现在仍然活跃在中国互联网的版图中。项目情况是这样,这家视频网站的内容用MP4格式在网页上播放,但是用户上传的格式多种多样,在服务器端,需要把这些视频转换成统一的MP4格式,保存下来后,经过审核后才能对外播放。这个项目做得相当早,当时互联网视频行业也是刚起步,服务器主流芯片还是奔腾4。视频转码的工作想必大家都在自己的电脑上试过,比如QQ影音里面就有这样的功能,其中最不爽就是因为CPU的处理能力的问题,转码时间都很长。当时一台奔腾4的服务器,一个100M左右的视频转码通常需要20分钟以上。为了提高转码效率,让上传用户获得接近实时的处理效果,需要服务器在收完整个视频后,立即将一个视频拆分成多个单元,分散到多台计算机上进行转码,然后回收所有转码视频,按照顺序重新组合成一个新视频。上面说过,创始团队的成员们是做流媒体搜索引擎起家的,他们有丰富的工作经验,所以这项工作没什么难度,轻车熟路,很快就完成了。只要机器足够多,视频差不多可以以接近实时的状态完成转码。后来又再一次改进,从用户上传视频开始立即进行转码,收到一段转码一段,用户的视频上传完毕,我们的转码工作也完成,用户可以马上看到自己上传的转码后视频,基本上是零延时,并且稳定性、效率都高于对方提出的要求。做完这个,甲方老板很满意,接着又给了一个CDN的项目,现在双方仍保持着合作的关系。Laxcus集群操作系统里面的大数据和分布计算模块,就被他们应用在后台的数据管理中。

三、超高速空气流体

这个项目当时是高度保密的,我们公司的某位成员曾是项目参与人之一,所以我有机会知道一些。项目本身就可以写一篇论文,题目是《关于空中移动目标运行轨迹和落点的问题》。当时是国内某保密企业(简称密企)发下来的,实质就是炮弹打导弹,大概是想看看能不能打着,论证技术可行性。当时我们公司这位成员,他个人还在体制内,因为研究领域和空气动力学毫不相关,这方面的知识基本属于文盲,知道的也就是那么几个有限的名词和数学公式,但是这正好符合密企的要求,不需要他们这些码农们懂那么高深的空气动力学理论知识,密企派人来合作这个项目。听这位大哥说,这个项目的处理过程被分为:追踪、定位、计算、发射、击落五个阶段,其中最主要的工作是计算阶段,由他们码农来完成,要求能够根据各方面提供的瞬时参数,结合计算机的高速计算能力,计算出提前量,指挥火炮射击。计算工作是把很多传感器(没有明说是什么传感器,但是地球人都明白这个东西应该是雷达)接收的数据,包括当前多少公里范围内的空气的风速、风向、地表的曲面率,还有其它一些指标数据在收集后(这些瞬间产生的三维数据的数据量非常大),分散到一大堆计算机上去执行,并且要很快计算出结果(必须比空中移动的目标快,否则就是捕捉到目标也是白瞎)。当时密企准备了100多台服务器做分布式并行计算。项目的根本核心还是需要依赖大内存、高性能的CPU、图形加速器、高速网络,同时跳过硬盘这道IO瓶颈,才能实现快速计算。据这位大哥他本人说,这个项目花了很长时间,主要是与合作方的沟通改进,然后是再沟通再改进,循环往复,周而复始。最后终于完成。据说试验是在西北某个靶场进行的,测试效果非常好,可行性很高,更上面的领导非常满意,还摆了庆功酒。我个人感兴趣的是想知道怎么计算的,用的什么算法,后来问这位参与项目的大哥,但是他说是秘密,不能外泄。但是他又说,现在看来,如果当时有Laxcus集群操作系统,有分布式应用开发架构,这种分布式计算加内存计算的开发效率会快很多,不用花上大半年功夫。炮弹打导弹,做的是“防”,现在更先进的DF17已经服役,做的是“攻”,而且地球人都知道了,这种项目应该不需要再保密了吧?

     

四、地质仿真计算

现在说的这个项目和国内某油的页岩气有关。利用计算机辅助找矿、挖矿、分析矿脉,也是Laxcus集群操作系统擅长的工作之一。当前的背景是在四川涪陵发现了大面积的天然气田,按照油气共生的自然规律,某油想通过采集页岩样本,分析这个地区的地下有没有石油资源,如果有,是否有开采价值。据说这套程序原本已经是有的,艾克森.美孚石油公司开发,跑在CARY-1向量机上。但是CARY-1计算器是上世纪七十年代的超级计算机,和我国的天河1号超级计算机一个档次,过了近三十年已经无法满足业务需求,属于进博物馆的老古董,还有就是很多数据分析计算理论已经过时,需要调整。甲方最不满意的地方就是速度太慢,计算一次经常是几个小时几天才能出结果。这一次又是合作,甲方出熟悉开采石油的技术专家,我们其中一位创始成员是当时乙方公司的成员,他们出熟悉高性能计算的码农。这个项目前前后后合作捣鼓了大半年,算是完成了。这次乙方完全使用了自创的数据计算分析算法,再加上高性能计算机的加持,计算效率获得指数级提高。据这位创始成员他自己说,有些技术后来也被他拿来,应用到Laxcus集群操作系统上了。和上面说的炮弹打导弹一样,这个页岩气项目也是静悄悄开始,静悄悄结束,没有了下文,也不知道是不是找到了油田。但是现在从公开报道看,应该是没有找到,或者是不太理想,不符合油田开采标准吧。

   
后台-插件-广告管理-内容页尾部广告(手机)
标签:

评论留言

我要留言

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。