Google开源C/C++版MapReduce框架?
据GigaOM消息,谷歌上周宣布将优艾设计网_平面设计开源C用MapReduce(MR4C),这是一个自己用C开发的MapReduce框架,这将给Hadoop社区带来好消息,因为用户可以在自己的Hadoop环境中运行原生C和C代码。
Hadoop是很多大数据应用的基础。它是由Apache Foundation开发的分布式系统基础设施,主要由分布式文件系统HDFS和计算框架MapReduce组成。由于MapReduce最初是用Java编写的,性能略逊于C语言,所以很多处理大规模数据集的软件公司都开发了自己的专有系统,在MapReduce框架内执行自己的原生代码。脸书的HipHop(将PHP转换为C)和MemSQL在执行前将SQL转换为C代码都是出于同样的性能考虑。
MR4C最初由卫星成像公司Skybox Imaging开发,目的是优化其地理空间数据和计算机视觉代码库。MR4C是围绕几个简单的概念开发的,其目标是抽象MapReduce的重要细节,让用户专注于开发有价值的算法。去年6月,谷歌收购了Skybox。现在,半年过去了,MR4C又开源了。对于无法开发专有系统或对Java不感兴趣的开发人员来说,这无疑是一个福音。
当然,MR4C的受欢迎程度还有待观察。在数据处理方面,Apache Spark是一个比Mapreduce更快的框架。它支持Scala、Python和Java(但不支持C/C),引起了开发界的极大兴趣。
精彩评论