mongodb – Hadoop Map / Reduce与内置地图/缩小

使用Hadoop map / reduce与MongoDB的内置地图/减少对Map / reduce进行Map / reduce工作的主要区别是什么?

什么时候选择哪个地图/减少引擎?每个引擎对mongodb中存储的数据进行处理的优缺点是什么?

我的回答是基于Hadoop MR的知识和经验以及Mongo DB MR的学习。
让我们看看是什么主要的区别,然后尝试定义选择的标准:
区别是:

> Hadoop的MR可以用Java编写,而MongoDB的JavaScript是JavaScript。
> Hadoop的MR能够使用所有内核,而MongoDB是单线程的。
> Hadoop MR不会与数据并置,而Mongo DB将被并置。
> Hadoop MR拥有数以百万计的发动机/小时,可以应付大量产量,数据偏移等众多角落。
>有更高级别的框架,如猪,Hive,级联构建在Hadoop MR引擎之上。
> Hadoop MR是主流,也有很多社区支持。

从以上我可以提出以下选择标准:
选择Mongo DB MR如果您需要简单的组合和过滤,不要指望在map和reduce之间进行大量的混洗。换句话说 – 简单一些

如果要进行复杂的,计算密集的MR作业(例如一些回归计算),请选择hadoop MR。在map和reduce之间有很多或不可预测的数据大小也表明Hadoop MR。

Java是一个更强大的语言,更多的库,特别是统计数据。应该考虑到这一点。

http://stackoverflow.com/questions/9287585/hadoop-map-reduce-vs-built-in-map-reduce

本站文章除注明转载外,均为本站原创或编译
转载请明显位置注明出处:mongodb – Hadoop Map / Reduce与内置地图/缩小