1500字范文,内容丰富有趣,写作好帮手!
1500字范文 > 会飞的猪(Pig)

会飞的猪(Pig)

时间:2021-02-24 18:59:34

相关推荐

会飞的猪(Pig)

猪会飞么?

提高pig的性能,让猪飞起来有如下办法:

1.尽早地并经常地进行过滤

2.尽早地并经常地进行映射

3.正确并合理地使用Join

4.选择正确的数据类型,合适的并行值

5.调整pig 的性能属性:pig.cachedbag.menusage 和pig.skewedjoin.reduce.memusage

6.对中间结果进行压缩

Describe 命令会显示脚本中指定关系的模式。

explain 可以深入到pig内部看如何将用户的脚本编译成MapReduce任务的。

illustrate 对用户的数据进行抽样并且对抽样的数据执行用户的脚本。

在提交的hadoop集群执行之前,pig需要消耗几秒钟来解析脚本,这些M/R任务真正运行时才会显示在JobTracker页面上。

PigUnit提供了一个集成到JUnit中的单元测试框架,在0.8版本引入的。

Hadoop降低了IO约束但并没有消除,如果map任务的个数两倍于实际的槽位来执行,那就将消耗两倍于平均map过程执行时间来执行完所有的map任务,如果再额外增加一个map任务,所消耗时间将增加到平均时间的3倍。

shuffle数据量大小是指从map任务转移到reduce任务的数据量大小,一般需要m X r 个网络连接。

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。