”使用MRUnit进行MapReduce“ 的搜索结果

     1. 为什么需要单元测试　一旦MapReduce项目提交到集群之后，若是出现问题是很难定位和修改的，...2. 使用什么框架进行单元测试　MRUnit是Cloudera公司专为Hadoop MapReduce写的单元测试框架，其API非常简洁实用。...

     MRUnit测试支持JAR包，它便于将已知的输入传递给mapper或者检查reducer的输出是否符合预期。MRUnit与标准的执行框架（JUnit）一起使用。

     1、参考 http://www.cnblogs.com/gpcuster/archive/2009/10/04/1577921.html ... 2、实战 [code="...官方文档 wiki：https://cwiki.apache.org/confluence/display/MRUNIT/...

     MRUnit是一款由Couldera公司开发的专门针对Hadoop中编写MapReduce单元测试的框架。 推荐的版本为：hadoop-0.20.1+133.tar.gz。 下载这个文件后，你将在hadoop-0.20.1+133\contrib\mrunit目录中找到我们需要的jar包...

     向大家强烈推荐cloudera的mrunit非常好用，简直可以说太棒了，我的一个略微复杂的MR job每次测试都不够敏捷，有时候使用mock，有时候部署到线上，调试耗时非常巨大，最近开始使用mrunit，有了它，每次只要跑起测试，...

     使用MRunit 测试 MapReduce ,就比如我们写java 程序是的junit单元测试，其实，mrunit 和标准的junit框架一起使用，可以将mapreduce作业的测试作为正常开发环境的一部分运行。 准备测试的包：mrunit-1.1.0-hadoop2....

     MRUnit简介：  当hadoop的MapReduce作业提交到集群环境中运行，对于出问题的定位比较是比较麻烦的，有时需要一遍遍的修改代码和打印出日志来排查一个很小的问题，如果数据量大的话调试起来相当耗时间。因此有必要...

      这篇文章将略微绕开使用MapReduce实现数据密集型处理中发现的模式，以讨论同样重要的测试。 汤姆•惠勒 （ Tom Wheeler）在纽约2012年Strata / Hadoop World会议上参加的一次演讲给了我部分启发。 当处理大型数据集...

     1. 了解JUnit4.x的使用。 2. 了解Mock的概念在单元测试中的应用。 3. 了解Hadoop中MapReduce的编程模型。 如果您对Junit和Mock不了解，可以先阅读[翻译]Unit testing with JUnit 4.x and EasyMock in ...

     1. 了解JUnit4.x的使用。 2. 了解Mock的概念在单元测试中的应用。 3. 了解Hadoop中MapReduce的编程模型。 如果您对Junit和Mock不了解，可以先阅读[翻译]Unit testing with JUnit 4.x and EasyMock in Eclipse -

     这篇文章将略微绕开使用MapReduce实现数据密集型处理中的模式，以讨论同样重要的测试。 汤姆•惠勒 （ Tom Wheeler）在纽约2012年Strata / Hadoop World会议上参加的一次演讲给了我部分启发。 处理大型数据集时，...

     单元测试是用来对一个模块、一个函数... 本文结合具体的例子，简单总结如何使用MRUnit来对Hadoop的Mapper和Reducer进行单元测试。本文的相关代码可以从Github获取：https://github.com/liujinguang/hadoop-study.git

     　MRUnit是一款由Couldera公司开发的专门针对Hadoop中编写MapReduce单元测试的框架。 定义Map逻辑 import java.io.IOException; import org.apache.hadoop.io.*; import org.apache.hadoop.mapreduce....

mrunit-1.1.0.jar

标签：   hadoop

     hadoop本地测试的jar包 ,mrunit-1.1.0-hadoop2.jar,使用后可在本地进行MapReduce代码测试

10  
9  
8  
7  
6  
5  
4  
3  
2  
1  

推荐文章