Eclipse 配置 Hadoop 开发环境可以参考我的这篇文章Eclipse配置Hadoop开发环境,idea 配置 hadoop 开发环境的搭建分成两部分,安装 Hadoop 插件和配置 Hadoop 开发环境 ,原本我的 idea 版本是.2.4,但是在编译生成 HadoopIntellijPlugin 插件的时候会出现错误,因此又下载了版本的 idea ,才能正常编译生成插件(其他版本还没试过)
idea 官网:/idea/download/other.html
1、下载HadoopIntellijPlugin
github链接:
/fangyuzhong/HadoopIntellijPlugin
下载完成后解压
2、修改pom.xml文件
用记事本打开 pom.xml,将版本号改成你自己的 hadoop 版本号,路径改成你 idea 的安装路径
3、编译打包生成插件
打开 cmd,进入到解压的这个目录(可以直接在某文件夹上方地址栏输入cmd+回车,就会直接进入该目录)
执行命令
mvn clean
可以看到 BUILD SUCCESS
接着执行
mvn assembly:assembly
会开始下载一些包,等待一会,同样看到 BUILD SCUCCESS
在刚刚解压的目录可以看到多了一个 target 文件夹
打开它,里面的 HadoopIntellijPlugin-1.0.zip 就是我们所需要的插件(注意是.zip,不是.jar)
4、idea 配置插件
打开 idea,Configure --> Settings
Plugins --> Install Plugins from Disk
选择刚刚生成的 HadoopIntellijPlugin-1.0.zip (再次提醒是 zip 不是 jar)
然后重启 idea
重启后可以发现上方工具栏出现了 Hadoop,
5、连接HDFS文件系统
点击 Hadoop,然后选择设置
点击这个 + 符号
填写自己的配置,连接描述可以不填
测试按钮有点问题,如果你点了测试按钮。会有下面提示,但是不用管他
点击确定,然后点击 Hadoop 文件系统
可以看到左边弹出如下窗口
可以看到你的 hdfs 文件系统的结构,右键文件或文件夹能够对其进行操作(要先启动集群)
6、补充
1)
我最开始 idea 是版本的,在上面第三步编译时,执行 mvn assembly:assembly 命令的时候会报错
在网上查阅了大量的资料,用了各种不同的方法,还是会失败,后来怀疑可能是 idea 版本的问题,去下载了版本的 idea,然后就能够正常编译了。
2)
如果你的 idea 版本是的,其他配置也没问题但还是无法正常编译打包,那么检查一下你的 maven 版本,maven3以上,jdk1.8以上
后续补充开发环境的配置…