1500字范文,内容丰富有趣,写作好帮手!
1500字范文 > IntelliJ IDEA搭建Hadoop开发环境(上)

IntelliJ IDEA搭建Hadoop开发环境(上)

时间:2021-03-20 04:00:51

相关推荐

IntelliJ IDEA搭建Hadoop开发环境(上)

Eclipse 配置 Hadoop 开发环境可以参考我的这篇文章Eclipse配置Hadoop开发环境,idea 配置 hadoop 开发环境的搭建分成两部分,安装 Hadoop 插件和配置 Hadoop 开发环境 ,原本我的 idea 版本是.2.4,但是在编译生成 HadoopIntellijPlugin 插件的时候会出现错误,因此又下载了版本的 idea ,才能正常编译生成插件(其他版本还没试过)

idea 官网:/idea/download/other.html

1、下载HadoopIntellijPlugin

github链接:

/fangyuzhong/HadoopIntellijPlugin

下载完成后解压

2、修改pom.xml文件

用记事本打开 pom.xml,将版本号改成你自己的 hadoop 版本号,路径改成你 idea 的安装路径

3、编译打包生成插件

打开 cmd,进入到解压的这个目录(可以直接在某文件夹上方地址栏输入cmd+回车,就会直接进入该目录)

执行命令

mvn clean

可以看到 BUILD SUCCESS

接着执行

mvn assembly:assembly

会开始下载一些包,等待一会,同样看到 BUILD SCUCCESS

在刚刚解压的目录可以看到多了一个 target 文件夹

打开它,里面的 HadoopIntellijPlugin-1.0.zip 就是我们所需要的插件(注意是.zip,不是.jar)

4、idea 配置插件

打开 idea,Configure --> Settings

Plugins --> Install Plugins from Disk

选择刚刚生成的 HadoopIntellijPlugin-1.0.zip (再次提醒是 zip 不是 jar)

然后重启 idea

重启后可以发现上方工具栏出现了 Hadoop,

5、连接HDFS文件系统

点击 Hadoop,然后选择设置

点击这个 + 符号

填写自己的配置,连接描述可以不填

测试按钮有点问题,如果你点了测试按钮。会有下面提示,但是不用管他

点击确定,然后点击 Hadoop 文件系统

可以看到左边弹出如下窗口

可以看到你的 hdfs 文件系统的结构,右键文件或文件夹能够对其进行操作(要先启动集群)

6、补充

1)

我最开始 idea 是版本的,在上面第三步编译时,执行 mvn assembly:assembly 命令的时候会报错

在网上查阅了大量的资料,用了各种不同的方法,还是会失败,后来怀疑可能是 idea 版本的问题,去下载了版本的 idea,然后就能够正常编译了。

2)

如果你的 idea 版本是的,其他配置也没问题但还是无法正常编译打包,那么检查一下你的 maven 版本,maven3以上,jdk1.8以上

后续补充开发环境的配置…

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。