2023年7月13日发(作者：)

Eclipse配置Hadoop开发环境1、安装Eclipse Hadoop插件从⽹上下载与hadoop版本相同的插件，⼀般⽹上都能下载到hadoop2.x版本的插件，由于我的hadoop版本是⽐较新的hadoop3.2.1，在⽹上找了很久也没有找到对应版本的插件，因此只能⾃⼰编译⽣成，⽅法可以参考我的另⼀篇⽂章：，但是后⾯在使⽤⾃⼰⽣成的插件时发现还是有问题，可能时缺少某些 jar 包所致，⽬前还在寻找解决⽅法，偶然发现 hadoop-eclipse-plugin-2.8.3 可以正常使⽤，因此先⽤着，本⼈是在虚拟机上安装的 linux 系统和 hadoop ，在 Windows 本地编译源程序，然后访问 hadoop 集群。⾸先，关闭eclipse，并将下载的插件拷贝到 eclipse 安装⽬录的 plugins ⽬录下，插件最好要跟版本号对应启动eclipse（新加⼊插件后第⼀次启动可能需要点时间）可以发现左侧多了⼀个 DFS Location ，说明插件安装成功2、配置Eclipse先将安装在 Linux 中的 hadoop ⽂件夹传送到 Windows ，并解压然后点击 eclipse 上⽅⼯具栏 Window --> Preferences选择 Hadoop Mapduce/Reduce ，路径选择你刚刚从虚拟机传送过来的 hadoop ⽂件夹接下来 Window --> Perspective --> Open perspective --> Other选择 Map/Reduce可以看到下⾯出现了 Map/Reduce Locations3、建⽴与hadoop集群的连接在 Map/Reduce Locations 空⽩的地⽅右键 --> New Hadoop location ，配置在Windows下访问hadoop 集群的位置及相关信息⽅框中的Host 与Port，必须与Hadoop集群的配置保持⼀致配置完成后点击 Finish展开左侧 DFS Locations ，可以看到 HDFS 中的⽂件列表，HDFS 中要有⽂件（需要先启动 hadoop 集群）4、下载 和 两个⽂件 防⽌报 nativeio 异常，没有 的话会报空指针异常（如下图）5、测试⽤户可以通过 hdfs dfs 等操作命令在 hadoop 集群上对⽂件做出操作，也可以在 eclipse 左侧的 DFS Locations 处右键⽂件进⾏操作注意：能够读取 HDFS 中的⽂件并不代表⽤户拥有对 HDFS 的操作权限，我们需要验证对该⽂件系统上传⽂件、删除⽂件等操作能够成功，才表明确实拥有该权限如果⽤户对hadoop⽬录没有写⼊权限，会导致异常的发⽣，可以通过如下命令解决：hdfs dfs -chmod -R 777 /也可以修改 hadoop 集群的 配置⽂件，将 HDFS ⽂件系统的访问许可检查关闭，添加以下配置sionsfalse演⽰：⼀开始的⽂件，可以看到，uesr/hadoop ⽬录是空的通过命令在 /user/hadoop ⽬录下建⼀个 test ⽂件夹hdfs dfs -mkdir /user/hadoop/test然后右键⽂件，点击 Refresh可以看到我们刚刚⽤命令在 /user/hadoop 下新建的 test ⽂件夹当然也可以直接在这⾥右键新建⽂件或对⽂件进⾏删除、上传等操作到这⾥，Eclipse 配置 Hadoop 开发环境就完成了，接下来你就可以⽤ Eclipse 进⾏ MapReduce 程序的开发了！