2024年大数据最全java程序员的AI之路-大数据篇 hadoop安装(1)，已有千人收藏
既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！
由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新
查看该目录下是否存在ifcfg-enoXXX的文件，使用vi编辑（刚安装的虚机只有vi），按照下图进行修改。之后按esc 然后wq！保存退出。
在执行service network restart命令重启网络服务。
之后网络应该就配置完毕。然后就可以使用 yum insatll 开始安装自己喜欢的软件把。（在现在这家公司已经练就了一身运维的功夫，真心感觉linux是好用啊）
三、安装jdk
1、Jdk安装很简单，将安装包放到指定目录解压。我是安装在/usr/etc/目录下面
2、设置环境变量，vim /etc/profile
在最后添加下面几行，根据java的安装目录。
JAVA_HOME=/usr/etc/jdk1.8.0_151
CLASSPATH=$JAVA_HOME/lib/
PATH= P A T H : PATH: PATH:JAVA_HOME/bin
export PATH JAVA_HOME CLASSPATH
3、验证环境变量，输入java -version ,如果出现以下内容说明安装成功
四、设置ssh免密登录
集群、单节点模式都需要用到 SSH 登陆（类似于远程登陆，你可以登录某台 Linux 主机，并且在上面运行命令），但这样登陆是需要每次输入密码的，我们需要配置成SSH无密码登陆比较方便。
利用 ssh-keygen 生成密钥，并将密钥加入到授权中：
1. cd ~/.ssh/ # 若没有该目录，请先执行一次ssh localhost
2. ssh-keygen -t rsa # 会有提示，都按回车就可以
3. cat ./id_rsa.pub >> ./authorized_keys # 加入授权
Shell 命令
~的含义
在 Linux 系统中，~ 代表的是用户的主文件夹，即 “/home/用户名” 这个目录，如你的用户名为 hadoop，则 ~ 就代表 “/home/hadoop/”。 此外，命令中的 # 后面的文字是注释。
此时再用 ssh localhost 命令，无需输入密码就可以直接登陆了。
五、安装hadoop
其实hadoop的安装还是很简单的，但是中间会出现一些异常的坑。。。
1、首先将安装包放在/usr/etc/下面，解压
2、配置hadoop配置文件
1）配置hadoop-env.sh
该"hadoop-env.sh"文件位于"hadoop/etc/hadoop/"目录下。在文件里添加JAVA_HOME java环境变量。
2）配置core-site.xml文件
修改Hadoop核心配置文件core-site.xml，这里配置的是HDFS的地址和端口号。
3）配置hdfs-site.xml文件
修改Hadoop中HDFS的配置，配置的备份方式默认为3。
4、最后修改环境变量
执行 vim ~/.bashrc
在文件里新增以下内容。Java环境变量，以及hadoop的安装路径。
这里我在/etc/profile里面也配置过，按理说应该和在~/.bashrc配置效果一样，但是在/etc/profile配置就会出现hadoop读取不到配置的异常。这个待研究。
export JAVA_HOME=/usr/etc/jdk1.8.0_151
export HADOOP_INSTALL=/usr/etc/hadoop
export PATH= P A T H : PATH: PATH:HADOOP_INSTALL/bin
export PATH= P A T H : PATH: PATH:HADOOP_INSTALL/sbin
export HADOOP_MAPRED_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_HOME=$HADOOP_INSTALL
export HADOOP_HDFS_HOME=$HADOOP_INSTALL
export YARN_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native
export HADOOP_OPTS=“-Djava.library.path=$HADOOP_INSTALL/lib”
然后在执行source ~/.bashrc
使配置生效。
六、启动hadoop
进入hadoop的安装路径 /usr/etc/hadoop/bin 执行hdfs namenode -format
进行格式化，出现以下信息说明格式化成功。
进入/usr/etc/hadoop/sbin 执行start-dfs.sh,成功执行
既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！
由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新
714863045431)]
[外链图片转存中…(img-ZU4X90KN-1714863045431)]
既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！
由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新