cdhhadoop路径（cdh日志路径）

14.Kerberos环境下添加Gateway节点

将CM集群中的krbconf文件拷贝至Gateway节点，并放置在/etc目录下。在Gateway节点上测试Kerberos客户端是否部署成功，通过kinit -kt fayson.keytab fayson命令获取Kerberos票据，并通过klist命令查看票据信息。

hbase.thrift.support.proxyuser=true：允许Thrift网关模拟其他用户（即doAs功能）。

安全性：为了保障数据传输的安全性，NFSGateway支持Kerberos认证和IPsec加密技术。这些安全措施可以有效地防止数据泄露和非法访问，确保数据的完整性和保密性。应用场景 数据中心：在数据中心环境中，NFSGateway可以提供对共享存储的访问，使得多个服务器能够共享数据和资源，提高了资源利用率和管理效率。

端口说明：8080端口同80端口，是被用于WWW代理服务的，可以实现网页浏览，经常在访问某个网站或使用代理服务器的时候，会加上“：8080”端口号，比如http：//：8080。 端口漏洞：8080端口可以被各种病毒程序所利用，比如Brown Orifice（BrO）特洛伊木马病毒可以利用8080端口完全遥控被感染的计算机。

Hackers或Crackers 利用这些服务器作为传送warez （私有程序） 和pron的节点。 22 ssh PcAnywhere 建立TCP和这一端口的连接可能是为了寻找ssh。这一服务有许多弱点。如果配置成特定的模式，许多使用RSAREF库的版本有不少漏洞。（建议在其它端口运行ssh）。

目前路由研究领域共有14个处于活动状态的工作组。

复制Hadoop集群之后无法访问端口50070的问题

在尝试连接集群时，发现因为没有修改ip地址，导致三台虚拟机无法形成集群。在装完所有环境后，首次访问端口50070出现问题。启动Hadoop并执行jps命令后，发现namenode和datanode运行正常，本地ip可以ping通。但是，通过执行netstat -tnpl命令后发现端口状态正常。

Hadoop 50070端口无法访问，且NameNode启动失败的原因可能有以下几点：内存条或主板内存插槽问题：接触不良：内存条与主板内存插槽之间可能存在接触不良的情况。此时，可以尝试拔出内存条，用橡皮擦拭内存条的金手指部位，然后重新插入，以解决接触不良的问题。

启动hadoop后，要看哪些界面或功能之前，建议先用jps或是netstat -ano看下相应的端口是否已经开启了，如果端口没开启，是肯定看不了相应的界面的。 试下看吧。

综上所述，Hadoop集群启动但没有DataNode/NameNode的情况通常是由配置文件错误、SSH免密配置不当或重复初始化等问题导致的。通过仔细检查配置文件、SSH免密配置以及处理重复初始化问题，通常可以解决这些问题并成功启动Hadoop集群。

问题：防火墙屏蔽HDFS端口（如50070），导致Web界面或网络访问失败。解决：临时关闭防火墙（systemctl stop firewalld）或永久禁用（systemctl disable firewalld）。开放HDFS相关端口（如firewall-cmd --add-port=50070/tcp --permanent）。

如何查看hadoop版本

1、通过在集群上执行：hadoop version 命令可以查看对应的hadoop的版本。查看hadoop集群的位数：执行：cd $HADOOP_HOME/lib/native file libhadoop.so.0.0 Hadoop属于一个能够对大量数据进行分布式处理的软件框架。 Hadoop 以一种可靠、高效、可伸缩的方式进行数据处理。Hadoop的发行版除了有Apache hadoop外cloudera，hortonworks，mapR，DKhadoop等都提供了自己的商业版本。

2、安装Hadoop在宝塔面板的“软件商店”中搜索“Hadoop”，选择“Apache Hadoop”，点击“一键安装”。安装完成后，在“软件管理”页面可查看Hadoop状态。 配置Hadoop进入Hadoop的配置页面，修改以下核心文件：hadoop-env.sh：设置JAVA_HOME路径（指向宝塔安装的Java目录）。

3、访问官方网站：首先，需要访问大数据软件的官方网站，如Hadoop、Spark等。查找历史版本：在官方网站上，通常会有一个“Previous Releases”或“历史版本”的链接。点击该链接，即可查看并下载所需的历史版本。选择版本：在历史版本页面中，根据自己的需求选择合适的版本进行下载。

4、确认操作系统版本兼容性CentOS 7：通常兼容Hadoop x系列，无需额外配置。CentOS 8：可能需要调整配置或升级Hadoop版本。建议参考Hadoop官方文档的兼容性矩阵确认版本匹配。操作建议：使用cat /etc/centos-release查看系统版本，确保与Hadoop版本一致。

5、验证Hadoop版本：运行hadoop version，确认输出正确。

6、扩展知识：查看已运行软件的安装位置若软件正在运行，可通过ps命令结合进程名定位其安装路径。例如，查看hadoop的安装位置：ps -aux | grep hadoop输出结果中会显示进程的完整路径（通常在第二列或最后一列），从而确定软件的安装目录。此方法适用于所有已启动的服务或程序。

CDH的介绍和部署

支持多种安装方式：CDH支持多种安装方式，包括Cloudera Manager、Yum、Rpm和Tarball等，方便用户根据实际需求进行选择。CDH部署 以下是CDH的部署步骤：准备虚拟机 首先，需要准备三台虚拟机作为CDH的部署节点。这些虚拟机需要配置好静态IP，并开启SSH免密钥登录，以便进行后续的集群管理。

CDH介绍 全称：Clouderas Distribution Including Apache Hadoop。提供商：由Cloudera公司提供。特点：随着Hadoop的发展而不断迭代，以满足企业级大数据处理的需求。CDH在Hadoop的基础上进行了易用性和管理性的改进，提供更完善的工具和服务。

然后，正式部署CDH，首先进行cm server和agent的离线部署，此过程包括解压所需软件包（已在上文提及），若已具备，则跳过此步直接执行安装命令。接着，所有节点安装cm agent，主节点安装cm server，确保服务的正确配置与启动。

集成：组件版本管理，确保兼容性。状态管理：维护集群状态，简化管理过程。配置管理：服务、角色和主机层面的详细配置。进程管理：利用supervisord进行高效进程管理。软件包管理：支持packages和parcels两种格式。主机管理：多样化的节点管理和资源分配。

将指定的JDBC驱动放置在主节点的指定目录下，并确保去掉版本号，以便CDH正确识别和使用。CDH部署：cm server和agent离线部署：解压所需软件包，并执行安装命令。安装cm agent：在所有节点上安装cm agent。安装cm server：在主节点上安装cm server，并确保服务正确配置与启动。

CDH：采用了现代化和高效的构建工具和流程，可以快速生成和管理分发版本。通过Cloudera Manager，可以实现自动化部署和配置，提高部署效率和一致性。Hadoop版：强调自主性和手动性，用户需要手动安装和配置各个组件，自行构建Hadoop集群。