023-68661681
返回
- 大数据教程（一） Hadoop集群坏境搭建配置
- 大数据教程（二） Hadoop集群坏境CentOS安装
- 大数据教程（三） Hadoop集群分布式坏境搭建
- 大数据教程（四） Hadoop集群VSFTP和SecureCRT安装配置
- 大数据教程（五） Hadoop集群MYSQL的安装
前言
经过前三篇文章的介绍，已经通过VMware安装了Hadoop集群环境，当然，我相信安装的过程肯定遇到或多或少的问题，这些都需要自己解决，解决的过程就是学习的过程，本篇的来介绍几个Hadoop环境中需要用到的软件，确切的说是两款：VSFTP和SecureCRT。
闲言少叙，进入本篇的正题。
背景
这里简要说明下这两款软件的作用。
1、VSFTP这个从字面就能理解就是搭建FTP服务器用的，为什么要搭建FTP服务呢？
我相信，如果按部就班的按照我之前的文章全装Hadoop的童鞋会发现一个很繁琐的过程，那就是各种配置文件的更改和拷贝，并且，因为我们是在Linux系统中操作，所以需要各种命令的熟练操作，是不是很恶心！
所以为了方便上述流程的操作，就需要搭建VSFTP环境，并且配合Notepad++这款软件的使用，会让你插上梦想的翅膀….飞啊飞…
当然，还有一点就是，一般我们都是远程操作的，FTP上传下载文件就更方便了。
2、SecureCRT这个软件是干嘛用的？
先来段官网的介绍，SecureCRT是一款支持SSH（SSH1和SSH2）的终端仿真程序，同时支持Telnet和rlogin协议。SecureCRT是一款用于连接运行包括Windows、UNIX和VMS的远程系统的理想工具。通过使用内含的VCP命令行程序可以进行加密文件的传输。
说的简单点，就是通过这个软件远程操作CentOS操作系统。我相信用弄过Linux操作系统，这个应该很熟悉。
技术准备
VMware虚拟机、CentOS 6.8 64 bit、SecureCRT、VSFTP、Notepad++
安装流程
以上软件需要自行从网上下载，文章最后也能给出部分软件的下载附件。
下面，咱们进去分布式系统的详细操作过程。
1、首先来配置VSFTP环境（root）。
这里的操作需要提权用超级管理员进行安装，而且一般只需要配置Master主机就可以了，因为大部分操作通过Master就可以进行控制。
- 第一步就是检查VSFTP是否已经安装，检查方法如下。
chkconfig | grep vsftpd
如果跟上面的过程没有返回任何结果，那么说明当前机器没有安装VSFTP。
- 第二步，利用yum命令直接下载安装
这里，如果经过上一步骤检查，发现安装，则利用yum命令进行下载安装，需要提示的是：这里机器需要联网。
yum -y install vsftpd
经过，上述步骤就可以成功的安装VSFTP软件了。
下一步，就是进行一些FTP的配置了。
- 第三步，手动创建FTP软件的Log日志文件。
这里需要手动的创建一个文件，目的是来记录Log日志。我们知道在Linux系统中一般所有的临时文件都放在系统自带的var目录下。
touch /var/log/vsftpd.log
- 第四步，将FTP的服务设置成自启动，这样就能开机就能使用。
这里，需要将我们下载的VSFTP服务设置成自启动，方便与我们的的使用。
chkconfig vsftpd on
经过上面的验证，我们已经确保vsftpd服务已经开机自启动。
当然，对于这个服务的启动和关闭，可以通过如下方式进行手动的设置。但是这种设置只要一重启服务器就会失效。
启动ftp服务：service vsftpd start
查看ftp服务状态：service vsftpd status
重启ftp服务：service vsftpd restart
关闭ftp服务：service vsftpd stop
- 第五步，配置VSFTP服务的配置文件。
ls /etc/vsftpd
进入vsftpd的安装目录，需要配置vsftpd.conf文件。
vim /etc/vsftpd/vsftpd.conf
anonymous_enable=YES --> anonymous_enable=NO //不允许匿名用户访问，默认是允许 xferlog_file=/var/log/vsftpd.log #设定vsftpd的服务日志保存路径。注意，该文件默认不存在。必须要手动touch出来 #idle_session_timeout=600 --> idle_session_timeout=600 //会话超时，客户端连接到ftp但未操作，默认被注释掉，可根据个人情况修改 #async_abor_enable=YES --> async_abor_enable=YES //支持异步传输功能，默认是注释掉的，去掉注释 #ascii_upload_enable=YES --> ascii_upload_enable=YES //支持ASCII模式的下载功能，默认是注释掉的，去掉注释 #ascii_download_enable=YES --> ascii_download_enable=YES //支持ASCII模式的上传功能，默认是注释掉的，去掉注释 #ftpd_banner=Welcome to blah FTP service //FTP的登录欢迎语，本身是被注释掉的，去不去都行 #chroot_local_user=YES --> chroot_local_user=YES //禁止本地用户登出自己的FTP主目录，本身被注释掉，去掉注释
按照上面的步骤进行配置就可以了。
最后，给出一些其它配置的信息，可以根据自己需要进行配置。
local_enable=YES //允许本地用户访问，默认就是YES，不用改 write_enable=YES //允许写入，默认是YES，不用改 local_umask=022 //上传后文件的权限掩码，不用改 dirmessage_enable=YES //开启目录标语，默认是YES，开不开无所谓，我是默认就行 xferlog_enable=YES //开启日志，默认是YES，不用改 connect_from_port_20=YES //设定连接端口20 xferlog_std_format=YES //设定vsftpd的服务日志保存路径，不用改 pam_service_name=vsftpd //设定pam服务下vsftpdd的验证配置文件名，不用改 userlist_enable=YES //拒绝登录用户名单，不用改 TCP_wrappers=YES //限制主机对VSFTP服务器的访问，不用改（通过/etc/hosts.deny和/etc/hosts.allow这两个文件来配置）
到此，我们的VSFTP软件已经安装完成，下面我们就来验证一下。
- 第六步，验证VSFTP服务。
其实这里验证的方式就比较多了，比如我们常用的FTP软件都可以，或者你直接在命令行里面敲FTP命令验证也是可以的；
这里我们直接使用Notepad++软件进行编辑，因为我们的大部分操作都是对文件进行编辑，所以这里就推荐这个了。
关于，Notepad++软件的配置使用，这里就不介绍了，很简单，绿色软件下载下来就能使用，连安装都不需要。
点击按钮，进行FTP配置，过程很简单，这里我就不赘述了。
其它选项，一般默认就可以了，当然可以根据需要自行配置。
这里，我再链接的时候提示连接失败，所以这里需要几个点需要配置一下：
<1>关闭防火墙。<2>关闭SELinux服务，编辑 “/etc/selinux/config”文件，设置”SELINUX=disabled”。
然后最重要的一点就是：记得在配置完成配置文件之后，一定要重启VSFTP服务!!!实在不行，就重启服务器。
脚本如下：
service vsftpd restart
然后，再尝试进行重新连接。
好，至此，我们已经能够通过FTP直接连接到我们的Hadoop Master主机的目录了，但是从上面的界面可以看到这里默认的目录只是hadoop用户进入的目录。
显然，这样是不行，因为我们配置的信息基本都是分布于系统的/etc目录下，所以我们需要将VSFTP的默认设置路径进行更改。
在配置文件中增加以下内容：
# add root path local_root=/ chroot_local_user=YES anon_root=/
然后，重启VSFTP的服务，重新连接服务器就可以了。
看上去是不是清爽多了。在这里，我们更改配置文件就简单多了，会用记事本程序就可以操作，而且避免了一些复杂的linux命令，神马Vim等，让他们去死。
看上去是不是清爽多了，而且上传和下载个文件都是那么容易的。
所以，总之一句话：这款软件你值得拥有！
2、使用SecureCRT软件远程管理Linux操作系统
这里关于 SecureCRT软件的使用就很简单了，基本没有啥复杂的配置，就是一个远程操作软件，属于用户密码就可以直接操作。
更主要的这款软件和上面的Notepad++一样，纯绿色版的，直接双击就可以使用。
下面，我们来演示下。
- 点击按钮，创建回话
- 然后， 编辑连接信息，记住这里要选择SSH2这种方式。
- 编辑连接信息，输入用户名
- 最后，选择一种FTP连接协议，这里选择默认就可以了。
- 给当前的连接起一个名字就可以了。
在完成配置的时候，记得将如下两个选项勾选上。
- 然后选择相应的服务器，连接就可以了，这里一般我们需要管理多台服务器，所以按照上面的步骤将所需要的都进行配置。
在第一次连接的时候，需要生成密钥，这里记得选择接受并保存按钮。这样下次就不需要输入任何密码了。
连接成功之后就是上面的德行了，是不是很酷？
哈哈…这里还需要几个小细节的设置，来提示下，首先显示的字体和颜色，需要从这里设置：
这里选择的仿真终端要选择Linux，告诉软件，我连接的是Linux系统。让他自动识别某些命令。
然后，就是字符编码和显示字体，颜色等了，可以根据自己喜好进行选择，但是编码方式一定要选择UTF-8这种方式，因为只有这种方式显示的中文文件才不至于乱码！
然后，就可以在窗口中进行命令的操作了。简单大气，非常实用的一款软件。
然后，就是各种玩了。
结语
此篇先到此吧，关于Hadoop大数据集群的搭建后续依次介绍，比如利用Zookeeper搭建Hadoop高可用平台、Map-Reducer层序的开发、Hive产品的数据分析、Spark的应用程序的开发、Hue的集群坏境的集成和运维、Sqoop2的数据抽取等，有兴趣的童鞋可以提前关注。
本篇主要介绍了在我们日常进行远程Linux系统管理所需要的两款实用软件…当然，这些只是一些工具，所带来的好处就是方便操作。这里需要强调的是：基础积累很重要！
编辑推荐：
发表评论