个人工具
登录
查看“利用Cloudera实现Hadoop”的源代码 - Ubuntu中文
页面
讨论
查看源代码
历史
搜索
导航
首页
最近更改
随机页面
页面分类
帮助
编辑
编辑指南
沙盒
新闻动态
字词处理
工具
链入页面
相关更改
特殊页面
页面信息
查看“利用Cloudera实现Hadoop”的源代码
来自Ubuntu中文
←
利用Cloudera实现Hadoop
跳转至:
导航
,
搜索
因为以下原因,你没有权限编辑本页:
您所请求的操作仅限于该用户组的用户使用:
用户
您可以查看与复制此页面的源代码。
=== 启动Hadoop<br> === ==== 格式化分布式文件系统 ==== 在启动Hadoop之前还要做最后一个准备工作,那就是格式化分布式文件系统,这个只需要在主节点做就行了,具体如下: <br> <pre>/usr/lib/hadoop-0.20/bin/hadoop namenode -format </pre> ==== 启动Hadoop服务<br> ==== 启动Hadoop可以通过以下命令来实现: <pre>/usr/lib/hadoop-0.20/bin/start-all.sh</pre> 注意:该命令是没有加sudo的,如果加了sudo就会提示出错信息的,因为root用户并没有做无验证ssh设置。以下是输出信息,注意hadoop-03是故意没接的,所以出现No route to host信息。<br> <pre>hadoop@hadoop-01:~$ /usr/lib/hadoop-0.20/bin/start-all.sh namenode running as process 4836. Stop it first. hadoop-02: starting datanode, logging to /usr/lib/hadoop-0.20/bin/../logs/hadoop-hadoop-datanode-hadoop-02.out hadoop-04: starting datanode, logging to /usr/lib/hadoop-0.20/bin/../logs/hadoop-hadoop-datanode-hadoop-04.out firehare-303: starting datanode, logging to /usr/lib/hadoop-0.20/bin/../logs/hadoop-hadoop-datanode-usvr-303b.out hadoop-03: ssh: connect to host hadoop-03 port 22: No route to host hadoop-01: secondarynamenode running as process 4891. Stop it first. jobtracker running as process 4787. Stop it first. hadoop-02: starting tasktracker, logging to /usr/lib/hadoop-0.20/bin/../logs/hadoop-hadoop-tasktracker-hadoop-02.out hadoop-04: starting tasktracker, logging to /usr/lib/hadoop-0.20/bin/../logs/hadoop-hadoop-tasktracker-hadoop-04.out firehare-303: starting tasktracker, logging to /usr/lib/hadoop-0.20/bin/../logs/hadoop-hadoop-tasktracker-usvr-303b.out hadoop-03: ssh: connect to host hadoop-03 port 22: No route to host </pre> 这样Hadoop就正常启动了!<br> 正常启动之后,可以在 master 主机上通过以下网址检视 hadoop 运行状况:<br> http://localhost:50070/ , 检视分布式文件系统状况,其中 Live Nodes 字段应当显示为正常运行并连接到 namenode 服务器的 datanode 个数。<br> http://localhost:50030/ , 检视集群运转状况,其中 Nodes 字段应当显示正常运行并连接到 jobtracker 的 task tracker 个数。 ==== 通过 cloudera 提供的服务包实现服务的自启动(可选) ==== 通过安装 cloudera 提供的服务包,可以实现每次开机之后,hadoop 服务自动启动。<br> 首先,在 master 对应的机器上安装 hadoop-0.20-jobtracker 和 hadoop-0.20-namenode 包。 <pre> sudo apt-get install hadoop-0.20-jobtracker hadoop-0.20-namenode </pre> 在 slave 对应机器上安装 hadoop-0.20-tasktracker 和 hadoop-0.20-datanode 包 <pre> sudo apt-get install hadoop-0.20-tasktracker hadoop-0.20-datanode </pre> 重新启动这些机器,可以通过上节提到的两个网址检视系统运行状况。
返回至
利用Cloudera实现Hadoop
。