个人工具
登录
查看“利用Cloudera实现Hadoop”的源代码 - Ubuntu中文
页面
讨论
查看源代码
历史
搜索
导航
首页
最近更改
随机页面
页面分类
帮助
编辑
编辑指南
沙盒
新闻动态
字词处理
工具
链入页面
相关更改
特殊页面
页面信息
查看“利用Cloudera实现Hadoop”的源代码
来自Ubuntu中文
←
利用Cloudera实现Hadoop
跳转至:
导航
,
搜索
因为以下原因,你没有权限编辑本页:
您所请求的操作仅限于该用户组的用户使用:
用户
您可以查看与复制此页面的源代码。
==== 主机互联<br> ==== Hadoop环境中的互联是指各主机之间网络畅通,机器名与IP地址之间解析正常,可以从任一主机ping通其它主机的主机名。注意,这里指的是主机名,即在Hadoop-01主机上可以通过命令ping Hadoop-02来ping通Hadoop-02主机(同理,要求这几台主机都能相互Ping通各自的主机名)。可以通过在各主机的/etc/hosts文件来实现,具体设置如下:<br> <pre>sudo vi /etc/hosts 127.0.0.1 localhost 10.x.253.201 hadoop-01 hadoop-01 10.x.253.202 hadoop-02 hadoop-02 10.x.253.203 hadoop-03 hadoop-03 10.x.253.204 hadoop-04 hadoop-04 10.x.3.30 firehare-303 firehare-303</pre> 将每个主机的hosts文件都改成上述设置,这样就实现了主机间使用主机名互联的要求。<br> <br> 注:如果深究起来,并不是所有的主机都需要知道Hadoop环境中其它主机主机名的。其实只是作为主节点的主机(如NameNode、JobTracker),需要在该主节点hosts文件中加上Hadoop环境中所有机器的IP地址及其对应的主机名,如果该台机器作Datanode用,则只需要在hosts文件中加上本机和主节点机器的IP地址与主机名即可(至于JobTracker主机是否也要同NameNode主机一样加上所有机器的IP和主机名,本人由于没有环境,不敢妄言,但猜想是要加的,如果哪位兄弟有兴趣,倒是不妨一试)。在这里只是由于要作测试,作为主节点的主机可能会改变,加上本人比较懒,所以就全加上了。:) 注意2:ubuntu 原有的 /etc/hosts 文件中有将本机计算机名解析为 127.0.1.1 的字段,例如: <pre> 127.0.1.1 hadoop-01 </pre> 请务必删除,否则会由于绑定 ip 不正确导致namenode和jobtracker无法连接的问题。 ===== 主机互联的可选方法(配置复杂并不推荐)<br> ===== 如果各个主机使用 dhcp 动态分配地址且不具有网络管理员权限,或者由于 /etc/hosts 文件的修改量过大,对于<b>同一子网</b>中的主机可以通过架设一个 WINS 服务或使用网络中有的 WINS 服务来解决互联问题。相关的包可以通过运行 tasksel 命令,安装 samba client 包获得,安装之后还需要修改 /etc/samba/smb.conf 架设或设置 WINS 服务,并修改 /etc/nsswitch.conf 添加机器名的解析方式。
返回至
利用Cloudera实现Hadoop
。