个人工具
登录
查看“利用Cloudera实现Hadoop”的源代码 - Ubuntu中文
页面
讨论
查看源代码
历史
搜索
导航
首页
最近更改
随机页面
页面分类
帮助
编辑
编辑指南
沙盒
新闻动态
字词处理
工具
链入页面
相关更改
特殊页面
页面信息
查看“利用Cloudera实现Hadoop”的源代码
来自Ubuntu中文
←
利用Cloudera实现Hadoop
跳转至:
导航
,
搜索
因为以下原因,你没有权限编辑本页:
您所请求的操作仅限于该用户组的用户使用:
用户
您可以查看与复制此页面的源代码。
==== 设置主节点的Hadoop<br> ==== ===== 设置JAVA_HOME<br> ===== Hadoop的JAVA_HOME是在文件/etc/hadoop/conf/hadoop-env.sh中设置,具体设置如下:<br> <pre>sudo vi /etc/hadoop/conf/hadoop-env.sh export JAVA_HOME="/usr/lib/jvm/java-6-sun" </pre> ===== Hadoop的核心配置<br> ===== Hadoop的核心配置文件是/etc/hadoop/conf/core-site.xml,具体配置如下:<br> <pre><?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <property> <name>fs.default.name</name> <!-- <value>hdfs://localhost:8020</value> --> <value>hdfs://hadoop-01:8020</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/var/lib/hadoop-0.20/cache/${user.name}</value> </property> </configuration> </pre> ===== 设置Hadoop的分布式存储环境<br> ===== Hadoop的分布式环境设置主要是通过文件/etc/hadoop/conf/hdfs-site.xml来实现的,具体配置如下:<br> <pre><?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <property> <name>dfs.replication</name> <!-- <value>1</value> --> <value>3</value> </property> <property> <name>dfs.permissions</name> <value>false</value> </property> <property> <!-- specify this so that running 'hadoop namenode -format' formats the right dir --> <name>dfs.name.dir</name> <value>/var/lib/hadoop-0.20/cache/hadoop/dfs/name</value> </property> </configuration> </pre> ===== 设置Hadoop的分布式计算环境<br> ===== Hadoop的分布式计算是采用了Map/Reduce算法,该算法环境的设置主要是通过文件/etc/hadoop/conf/mapred-site.xml来实现的,具体配置如下: <pre><?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <property> <name>mapred.job.tracker</name> <!-- <value>localhost:8021</value> --> <value>hadoop-01:8021</value> </property> </configuration> </pre> ===== 设置Hadoop的主从节点<br> ===== 首先设置主节点,编辑/etc/hadoop/conf/masters文件,如下所示:<br> <pre>hadoop-01 </pre> 然后是设置从节点,编辑/etc/hadoop/conf/slaves文件,如下所示:<br> <pre>hadoop-02 hadoop-03 hadoop-04 firehare-303 </pre>
返回至
利用Cloudera实现Hadoop
。