zhengzhuangjie
- 浏览: 140137 次
- 性别:
- 来自: 深圳
-
最新评论
-
rmn190：
不错， 多谢分享！
hdfs mount为linux本地文件系统 -
melburg：
请教一下，hadoop 1.0.3版本中，为什么无法启动bac ...
Hadoop SecondaryNameNode备份及恢复
文章列表
use warnings;use strict;use LWP::Simple;
my $JiraUser = 'username';my $JiraPass = 'password';
my $url = 'https://jira:8443/jira/secure/attachment/234681/EDW_ETL_Type1_UTCR_Template_Raid85876.xls';my $file = 'Raid85876.xls';
my $ua = LWP::UserAgent->new;$ua->timeout(300);my $req = HTTP::Reque ...
Eclipse编译Nutch1.4
- 博客分类：
- Nutch
官方安装方法：http://wiki.apache.org/nutch/RunNutchInEclipse
本文参考：http://zettadata.blogspot.com/2011/12/eclipsenutch.html
1、在Eclipse中安装subclipse 1.6，如果安装subclipse 1.8，则需要安装javahl 1.7，否则会报不兼容错误。
安装完subclilpse，重启eclipse，会报如下错误：（我用的centos5.6 64位）
Failed to load JavaHL Library.These are the errors tha ...
shell不区分大小写字符串比较
- 博客分类：
- Shell
#convert win path to linux path value as linux sensitive with character lower or upperorgi=`echo $1|tr "[:upper:]" "[:lower:]"`for i in `ls $PMSOURCEDIR`do tmp=$i dest=`echo $i|tr "[:upper:]" "[:lower:]"` if [ $orgi = $dest ]; then break fidone
先查找是否在服务器上安装了vsftpd
[root@localhost var]# rpm -qa | grep vsftpd
如果没有，先安装
[root@localhost var]# yum install vsftpd
装好后可以在/var/目录下查找到ftp目录
在/etc/vsftpd下面存放了配置文件
新建ftp用户，先查找该用户是否存在
[root@localhost var]# grep ftp /etc/passwdftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
如果没有，则新建一个
创建密码
...
如何在perl hash中存储数组
- 博客分类：
- Perl
example:
my(@array) = ("hello", "world", "goodbye");my(%hash) = ("k" => \@array);my(@getArrayFromHash) = @{$hash{"k"}};foreach my $value (@getArrayFromHash) { print "$value\n";}
hdfs mount为linux本地文件系统
- 博客分类：
- Hadoop
1、软件下载
hdfs-webdav.war
http://code.google.com/p/hdfs-webdav/downloads/list
把war包放到tomcat下面，启动tomcat会自动解压该war包，在/usr/tomcat6/webapps/hdfs-webdav/linux_mount_lib/目录下有fuse-2.7.4.tar.gz和neon-0.28.3.tar.gz，所以下面的包也可以不用下载
neon
http://www.webdav.org/neon/neon-0.29.6.tar.gz
fuse
http://sourceforge.n ...
1、软件环境：
Eclipse：Indigo Service Release 1
Hadoop：Hadoop 0.20.203
2、设置系统环境变量
JAVA_HOME = C:\Program Files\Java\jdk1.6.0_25
ANT_HOME = D:\apache-ant-1.8.2
M2_HOME = D:\apache-maven-2.2.1
Path = %M2_HOME%\bin;%ANT_HOME%\bin
classpath = .;%JAVA_HOME%\lib\dt.jar
3、新建Java Project，把hadoop-0.20 ...
配置hive元数据存储在mysql中
- 博客分类：
- hive mysql
默认情况下，hive的元数据信息存储在内置的Derby数据中。Facebook将hive元数据存储在关系数据库mysql中。配置过程如下：1 安装好mysql
创建mysql密码
[root@expedia-hdp1 Downloads]# mysqladmin -u root password expedia
创建用户hadoophdpusr@expedia-HDP1:~/hive-0.7.1-bin/bin$ mysql -uroot -p****
Welcome to the MySQL monitor. Commands end with ; or \g.Your MySQL ...
本文引自：http://badqiu.iteye.com/blog/269641
使用hadoop的shell命令进行hdfs的操作十分不方便,最好的办法当然是将hdfs映射为本地文件系统. 而通过实现WebDav Http协议, 结合WebDav的众多客户端,可以将hdfs映射为windows或是linux的本地文件系统.而使用api存储文件时,也将对应用透明,如使用本地文件系统一样使用hdfs.
1.Webdav协议介绍:
WebDAV（Web-based Distributed Authoring and Versioning）是基于 HTTP 1.1 的一个通信协议。它 ...
ANSI编码文本文件转换成UTF-8
- 博客分类：
- Java
package org.apache.hadoop.examples;
import java.io.BufferedReader;
import java.io.BufferedWriter;
import java.io.File;
import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStreamReader;
import java.io.OutputStreamWriter;
import ...
下载sqoop
[root@localhost download]# wget http://cloud.github.com/downloads/cloudera/sqoop/sqoop-1.3.0.tar.gz
wget http://labs.mop.com/apache-mirror//incubator/sqoop/stable/sqoop-1.4.1-incubating__hadoop-0.20.tar.gz
同步各个节点时间
详见 http://zhengzhuangjie.iteye.com/blog/1409336
有可能需要把hado ...
先查询是否安装了NTP软件
[root@nn0001 ~]# rpm -qa|grep ntp
chkfontpath-1.10.1-1.1ntp-4.2.2p1-15.el5.centos.1
[root@nn0001 ~]# yum install ntp
ntpdate 210.72.145.44
或者
ntpdate ntp.fudan.edu.cn
前者是国家授时中心官方服务器，后者是复旦大学网络中心提供的NTP服务器
[root@nn0001 ~]# crontab -e
0 */2 * * * /usr/sbin/ntpdate 210.7 ...
注：Hadoop环境搭建请参考上一篇文档。
环境：
10.0.30.235 nn0001 NameNode/HBase HMaster
10.0.30.236 snn0001 SecondaryNameNode/HBase HMaster
10.0.30.237 dn0001 DataNode/Zookeeper/HBase HRegionServer
10.0.30.238 dn0002 DataNode/Zookeeper/HBase HRegionServer
10.0.30.239 dn0003 DataNode/Zookeeper/HBase HRegionServe ...
准备任意一台Linux服务器
[root@localhost share]# mkdir /share
[root@localhost share]# vim /etc/exports
/share *(rw,sync,no_root_squash)
说明：
no_root_squash：登入 NFS 主机使用分享目录的使用者，如果是 root 的话，那么对于这个分享的目录来说，他就具有 root 的权限！这个项目『极不安全』，不建议使用！ root_squash：在登入 NFS 主机使用分享之目录的使用者如果是 root 时，那么这个使用者的权限将被压缩成为匿名使用者，通 ...
1、同步各个服务器时间
yum install ntp
ntpdate ntp.fudan.edu.cn
hdfs-site.xml配置
如果没有配置这一项，hadoop默认是0.0.0.0:50090，如果你的namenode和secondarynamenode配置在同一台服务器上，是没有问题的。如果分开部署没有指定该值，则hadoop会在namenode本机上找，就会出错
<property> <name>dfs.secondary.http.address</name> <value>snn000 ...