- 浏览: 140197 次
- 性别:
- 来自: 深圳
文章分类
- 全部博客 (43)
- web服务器 (1)
- Linux (6)
- MySQL (3)
- xen (1)
- SpringSide (2)
- Windows (1)
- WebService (1)
- Hadoop (12)
- hbase (0)
- sqoop (1)
- Java (1)
- SQL Server 存储过程 xml (0)
- hive mysql (1)
- Eclipse Hadoop 源码 编译 (1)
- Perl (2)
- Shell (1)
- Nutch (1)
- NFS (0)
- CHM (0)
- SVN (1)
- eclipse (1)
- NekoHTML (0)
- MapReduce (0)
- hive (2)
- spring hibernate (0)
- jsp (0)
- CYGWIN (0)
- maven (0)
- selenium server (0)
- CentOS (1)
- hibernate (1)
- spring mvc (0)
- Mahout (0)
- openvpn (0)
- vpn (0)
- kvm (0)
- git (1)
- CPU (1)
- thrift avro (0)
最新评论
-
rmn190:
不错, 多谢分享!
hdfs mount为linux本地文件系统 -
melburg:
请教一下,hadoop 1.0.3版本中,为什么无法启动bac ...
Hadoop SecondaryNameNode备份及恢复
1、软件下载
http://code.google.com/p/hdfs-webdav/downloads/list
把war包放到tomcat下面,启动tomcat会自动解压该war包,在/usr/tomcat6/webapps/hdfs-webdav/linux_mount_lib/目录下有fuse-2.7.4.tar.gz和neon-0.28.3.tar.gz,所以下面的包也可以不用下载
neon
http://www.webdav.org/neon/neon-0.29.6.tar.gz
fuse
http://sourceforge.net/projects/fuse/files/fuse-2.X/2.8.7/
2、软件安装
yum install gcc
yum install libxml*
tar -zxvf neon-0.28.3.tar.gz
cd /usr/tomcat6/webapps/hdfs-webdav/linux_mount_lib/neon-0.28.3
./configure
make
make install
cd ..
tar zxvf davfs2-1.3.3.tar.gz
cd davfs2-1.3.3
./configure
make
make install
cd ..
tar zxvf fuse-2.7.4.tar.gz
cd fuse-2.7.4
./configure
make
make install
vim /usr/tomcat6/webapps/hdfs-webdav/WEB-INF/classes/hadoop-site.xml
<property>
<name>fs.default.name</name>
<value>hdfs://10.0.30.235:9000/</value>
<description>namenode</description>
</property>
scp 10.0.30.151:/download/hadoop-0.20.203.0/hadoop-core-0.20.203.0.jar /usr/tomcat6/webapps/hdfs-webdav/WEB-INF/lib/
并删除掉lib目录下旧的hadoop jar包
scp 10.0.30.151:/download/hadoop-0.20.203.0/lib/commons-configuration-1.6.jar /usr/tomcat6/webapps/hdfs-webdav/WEB-INF/lib
启动hadoop集群
启动tomcat
访问http://113.105.131.240/hdfs-webdav
在tomcat服务器上创建一下信息
mkdir /download/hdfs
groupadd davfs2
useradd -g davfs2 davfs2
mount -t davfs http://10.0.30.151/hdfs-webdav /download/hdfs
cd /download/hdfs
ls
至此,扩展hadoop hdfs,实现WebDav协议,并将hdfs mount为linux本地文件系统成功!
发表评论
-
升级hadoop
2013-10-09 10:21 1415在没有更换前先备份数据 [hadoop@Hadoop-1 ... -
hadoop的Avatar机制
2013-08-21 15:45 0http://www.wangyuxiong.com/arch ... -
hive
2013-07-31 14:12 0hive行号 select row_number() o ... -
Hadoop RACK ID Awareness Configuration
2013-01-25 17:21 0The configuration includes ... -
window hadoop
2012-12-28 14:31 0http://hayesdavis.net/2008/06/1 ... -
hadoop读写流程
2012-07-27 15:20 0客户端通过调用FileSystem ... -
hadoop三个配置文件的参数含义说明
2012-07-14 13:03 02 常用的端口配置 2.1 HDFS端 ... -
编译hadoop 1.0.3 eclipse plugin jar包
2012-09-13 10:32 2332环境:Win 7 32bit 1、修改hadoop- ... -
编译hadoop 1.0.3 eclipse plugin jar包
2012-07-07 23:21 3935环境:Win 7 32bit 1、修改hadoop-1. ... -
hadoop fsck使用
2012-05-08 15:05 0首先,执行fsck命令行的客户端必须在hdfs-site.xm ... -
hive使用
2012-05-03 17:33 0[root@cnn001 hive-0.8.1]# bin/h ... -
AvatarNode
2012-04-24 13:28 0http://blog.csdn.net/rzhzhz/art ... -
扩展hadoop hdfs,实现WebDav协议,将hdfs mount为linux本地文件系统
2012-03-15 16:18 1524本文引自:http://badqiu.iteye.com/bl ... -
Hadoop MapReduce统计指定目录下所有文本文件中数字总和
2012-03-06 16:16 0package org.apache.hadoop.exa ... -
Hadoop Zookeeper HBase集群
2012-02-16 16:19 9174注:Hadoop环境搭建请参考上一篇文档。 环境: ... -
Hadoop NameNode NFS备份及恢复
2012-02-16 14:28 1489准备任意一台Linux服务器 [root@localhost ... -
Hadoop SecondaryNameNode备份及恢复
2012-02-15 17:22 68251、同步各个服务器时间 yum install ntp n ... -
Hadoop 0.20.205.0安装配置
2012-02-15 15:55 1246环境: 10.0.30.235 NameNode ... -
hadoop mapred-default.xml配置文件
2012-02-15 13:25 4171name value description ... -
hadoop hdfs-default.xml配置文件
2012-02-15 13:05 4135name value description d ...
相关推荐
允许将远程HDFS挂载为本地Linux文件系统,并允许任意应用程序/ Shell脚本以有效且安全的方式将HDFS作为普通文件和目录进行访问。 功能(计划中) 高性能 使用协议缓冲区直接为FUSE和HDFS连接Linux内核(不需要Java...
它继承了Unix以网络为核心的设计思想,是一个性能稳定的多用户网络操作系统,Linux是许多企业和服务提供商的首选操作系统,用于部署Web服务器、数据库服务器、邮件服务器等。Linux系统具有高效的网络功能和稳定的...
#资源达人分享计划#
第3章-分布式文件系统HDFS.pdf
HDFS文件系统,大数据资源文件
storm-hdfs, 用于与HDFS文件系统交互的风暴组件 风暴 HDFS用于与HDFS文件系统交互的风暴组件用法以下示例将在每 1,000个元组同步后将管道("|") -delimited文件写入HDFS路径 hdfs://localhost:54310/foo.,使它的对...
支持小型文件的HDFS系统.zip支持小型文件的HDFS系统.zip支持小型文件的HDFS系统.zip支持小型文件的HDFS系统.zip支持小型文件的HDFS系统.zip支持小型文件的HDFS系统.zip支持小型文件的HDFS系统.zip支持小型文件的HDFS...
《Hadoop大数据开发实战》教学教案—03HDFS分布式文件系统.pdf
hdfs官方文档 Hadoop分布式文件系统:结构与设计.pdf
HDFS—Hadoop分布式文件系统深度实践,带有完整详细的目录
Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时,它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错...
从本地上传文件到HDFS上的代码!使用hadoop的API操作,使本地文件的代码上传到HDFS上!!!
本文档时Hadoop云计算平台下运用Hadoop API对HDFS进行相关的操作,详细的记录了程序在eclipse中的应用,代码内容和运行结果,是学习Hadoop非常有用的资料。
《高可用性的HDFS——Hadoop分布式文件系统深度实践》专注于Hadoop分布式文件系统(hdfs)的主流ha解决方案,内容包括:hdfs元数据解析、hadoop元数据备份方案、hadoop backup node方案、avatarnode解决方案以及最新...
Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时,它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错...
Hadoop HDFS的FileSystemAPI操作文件 将准备好的文件上传到hdfs的user/hadoop/music文件下
hadoop的分布式文件系统通常在Linux系统下运行,但是基于HDFS文件系统开发相关代码工作可以在windows系统下进行,但是要进行相关配置。(hadoop.dll/winutils.exe/msvcr100.dll 等)
HDFS—Hadoop分布式文件系统深度实践 - 高清文字版,非常清晰
《高可用性的HDFS——Hadoop分布式文件系统深度实践》专注于Hadoop分布式文件系统(hdfs)的主流ha解决方案,内容包括:hdfs元数据解析、hadoop元数据备份方案、hadoop backup node方案、avatarnode解决方案以及最新...