zhengzhuangjie的博客
zhengzhuangjie · 共 43 篇文章
mysql安装几种方式
mysql rpm安装的目录信息 https://dev.mysql.com/doc/refman/5.7/en/linux-installation-rpm.html http://blog.csdn.net/dba_waterbin/article/details/8794292 RPM 包方式安装极为简单、这里就不赘述 谈谈其他对象 比如:MySQL 各个 RPM 包是什么意思? MySQL-VERSION.i386.rpm MySQL服务器。除非你只是想要与运行在其他机器上MySQL服务器连接,否则你将需要它 MySQL-client-VERSION.i386.rpm 标准MySQL…
2015-08-19 14:16 · MySQL · 评论(0)
如何删掉目录下文件中包含某种格式的行记录
dir=/data/mf/hzip/error/* for file in $dir do echo $file line_num=`grep -n "{.*{.*" $file | awk -F : '{print $1}'` values=(${line_num// / }) len=${#values[@]} for((i=($len-1);i>=0;i--)); do sed -i "${values[$i]}d" $file done mv $file /data/mf/hive/import/gambling/import/ done
2015-05-14 14:48 · Linux · 评论(0)
superscalar
超純量(superscalar)CPU架構是指在一顆处理器内核中实行了指令级並行的一类並行運算。这种技术能够在相同的CPU主频下实现更高的CPU吞吐率(throughput)。处理器的内核中一般有多个执行单元(或称功能单元),如算术逻辑单元、位移单元、乘法器等等。未实现超标量体系结构时,CPU在每个时钟周期仅执行单条指令,因此仅有一个执行单元在工作,其它执行单元空闲。超标量体系结构的CPU在一个时钟周期可以同时分派(dispatching)多条指令在不同的执行单元中被执行,这就实现了指令级的并行。超标量体系结构可以视作MIMD(多指令多数据)。 超标量体系结构的CPU一般也都实现了指令流水化…
2013-10-09 14:11 · CPU · 评论(0)
如何用hive api导入数据
Class.forName("org.apache.hadoop.hive.jdbc.HiveDriver"); Connection con = DriverManager.getConnection("jdbc:hive://192.168.191.17:10000/default", "", ""); Statement stmt = con.createStatement(); String sql = "LOAD DATA LOCAL INPATH '/data/mf/hzip/tmp/gamecoins' INTO TABLE gamecoins_stream"; ResultS…
2013-10-09 10:22 · hive · 评论(0)
迁移hive namenode
使用了一段时间的hive和hadoop,在迁移datanode时很容易,要迁移namenode,hive里就闹情绪了。更改namenode后,在hive中运行select 依旧指向之前的namenode地址。 要如何解决呢,具体操作如下: 1.复制打包老的namenode 2.复制打包老的namenode的hdfs目录 3.到新机器准备好:修改master的值 复制到各节点 修改hive的定义 4.hive这里使用了mysql来保存metadata 因为这些信息会被写死在hive的DBS和SBS表里,下面是关键的一步: 进入mysql,执行下面的sql, update DBS set DB_…
2013-10-09 10:22 · hive · 评论(0)
升级hadoop
在没有更换前先备份数据 [hadoop@Hadoop-10-4 hadoop]$ bin/hadoop dfsadmin -finalizeUpgrade Warning: $HADOOP_HOME is deprecated. [hadoop@Hadoop-10-4 hadoop]$ bin/hadoop dfsadmin -upgradeProgress status Warning: $HADOOP_HOME is deprecated. There are no upgrades in progress. 升级hadoop 1、解压hadoop 2、拷贝原来hadoop/conf/c…
2013-10-09 10:21 · Hadoop · 评论(0)
centos 5 install git
yum -y install zlib-devel openssl-devel cpio expat-devel gettext-devel wget https://git-core.googlecode.com/files/git-1.8.4.tar.gz tar zxf git-1.8.4.tar.gz ./configure make make install git clone https://github.com/xianglei/phpHiveAdmin.git
2013-10-09 10:20 · git · 评论(0)
使用struts2 redirect跳转不同命名空间方法
springsecurity教程 http://docs.oracle.com/javaee/1.4/tutorial/doc/Security5.html http://lebuqi.com/forum.php?mod=viewthread&tid=22 http://code.google.com/p/family168/ 在使用struts2 redirect跳转不同命名空间方法时: 环境: @Results( { @Result(name = CrudActionSupport.RELOAD, location = "account.action", type = "redirect…
2012-10-30 23:38 · SpringSide · 评论(0)
hibernate子查询问题
mysql count select 子查询: select count(*) from (select c.id from ads_travel.ads_deal_flight df join ads_travel.ads_catalog c on df.catalog_id=c.id and c.category_id=3 where departure like '%上海%' and destination like '%深圳%' and departure_time like '%2012-11-30%' group by c.id) t; 对应hibernate子查询 select…
2012-10-23 15:53 · hibernate · 评论(0)
CentOS 5编译MySQL 5.5
my.cnf配置: datadir=/var/lib/mysql socket=/var/lib/mysql/mysql.sock user=mysql Disabling symbolic-links is recommended to prevent assorted security risks symbolic-links=0 default-character-set=utf8 init-connect='SET NAMES utf8' log-error=/var/log/mysqld.log pid-file=/var/run/mysqld/mysqld.pid default…
2012-10-20 20:57 · CentOS · 评论(0)
编译hadoop 1.0.3 eclipse plugin jar包
环境:Win 7 32bit 1、修改hadoop-1.0.3\src\contrib\build-contrib.xml,添加<property name="version" value="1.0.3"/>和<property name="eclipse.home" value="d:\\eclipse"/> 2、在hadoop-1.0.3目录下运行ant compile -logfile error.log,会出现错误: compile-hdfs-classes: [javac] D:\hadoop\hadoop-1.0.3\build.xml:576: warning: 'includ…
2012-09-13 10:32 · Hadoop · 评论(0)
Linux支持移动硬盘NTFS格式
[root@localhost ~]# rpm -qa|grep fuse fuse-2.7.4-8.el5 fuse-libs-2.7.4-8.el5 fuse-devel-2.7.4-8.el5 wget http://pkgs.repoforge.org/rpmforge-release/rpmforge-release-0.5.2-2.el5.rf.x86_64.rpm rpm –import http://apt.sw.be/RPM-GPG-KEY.dag.txt rpm –K rpmforge-release-0.5.2-2.el5.rf.x86_64.rpm yum insta…
2012-09-13 10:32 · Linux · 评论(0)
编译hadoop 1.0.3 eclipse plugin jar包
环境:Win 7 32bit 1、修改hadoop-1.0.3\src\contrib\build-contrib.xml, 添加<property name="version" value="1.0.3"/>和<property name="eclipse.home" value="d:\\eclipse"/> 或者ant -Declipse.home=d:\\eclipse -Dversion=1.0.3 jar 2、在hadoop-1.0.3目录下运行ant compile -logfile error.log,会出现错误: compile-hdfs-classes: [javac] …
2012-07-07 23:21 · Hadoop · 评论(0)
编译hadoop 1.0.1 eclipse plugin jar包
1、在Eclipse中选择File-->Import-->Existing Projects into Workspace导入已有项目,假设路径为: /download/hadoop-1.0.1/src/contrib/eclipse-plugin,默认的项目名称是MapReduceTools 2、默认项目名称为MapReduceTools,然后在项目MapReduceTools中新建lib目录,并把hadoop的hadoop-core、commons-cli-1.2.jar、commons-lang-2.4.jar、commons-configuration-1.6.jar、jackson…
2012-06-09 22:26 · eclipse · 评论(0)
CentOS 5.6 + Apache + SVN
http://wiki.centos.org/zh/HowTos/Subversion http://wiki.centos.org/HowTos/Subversion 1、检查系统是否安装了httpd rpm -qa httpd 如果没有,使用下面命令安装 yum install httpd 启动apache service httpd start 访问 http://localhost 如果看到下面信息,则说明安装成功 Apache 2 Test Page powered by CentOS 2、yum install subversion apr apr-util 如果系统是64位的,…
2012-06-09 00:40 · SVN · 评论(0)