`

如何用hive api导入数据

    博客分类:
  • hive
阅读更多

Class.forName("org.apache.hadoop.hive.jdbc.HiveDriver");

Connection con = DriverManager.getConnection("jdbc:hive://192.168.191.17:10000/default", "", "");

Statement stmt = con.createStatement();

String sql = "LOAD DATA LOCAL INPATH '/data/mf/hzip/tmp/gamecoins' INTO TABLE gamecoins_stream";

ResultSet rs = stmt.executeQuery(sql);

while(rs.next()) {

System.out.println(rs.getInt(0));

}

rs.close();

stmt.close();

con.close();

 

注意:这个文件的路径是要在开启以下命令的机器上

[hadoop@Hadoop-10-1 hive]$ bin/hive --service hiveserver &

 

否则,执行时会出现文件路径不存在的情况:

HiveServerException(message:Query returned non-zero code: 40000, cause: 

FAILED: SemanticException Line 1:23 Invalid path ''/data/mf/hzip/tmp/gamecoins'': 

No files matching path file:/data/mf/hzip/tmp/gamecoins, errorCode:40000, SQLState:42000)

 

分享到:
评论

相关推荐

    java解决hive快速导数据到Hbase代码

    基于hadoop的,java实现hive快速导数据到Hbase解决方案。

    使用spark对网站用户行为分析

    1.对文本文件形式的原始数据集进行预处理 2.把文本文件的数据集导入到...6.使用HBase Java API把数据从本地导入到HBase中 7.使用R对MySQL中的数据进行可视化分析 内含三份报告和数据集,报告中有源码,是用spark做的

    hive Hcatalog streaming API使用

    hive传统的数据导入采用批量导入的方式,这中数据导入难以满足实时性的要求。hive streaming提供了数据流式写入的API,这样外部数据可以连续不断的写入hive中。 必备条件 hive streaming 需要配合hive 事务表使用,...

    大数据综合大作业和数据集

    1.对文本文件形式的原始数据集进行预处理 2.把文本文件的数据集导入到数据仓库Hive 中 3.对数据仓库Hive 中的数据进行查询分析...6.使用HBase Java API把数据从本地导入到HBase中 7.使用R对MySQL中的数据进行可视化分析

    spark大作业.zip

    使用Spark框架进行网站用户购物分析 目的 1、熟悉Linux系统、MySQL、Spark、HBase、Hive、Sqoop、R、Eclipse、IntelliJ Idea...6、使用HBase Java API把数据从本地导入到HBase中 7、使用R对MySQL中的数据进行可视化分析

    cgs-apps:Genomics API,用于访问数据,导入数据,可视化数据等

    cgs-apps 基因组学应用程序,用于访问数据,导入数据,可视化数据等。 该软件包是项目的一部分。 该软件包提供的应用程序是UI 插件。 他的模块还包含可通过Web界面访问的用户界面。 下面描述了Hue中可用的应用程序。...

    大数据简历,内含有数据项目的简历,大数据 简历

    2.采用Kstream框架对数据进行初步数据清洗与变换,使用Java API将数据导入HBase 3.使用Hive集成Hbase,对数据进行ETL,进一步清洗处理数据 4.协助使用Hive提取特征值,运用Spark ML构建模型 5.参与模型检验与随机...

    spark_streaming_of_twitter_data:一个Spark流传输管道,用于使用Twitter API将特定标签的Twitter数据实时摄取到CSV文件中的CSV文件中,然后使用CSV文件创建Hive外部表

    spark_streaming_of_twitter_data Spark流传输管道使用Twitter API将特定主题标签的Twitter数据实时导入到CSV文件的CSV文件中,然后使用CSV文件创建Hive外部表。

    common-datax:基于DataX的通用数据同步微服务,一个Restful接口搞定所有通用数据同步

    已优化重构并迁移至datax-admincommon-datax基于阿里DataX开发一个通用导数的微服务,可以开发前台页面,根据reader和writer自动进行数据同步本项目只限于同步数据源量很少的时候使用,若是数据源很多的情况,请参考...

    DataGear数据可视化分析平台.rar

    4 可自由编辑的数据可视化页面可视化页面采用原生的HTML网页作为模板,可自由编辑页面内容,支持导入任意HTML网页,为元素添加扩展属性即可绑定和配置图表,页面内置丰富的API,可构建图表联动、数据钻取、异步加载...

    Hadoop权威指南(中文版)2015上传.rar

    1.6.4 导入数据 1.6.5 表的修改 1.6.6 表的丢弃 1.7 查询数据 1.7.1 排序(Sorting)和聚集(Aggregating) 1.7.2 MapReduce脚本 1.7.3 连接 1.7.4 子查询 1.7.5 视图(view) 1.8 用户定义函数(User-Defined ...

    Hadoop权威指南 第二版(中文版)

     1.6.4 导入数据  1.6.5 表的修改  1.6.6 表的丢弃  1.7 查询数据  1.7.1 排序(Sorting)和聚集(Aggregating)  1.7.2 MapReduce脚本  1.7.3 连接  1.7.4 子查询  1.7.5 视图(view)  1.8 用户定义函数(User-...

    大数据-sqoop.pptx

    环境软件准备: 1:Centos 6.8虚拟机 2:含有导入数据的Mysql数据库 3:Sqoop 安装包 下载地址: https://mirrors.cnnic.cn/apache/sqoop/ Sqoop安装 大数据-sqoop全文共16页,当前为第8页。 配置环境变量加入Sqoop...

    nosql 入门教程

    10.2.2 使用REST API 178 10.2.3 使用Java访问SimpleDB 181 10.2.4 通过Ruby和Python使用SimpleDB 182 10.3 小结 183 第11章 MapReduce可扩展并行处理 185 11.1 理解MapReduce 186 11.1.1 找出每股最高价 188...

    大型分布式网站架构与实践

     如何将关系型数据库中存储的数据导入HDFS,以及从HDFS中将数据导入关系型数据库。  如何将分析好的数据通过图形展示给用户。  5.1 日志收集 339  5.1.1 inotify机制 339  5.1.2 ActiveMQ-CPP 343  5.1.3 架构...

    atlas_cn-master.zip

    atlas是一个用在hadoop上的数据...前端UI默认使用solr5,有丰富的rest API ,后端数据库可以是hive,hbase等。能导入不同格式的数据源,包括hive,hbase等 atlas官方中文文档,其中图片部分可对照官方网站进行查阅.

    Hackerearthon:使用 Volley 库和 Hackerearth API 的自定义列表视图

    它显示了所有当前和过去的hackerearth 挑战名称、类型、描述、开始和结束时间。... 它使用自定义列表视图、排球库和 android hive 教程在屏幕上显示数据。 在 Eclipse 中导入项目并作为 Android 应用程序运行。

    Hadoop实战中文版

    4.4 适应Hadoop API 的改变 4.5 Hadoop 的Streaming 4.5.1 通过Unix命令使用Streaming 4.5.2 通过脚本使用Streaming 4.5.3 用Streaming处理键/值对 4.5.4 通过Aggregate包使用Streaming 4.6 使用combiner 提升...

    Hadoop实战(陆嘉恒)译

    编写MapReduce基础程序4.1 获得专利数据集4.1.1 专利引用数据4.1.2 专利描述数据4.2 构建MapReduce 程序的基础模板4.3 计数4.4 适应Hadoop API 的改变4.5 Hadoop 的Streaming4.5.1 通过Unix命令使用Streaming4.5.2 ...

    hatch-connector:舱口盖连接器

    连接器是此子图的抽象,它提供了可供任何客户端获取数据的API。 API参考 见 用法 设置 将以下依赖项添加到您的项目中: yarn add @1hive/connect yarn add @tecommons/connect-hatch 导入它们: import connect ...

Global site tag (gtag.js) - Google Analytics