质量团队知识库

 找回密码
 立即注册
查看: 38|回复: 0

Hadoop+Hive常用知识总结

[复制链接]

123

主题

1

好友

1379

积分

管理员

Rank: 9Rank: 9Rank: 9

发表于 2016-12-14 14:16:50 |显示全部楼层
1、什么是Hadoop?什么是hive?
Hadoop:一个分布式系统基础架构,由Apache基金会开发,用户可以在不了解分布式底层细节的情况下,开发分布式程序,充分利用集群的威力告诉运算和存储。
Hadoop是项目的总称,主要是由分布式存储(HDFS)、分布式运算(MapReduce)组成。
HIVE是一个SQL解析引擎,它将SQL语句转译成M/RJOB 然后再Hadoop执行,与传统数据库完全不同,只是采用了同样的sql界面。

2、hadoop基本操作
2.1 查看指定目录下内容
Hadoop dfs –ls[文件目录]
如:hadoop dfs –ls /user/war/wangkai.pt
2.2 打开某个已存在的文件
Hadoop dfs –cat [file_path]
如:hadoop dfs –cat /user/war/wangkai.pt/test.txt
2.3 删除某个文件
hadoop fs -rm hdfs://ns4/user/mart_vdp/app.db/app_vdp_jdb_jw_store_task_rules/store_task.txt
2.4 将本地文件存储至hadoop
Hadoop fs –put [本地地址]

3、hive基本操作
3.1 进入hive
登陆hadoop服务器后,输入 hive(这处理的有点慢,多等会)
显示成hive>
            >
后,即表示进入到hive中


3.2  hive基本操作
3.2.1 建表
语句:
CREATE [EXTERNAL] TABLE table_name
          (col_name data_rype,.....)
          [PATTITIONED BY  (col_name data_type)]
[ROW FORMAT DELIMITED            
[FIELDS TERMINATED BY '/t' ]      
[STORED AS TEXTFILE]
举例:
create table input_data_test  #表名
(                 item_sku_id                      string   , #字段名称 字段类型
provider_code                   string   ,
delivery_center                 string  ,
stock                           bigint             )            
COMMETN '注释:XXXXX'       #表注释
PARTITIONED BY ("ACTIVE")  #分区表字段(如果文件非常大的话,采用分区表可以快速过滤出按分区字段划分的数字)   
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '/t'    #字段之间是按照什么分割开的,这个例子是中按照tab键分开,还可以使用其他字符,如|分开
STORED AS TEXTFILE;   #用哪种方式存储数据
3.2.2 查看库
语句:show  databases;
使用某一个库:use database;
3.2.3 查看表
语句:show tables   
可以使用模糊查询:show tables '*TMP*'
查看表有哪些分区: show partitions  table;
使用某一个表:use  table;
查看表字段:desc  table;  
3.2.4删除表
Drop table table_name;
3.2.5增加字段:
alter table fdm_cep_ql_service_center_chain add columns (jd_account string);
3.2.6 导入数据
使用load命令将数据导入表中  load操作只是将数据复制/移动至Hive表对应的位置,不会对数据进行任何转换。
语句:
load  data [local] inpath 'filepath' [overwrite] into table tablename [partition ]
举例:
load data local inpath '/python/app/task/data/gdm_m03_item_sku_da_06.txt' into  table gdm.gdm_m03_item_sku_da;(不带分区)
load data local inpath '/python/app/task/data/no_commission_rules.txt' into table app.app_vdp_nojdb_jw_sku_commission_rules;(带分区)
注:就是普通的insert,只不过数据来源是通过inpath路径找到的,insert之前保证表已建完,并且格式于建表语句要求的格式一致(换行、分隔符等)
3.2.7 查询
1、where 语句
    Where语句是个布尔表达式,例如:下面的查询语句只返回销售记录大于10,且归属地属于美国的销售代表。
   Select * from sales where amount >10 and region =’US’
注:hive不支持where子句中的IN、EXIST或子查询。
2、基于partition的查询
  一般select查询会扫描整个表(除非是为了抽样查询)。但是如果一个表使用partitioned by子句建表,查询就可以利用分区剪枝(input pruning)的特性,只扫描一个表中他关心的那一部分。
Hive当前的是实现是。只有分区断言出现在离from子句最近的那个where子句中,才会取用分区剪枝。
例如,如果表app_vdp_base_jdbang_income_ma_sum使用date列分区,一下语句只会读取分区为‘2016-06-01’的数据。
Select *
from app_vdp_base_jdbang_income_ma_sum
where tx_dt>=’2016-06-01’ and tx_dt <=’2016-06-31’
3、limit查询
Limit可以限制查询的记录数,查询的结果是随机选择的。下边的查询语句从t1表中随机查询5条记录:
Select * from t1 limit 5;
如果需要查询top多少的数据,则需要使用下面的语句:
查询销售记录最大的5个销售代表:
Select * from sales order by amount desc limit 5;
3.2.8  修改数据
Hive不支持update数据。
同时,hive导入数据的时候不会自动去重。
3.2.9 删除数据
Hive不支持条件删除,只能删除整个表后再重新建。
3.2.10 结果导出
在hive中查询出表数据后,如果数据太多,不好看,可以将数据导出来,然后在本地使用UE等工具查看。此命令在在linux下执行
格式:hive –e  ‘查询语句’ > 文件名.txt   #将查询语句查询出来的结果导出到txt中
例如:
hive - e 'select * from app.app_vdp_jdbang_jwang_xiadan_detail;' > wangsha1.txt

回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

手机版|Carnation

GMT+8, 2017-12-17 15:52 , Processed in 0.189167 second(s), 23 queries .

Powered by Discuz! X2.5

© 2001-2012 Comsenz Inc.

回顶部