博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Hive on Spark 注意事项
阅读量:2491 次
发布时间:2019-05-11

本文共 956 字,大约阅读时间需要 3 分钟。

1、hive-site.xml

javax.jdo.option.ConnectionURL
jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true
javax.jdo.option.ConnectionDriverName
com.mysql.jdbc.Driver
javax.jdo.option.ConnectionUserName
root
javax.jdo.option.ConnectionPassword
root
spark.master
spark://pc2:7077

2、将此配置文件分发到集群中【每一个结点】的spark的conf目录下

3、将【每一个】spark结点下的jars目录中的hive开头的jar包删除

rm hive*

4、将hive的lib目录下的hive开头的jar包复制到【每一个】spark结点的

scp hive* chenjie@pc3:/home/chenjie/spark-2.0.2-hadoop2.7

5、启动hive

6、hive命令 set hive.execution.engine=spark;

7、hive命令 set hive.execution.engine=spark;

如果要切换回mapreduce方式

set hive.execution.engine=mr;  

你可能感兴趣的文章
vue+springboot打包发布
查看>>
XSL 开发总结
查看>>
beta阶段第六次scrum meeting
查看>>
SpringBoot+MybatisPlus实现批量添加的两种方式
查看>>
vue 设计结构
查看>>
Sqlerver2005+按照ID分组取前几条
查看>>
Python的编码和解码
查看>>
docker
查看>>
停车场系统安全岛设计施工要求
查看>>
Docker实战
查看>>
asp.net core结合Gitlab-CI实现自动化部署
查看>>
RDIFramework.NET ━ .NET快速信息化系统开发框架 V2.7 版本发布
查看>>
EasyNVR H5无插件摄像机直播解决方案前端解析之:关于直播页面和视频列表页面切换的问题...
查看>>
django搭建一个小型的服务器运维网站-拿来即用的bootstrap模板
查看>>
redis事务
查看>>
Java_基础语法之dowhile语句
查看>>
HDU 2175 汉诺塔IX
查看>>
PAT 甲级 1021 Deepest Root
查看>>
查找代码错误.java
查看>>
vc获取特殊路径(SpecialFolder)
查看>>