当前位置: 首页>数据库>正文

java代码连接hive数据库的依赖 java连接hive metastore

作业任务:安装Hive,有条件的同学可考虑用mysql作为元数据库安装(有一定难度,可以获得老师极度赞赏),安装完成后做简单SQL操作测试。将安装过程和最后测试成功的界面抓图提交 .

 

已有的当前虚拟机:

总共三台虚拟机,使用CentOS。一台是NameNode,另两台为DataNode,由于搭载虚拟机的内存不是很足,所以不打算再新增一台虚拟机来另外安装mysql,所以选择其中一台datanode虚拟机来安装mysql,由于很早时候已经安装布署了hadoop,所以不再累述hadoop如何安装使用:

主机名

作用

将要布置的工作

bogon

hadoop的NameNode节点

安装hive client

DataNode1

hadoop的DataNode节点

安装mysql,安装hive metastore server

DataNode2

hadoop的DataNode节点

 

 

安装的系统或软件版本:

CentOs 6.3 32位,

jdk 1.7_u45,

hadoop 1.2.1,

hive 0.12.0,

mysql 5.7.3 Linux 32位 社区版

 

 

第一步:下载安装mysql:

由于我要安装的是mysql是linux版本,为保证软件最新和官方性,所以我都是从官方网站下载。这里我要吐嘈一下,不知为何现在的官方网站只提供window版的安装包,对于其他版本的安装包和源码都没有明显的下载链接,不知是Oracle以后为了不开源而作准备了,我在官网查了半天,才在说明书上查找到了下载的镜像站点列表: http://dev.mysql.com/downloads/mirrors.html,

随便找一个镜像链接,点击FTP就可以查看到最新的下载安装包

这里我下载使用的是linux版二进制包文件,下载并放置在DataNode1主机内:

        注意:用二进制包手动安装会比较繁琐,而且如果稍有不注意都会有各种问题发生,我因为解决各种问题而在安装mysql方面花费了不少时间。如果你觉得麻烦,还是建议你用rpm安装包更简单些。

java代码连接hive数据库的依赖 java连接hive metastore,java代码连接hive数据库的依赖 java连接hive metastore_hive,第1张

java代码连接hive数据库的依赖 java连接hive metastore,java代码连接hive数据库的依赖 java连接hive metastore_java代码连接hive数据库的依赖_02,第2张

解压二进制包:

java代码连接hive数据库的依赖 java连接hive metastore,java代码连接hive数据库的依赖 java连接hive metastore_hadoop_03,第3张

建立mysql专用的帐号和群组,并更改mysql安装目录为的所属人和群组为新建立的帐号和群组:

     建议:从这一步开始到mysql启动,应该转换成root帐号来操作了,否则在往后的mysql操作当中,会有很多因权限不足导致安装设置失败的问题。如果你的mysql仅仅用来学习测试,且虚拟机并非商用无入侵风险,可以忽略此步骤。

java代码连接hive数据库的依赖 java连接hive metastore,java代码连接hive数据库的依赖 java连接hive metastore_java代码连接hive数据库的依赖_04,第4张

java代码连接hive数据库的依赖 java连接hive metastore,java代码连接hive数据库的依赖 java连接hive metastore_hive_05,第5张

运行初始化脚本,建立mysql原始数据库,在安装目录下执行:scripts/mysql_install_db –-user=mysql --datadir=/var/lib/mysql

       注意:如果你已经跳过之前的第3步,那么这里的—user改为用root;另外datadir参数是可选参数,指定核心数据库文件的安装位置,虽然这是可选参数,但我在忽略后执行过程发现会默认安装到安装目录下的一个子目录(好像是data子目录),这与mysql配置文件中指定的目录位置不一样(配置文件指定的位置是/var/lib/mysql),所以在执行时最好带上这个选项,否则在启动mysql时会因找不到核心数据库而启动不成功。这也是很多情况下,手动安装mysql时出现各种问题的诸多原因,要么是权限问题、要么是缺少某些文件或者配置又不对……

java代码连接hive数据库的依赖 java连接hive metastore,java代码连接hive数据库的依赖 java连接hive metastore_mysql_06,第6张

 

执行时可能会出现以下这样的错误:

java代码连接hive数据库的依赖 java连接hive metastore,java代码连接hive数据库的依赖 java连接hive metastore_hadoop_07,第7张

这是缺少的libaio软件的错误提示,用yum安装:

java代码连接hive数据库的依赖 java连接hive metastore,java代码连接hive数据库的依赖 java连接hive metastore_hadoop_08,第8张

 

以下是初始化原始数据库成功的提示:

java代码连接hive数据库的依赖 java连接hive metastore,java代码连接hive数据库的依赖 java连接hive metastore_hive_09,第9张

将mysql安装目录设为root权限,其子目录为mysql权限:

      提示:如果你的mysql仅仅用来学习测试,且虚拟机并非商用无入侵风险,可以忽略此步骤。

java代码连接hive数据库的依赖 java连接hive metastore,java代码连接hive数据库的依赖 java连接hive metastore_hadoop_10,第10张

将子目录plugin的可写权限去除(防止select…into dumpfile语句将执行代码写入文件):

       提示:如果你的mysql仅仅用来学习测试,且虚拟机并非商用无入侵风险,可以忽略此步骤。

java代码连接hive数据库的依赖 java连接hive metastore,java代码连接hive数据库的依赖 java连接hive metastore_java代码连接hive数据库的依赖_11,第11张

在mysql安装目录下运行:bin/mysqld_safe --user=mysql &,并测试mysql是否运行正常: 

       提示:如果你在之前跳过了第3和第5步,那么这里的参数user就直接使用root。

java代码连接hive数据库的依赖 java连接hive metastore,java代码连接hive数据库的依赖 java连接hive metastore_mysql_12,第12张

 

在启动过程中,如果提示找不到/tmp/mysql.sock,查找了tmp目录,确实没有这个文件。查看下/etc/my.cnf配置文件:

java代码连接hive数据库的依赖 java连接hive metastore,java代码连接hive数据库的依赖 java连接hive metastore_mysql_13,第13张

发现该文件在/var/lib/mysql目录下。这样我做个文件链接:

java代码连接hive数据库的依赖 java连接hive metastore,java代码连接hive数据库的依赖 java连接hive metastore_mysql_14,第14张

再kill掉mysqld_safe进程,重启一次mysql:

java代码连接hive数据库的依赖 java连接hive metastore,java代码连接hive数据库的依赖 java连接hive metastore_hive_15,第15张

 

再次检测运行情况:

java代码连接hive数据库的依赖 java连接hive metastore,java代码连接hive数据库的依赖 java连接hive metastore_hadoop_16,第16张

OK,正常返回数据库的信息!

总结:我是纯折腾自己才手动安装mysql,实际上可以下载rpm包安装的,但我只是想体验下手动安装过程。虽然在上面写的貌似有些简单,但实际上这个过程中对于我这个从没用linux安装过mysql的初学者来说是相当折磨人的。

 

 

第二步、下载安装hive:

1、在NameNode节点下解压安装Hive:

java代码连接hive数据库的依赖 java连接hive metastore,java代码连接hive数据库的依赖 java连接hive metastore_java代码连接hive数据库的依赖_17,第17张

 

解压后:

注意:如果解压后所属用户和群组都是root,如果你不是用root操作,建议将所属用户和群组改为你的常用帐号和群组。


java代码连接hive数据库的依赖 java连接hive metastore,java代码连接hive数据库的依赖 java连接hive metastore_mysql_18,第18张

 

2、添加和编辑环境变量:

java代码连接hive数据库的依赖 java连接hive metastore,java代码连接hive数据库的依赖 java连接hive metastore_hive_19,第19张

此步骤在安装了mysql的DataNode1的主机也执行一次。

 

3、重新登录一次使上面设置的环境变量生效,然后启动hadoop。在HDFS中建立/tmp目录和/user/hive/warehouse目录,设置两目录的所属群组有写入权限:

注意:这里设置的目录是hive存放缓存和数据库文件,用的是默认目录。

java代码连接hive数据库的依赖 java连接hive metastore,java代码连接hive数据库的依赖 java连接hive metastore_java代码连接hive数据库的依赖_20,第20张

 

4、在hive目录的conf目录下,将hive-default.xml.template和hive-env.sh.template两个配置模板文件复制一份,并更名为以下:

     这段时间为了能成功设置hive,一开始犯个了低级错误,我以为只是将.template后缀去除即可,谁知道这其中的hive-default.xml.template并非如此,不仅去掉.template后缀,还要改为hive-site.xml……,导致了我的后期的设置从过年前一直弄到年后都不成功!我还以为我的mysql出了什么问题,查阅了相当多的资料也不知怎么回事……!真想去官网吐嘈一下!

java代码连接hive数据库的依赖 java连接hive metastore,java代码连接hive数据库的依赖 java连接hive metastore_mysql_21,第21张

编辑hive-env.sh:

java代码连接hive数据库的依赖 java连接hive metastore,java代码连接hive数据库的依赖 java连接hive metastore_java代码连接hive数据库的依赖_22,第22张

编辑hive-site.xml:

(1)设置metaStore存在指定的mysql,该值模式:

jdbc:mysql://<hostname>/<database name>?createDatabaseIfNotExist=true

java代码连接hive数据库的依赖 java连接hive metastore,java代码连接hive数据库的依赖 java连接hive metastore_java代码连接hive数据库的依赖_23,第23张

(2)设置连接mysql的驱动为jdbc:

java代码连接hive数据库的依赖 java连接hive metastore,java代码连接hive数据库的依赖 java连接hive metastore_java代码连接hive数据库的依赖_24,第24张

(3)设置连接mysql使用的帐号和密码,为了简便这里都用hive为帐号和密码:

java代码连接hive数据库的依赖 java连接hive metastore,java代码连接hive数据库的依赖 java连接hive metastore_hive_25,第25张

(4)设置hive的表数据存放路径:(这里默认不修改,因为与刚才在hdfs建立的路径一致)

java代码连接hive数据库的依赖 java连接hive metastore,java代码连接hive数据库的依赖 java连接hive metastore_mysql_26,第26张

(5)设置Thrift metastore Server,格式thrift://<host_name>:<port>,host_name就是DataNode1主机,端口号使用默认的9083:

java代码连接hive数据库的依赖 java连接hive metastore,java代码连接hive数据库的依赖 java连接hive metastore_hadoop_27,第27张

 

7、在mysql官方网下载最新的mysql连接器,存放在hive安装目录下的lib目录:

java代码连接hive数据库的依赖 java连接hive metastore,java代码连接hive数据库的依赖 java连接hive metastore_mysql_28,第28张

 

8、将安装配置好的hive安装目录复制一份到DataNode1主机的相同目录内,这里用了scp命令:

java代码连接hive数据库的依赖 java连接hive metastore,java代码连接hive数据库的依赖 java连接hive metastore_hadoop_29,第29张

 

9、回到DataNode1主机,在mysql目录下执行mysql客户端:

java代码连接hive数据库的依赖 java连接hive metastore,java代码连接hive数据库的依赖 java连接hive metastore_hive_30,第30张

 

10、创建hive数据库,并创建hive帐号并赋予权限:

java代码连接hive数据库的依赖 java连接hive metastore,java代码连接hive数据库的依赖 java连接hive metastore_hive_31,第31张

java代码连接hive数据库的依赖 java连接hive metastore,java代码连接hive数据库的依赖 java连接hive metastore_java代码连接hive数据库的依赖_32,第32张

 

11、在namenode主机下,启动hadoop:(如果在这之前已经启动,此步骤请忽略)

java代码连接hive数据库的依赖 java连接hive metastore,java代码连接hive数据库的依赖 java连接hive metastore_java代码连接hive数据库的依赖_33,第33张

 

12、在DataNode1主机下,启动hive metastore服务:

java代码连接hive数据库的依赖 java连接hive metastore,java代码连接hive数据库的依赖 java连接hive metastore_java代码连接hive数据库的依赖_34,第34张

 

13、然后回到namenode下,启动hive客户端:

java代码连接hive数据库的依赖 java连接hive metastore,java代码连接hive数据库的依赖 java连接hive metastore_hadoop_35,第35张

 

14、测试下:

java代码连接hive数据库的依赖 java连接hive metastore,java代码连接hive数据库的依赖 java连接hive metastore_java代码连接hive数据库的依赖_36,第36张

 

 

以下是遇到的hive错误:

  1. 配置文件格式的错误:

java代码连接hive数据库的依赖 java连接hive metastore,java代码连接hive数据库的依赖 java连接hive metastore_java代码连接hive数据库的依赖_37,第37张

这是hive的0.12.0 release发行版的专有错误,错在hive-site.xml配置文件格式有误。将此文件中的2000行处的</auth>结尾处更正过来即可(真不明白发行版是怎么出来的,这种明显的错误也会在发行时显现):

java代码连接hive数据库的依赖 java连接hive metastore,java代码连接hive数据库的依赖 java连接hive metastore_hive_38,第38张

 

2、version information not found in metastore(版本信息找不到):

java代码连接hive数据库的依赖 java连接hive metastore,java代码连接hive数据库的依赖 java连接hive metastore_hive_39,第39张

看过网上的解决方案是在配置文件中将hive-site.xml 里面 hive.metastore.schema.verification 的值改为 false后不会出现问题。

根据错误检查了下ObjectStore.java源代码,该异常会在检查metastore的版本号时,如果从metastore数据源中没有返回版本号,则会根据上面所说的schema.verification来确定是否招抛出这个异常:

java代码连接hive数据库的依赖 java连接hive metastore,java代码连接hive数据库的依赖 java连接hive metastore_java代码连接hive数据库的依赖_40,第40张

由于第一次启动metastore服务时,mysql作为数据源的hive数据库内没有生成任何表和数据,所以会出现返回的版本号为空的情况。我们可以暂时在hive.metastore.schema.verification里设置成false,在第一次启动自动生成了数据后,那么就可以将这个配置值再改回true,往后也相关无事了。在我看来,其实是hive在配置远端metastore的一个小bug。

 

3、MetaException:specified key was too long……

java代码连接hive数据库的依赖 java连接hive metastore,java代码连接hive数据库的依赖 java连接hive metastore_hive_41,第41张

    与数据库的编码格式有关,将数据库的编码改为:

java代码连接hive数据库的依赖 java连接hive metastore,java代码连接hive数据库的依赖 java连接hive metastore_hive_42,第42张

 

 


https://www.xamrdz.com/database/6j91959968.html

相关文章: