博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Configuring Oracle Data Integrator for Cloudera
阅读量:7082 次
发布时间:2019-06-28

本文共 1536 字,大约阅读时间需要 5 分钟。

本文介绍如何将ODI以及Hadoop结合在一起。在此之前,确保已安装了ODI软件以及搭建好Hadoop环境,也可以参考我的其他博文进行环境搭建。

1、创建目录

[root@hdp06 ~]# hdfs dfs -mkdir -p /user/oracle/odi_home[root@hdp06 ~]# su - hdfs[hdfs@hdp06 ~]$ hdfs dfs -chown oracle:oracle /user/oracle[hdfs@hdp06 ~]$ hdfs dfs -chown oracle:supergroup /user/oracle/odi_home[hdfs@hdp06 ~]$ hdfs dfs -ls /user/oracle/drwxr-xr-x   - oracle supergroup          0 2018-03-06 13:59 /user/oracle/odi_home

此目录为ODI HDFS的根目录,如果不创建此目录,则在后续的步骤中会遇到 ODI-26039错误。

将Oracle用户添加到hadoop以及hdfs组:

[root@hdp06 ~]# usermod -G dba,oper,asmdba,hadoop,hdfs oracle

2、Big Data向导

File->New…,选择Big Data Configurations

Configuring Oracle Data Integrator for Cloudera

3、常规设置

Prefix:前缀,默认即可。Distribution:根据CDH版本进行选择。Distribution Type:使用默认Normal即可。Base Directory:/opt/cloudera/parcels/CDHTechnologies:根据实际环境选择相关组件

结果如下图所示:

Configuring Oracle Data Integrator for Cloudera

4、Hadoop设置

Configuring Oracle Data Integrator for Cloudera

Hadoop的DataServer属性配置如下图:
Configuring Oracle Data Integrator for Cloudera
Hadoop的通用设置内容如下:

HADOOP_CLASSPATH=${HADOOP_CLASSPATH:+$HADOOP_CLASSPATH':'}.:/opt/cloudera/parcels/CDH/lib/hive/lib/*:/u01/app/oracle/oraloader/jlib/*:/u01/app/oracle/orahdfs/jlib/*HADOOP_CLIENT_OPTS=-Dlog4j.debug -Dhadoop.root.logger=INFO,console -Dlog4j.configuration=file:/etc/hadoop/conf.cloudera.yarn/log4j.properties

OLH/OSCH的设置内容如下:

ODCH_HOME=/u01/app/oracle/orahdfsOLH_FILES=/opt/cloudera/parcels/CDH/lib/hive/lib/hive-contrib.jarOLH_HOME=/u01/app/oracle/oraloaderOLH_JARS=/opt/cloudera/parcels/CDH/lib/hive/lib/hive-common.jar,/opt/cloudera/parcels/CDH/lib/hive/lib/hive-exec.jar,/opt/cloudera/parcels/CDH/lib/hive/lib/hive-metastore.jar

5、HDFS设置

Configuring Oracle Data Integrator for Cloudera

HDFS的物理方案属性配置如下图:
Configuring Oracle Data Integrator for Cloudera

6、Hive设置

Configuring Oracle Data Integrator for Cloudera

Hive的DataServer属性如下图所示:
Configuring Oracle Data Integrator for Cloudera
Configuring Oracle Data Integrator for Cloudera
Hive的物理方案属性如下图所示:
Configuring Oracle Data Integrator for Cloudera

7、Oozie设置

Configuring Oracle Data Integrator for Cloudera

8、验证设置

Configuring Oracle Data Integrator for Cloudera

转载地址:http://yeoml.baihongyu.com/

你可能感兴趣的文章
C4D操作 延迟 ,卡顿罕见状况解决方案。
查看>>
面向对象二次整理(基础,属性引用,方法引用.绑定方法)
查看>>
[C++参考]私有成员变量的理解
查看>>
学习该有的思维方式
查看>>
Linux:查看磁盘空间占用情况
查看>>
redis发布订阅
查看>>
dubbo+zookeeper
查看>>
3D打印材料的发展现状(1)
查看>>
GPGPU之应用于Mapped Reduced
查看>>
html dom的nodetype值介绍,HTML DOM nodeType用法及代码示例
查看>>
html怎么对多个td应用样式,html – 如何将样式类应用于td类?
查看>>
Proxmox集群ceph报“ceph 1pg inconsistent”错误解决备忘
查看>>
多级菜单系统安装维护shell脚本实现企业级案例
查看>>
那些年,我玩过的操作系统
查看>>
Lync Server 2013标准版升级Skype for Business Server 2015实战(上)
查看>>
新浪、万网前系统架构师高俊峰:统一监控报警平台架构设计思路
查看>>
2011-9-25俱乐部活动
查看>>
JMeter正则表达式提取器
查看>>
Nginx
查看>>
How To Enable‘root’Account Login Solaris 11 Directly
查看>>