本地Java大数据环境基础配置(Maven)-java大数据处理方案

 

创建项目

准备pom.xml文件配置（附在文档最后）

在下载jar过程中极其缓慢，简直不能忍受，查阅了下资料，得到下面的办法：

1、 maven仓库中没有支持cdh的相关依赖。cloudera自己建立了一个相关的仓库。要想利用maven添加相关依赖，则必须单独添加cloudera仓库

2、 在国内使用maven中央仓库一般会有网络问题，所以大部分人会使用aliyun仓库或者其他开源的仓库。所以需要修改setting.xml (以下配置中 *,!cloudera 表示除了aliyun仓库还使用cloudera仓库)

配置

nexus-aliyun

*,!cloudera

Nexus aliyun

http://maven.aliyun.com/nexus/content/groups/public

配置环境

下面两个配置表示是在本地运行还是到Linux环境中运行

dev

编写内容

local

编写内容

准备log4j的日志配置，这个网上很多，可以直接复制一份，改下关键地方就可以

HDFS连接地址的配置

Hbase的连接配置

配置文件transformer-env.xml

文件内容

pom.xml文件配置

xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"

xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">

4.0.0

com.xlgl.wzy

localenv

0.0.1-SNAPSHOT

2.7.3

1.2.5

2.1.1

5.1.6

2.6.2

0.6.1

aliyun

http://maven.aliyun.com/nexus/content/groups/public/

cloudera

https://repository.cloudera.com/artifactory/cloudera-repos/

jboss

http://repository.jboss.org/nexus/content/groups/public

org.apache.hadoop

hadoop-client

${hadoop.version}

org.apache.hbase

hbase-client

${hbase.version}

org.apache.hbase

hbase-server

${hbase.version}

org.apache.hive

hive-exec

${hive.version}

mysql

mysql-connector-java

${mysql.version}

cz.mallat.uasparser

uasparser

${uasparser.version}

com.google.code.gson

gson

${gson.version}

local

true

configuration/local

src/main/resources

org.codehaus.mojo

build-helper-maven-plugin

1.4

add-source

generate-sources

add-source

${basedir}/src/main/java

${basedir}/src/main/extr

dev

configuration/dev

src/main/resources

org.codehaus.mojo

build-helper-maven-plugin

1.4

add-source

generate-sources

add-source

${basedir}/src/main/java

org.apache.maven.plugins

maven-shade-plugin

2.1

package

shade

cz.mallat.uasparser:uasparser

net.sourceforge.jregex:jregex

mysql:mysql-connector-java

src/test/java

maven-assembly-plugin

jar-with-dependencies

make-assembly

package

assembly

maven-compiler-plugin

3.3

1.8

1.8

utf8

org.eclipse.m2e

lifecycle-mapping

1.0.0

org.codehaus.mojo

build-helper-maven-plugin

[1.4,)

add-source