diff options
| author | doufenghu <[email protected]> | 2019-10-09 10:43:58 +0800 |
|---|---|---|
| committer | doufenghu <[email protected]> | 2019-10-09 10:43:58 +0800 |
| commit | 066bd0f05ad83ce934a07b668f571f54cad2490f (patch) | |
| tree | c214c14cebc2e6c39220adf6a0adc232fab39e00 | |
| parent | de0772c810fdc64cc4bbae2767e2cef8064b5b50 (diff) | |
update readme.md
| -rw-r--r-- | README.md | 17 | ||||
| -rw-r--r-- | TSG/galaxy-report-service/galaxy-report-service-deploy.tar.gz | bin | 53217057 -> 0 bytes | |||
| -rw-r--r-- | TSG/home.md | 43 |
3 files changed, 32 insertions, 28 deletions
@@ -1,14 +1,15 @@ -# Galaxy Integration +# 数据平台应用集成 -**后端应用及数据初始化部署参考目录** +##约束 -| 约束 | 备注 | +| 依赖 | 备注 | | ------ | ------ | | 操作系统 | centos7.4 | -| jdk | 1.8+ | -| 其它要求 | 时钟同步 | +| jdk | 1.8+ | +| 其它 | 各服务器时钟同步，开放所需端口（关闭防火墙） | - -*[NTC-一期NTC应用及数据初始化列表](https://git.mesalab.cn/galaxy/galaxy-integration/blob/master/NTC/home.md) +##集成应用列表 -*[TSG-二期TSG 应用及数据初始化列表](https://git.mesalab.cn/galaxy/galaxy-integration/blob/master/TSG/home.md)
\ No newline at end of file +*[NTC-一期NTC集成](https://git.mesalab.cn/galaxy/galaxy-integration/blob/master/NTC/home.md) + +*[TSG-二期TSG集成 ](https://git.mesalab.cn/galaxy/galaxy-integration/blob/master/TSG/home.md)
\ No newline at end of file diff --git a/TSG/galaxy-report-service/galaxy-report-service-deploy.tar.gz b/TSG/galaxy-report-service/galaxy-report-service-deploy.tar.gz Binary files differdeleted file mode 100644 index c15c9b1..0000000 --- a/TSG/galaxy-report-service/galaxy-report-service-deploy.tar.gz +++ /dev/null diff --git a/TSG/home.md b/TSG/home.md index 853edd0..c868056 100644 --- a/TSG/home.md +++ b/TSG/home.md @@ -1,4 +1,4 @@ -**Galaxy TSG 集成文档** +#TSG Galaxy 应用集成  @@ -6,40 +6,40 @@ -# 1.安装列表 +# 1.集成所需清单 ## 1.1 公共组件 | 组件名称 | 版本 | 约束 | 备注 | | ------------------ | --------- | ------------------------------------------------------------ | ------------------------------------------------------------ | -| 系统安装要求 | centos7.4 | JDK1.8 <br>时钟同步 <br/>文件句柄 65535<br/> 防火墙关闭(开放公共组件端口) | | +| 系统要求 | centos7.4 | JDK1.8 <br>时钟同步 <br/>文件句柄 65535<br/> 防火墙关闭(开放公共组件端口) | | | Kafka | 1.0.0 | 端口：9092 | 需安装(复用) zookeeper | | apache-storm-1.0.2 | 1.0.2 | 端口：8080 | 需安装(复用) zookeeper | | zookeeper-3.4.9 | 3.4.9 | 端口：2181 | | | ClickHouse | 19.5.4.1 | 端口：8123 | 需安装(复用) zookeeper | | Hbase | | 端口：8084 | 单独zookeeper、hdfs(集群) | | Druid | 0.14 | 端口：8082 | 依赖Mysql(mariadb)、zookeeper、hdfs(集群) | -| Redis | | | 大数据数据补全使用 | +| Redis | | | 补全缓存库 | | Mariadb(mysql) | | 3309 | | -| Minio | | 9090 | minio安装目录：https://git.mesalab.cn/zhangchengwei/MinioRelated | +| Minio | | 9090 | minio安装目录：https://git.mesalab.cn/zhangchengwei/MinioRelated | 组件链接地址：[大数据平台-公共组件库](https://git.mesalab.cn/bigdata/bigdata-deploy) -## 1.2 应用列表 +## 1.2 应用清单 -| 应用安装 | 进程名称 | 依赖 | 备注 | -| ------------ | --------------------------- | ------------------------------------------------------------ | ------------------------------ | -| SQL 查询网关 | galaxy-qgw-service(9999) | 1.clickhouse 原始日志检索<br> 2.Druid 时序库，预定义统计<br> 3.Hbase 离线报告结果 | 统一SQL查询代理网关平台 | -| 报表统计服务 | galaxy-reprot-service | 1.mariadb 执行任务列表 <br> 2.Hbase 统计结果<br> 3.clickhouse OLAP 统计 | 离线报告统计应用 | -| Storm应用 | jar | 数据加载、实时统计 | 拓扑程序，部署到storm集群中 | -| gohangout | gohangout | 数据源-kafka;数据输出-ck | 数据预处理，数据加载到CK的应用 | +| 应用安装 | 进程名称 | 依赖 | 备注 | +| ------------ | ------------------------ | ------------------------------------------------------------ | ------------------------------ | +| SQL 查询网关 | galaxy-qgw-service(9999) | 1.clickhouse 日志检索<br> 2.Druid 时序库，预定义统计<br> 3.Hbase 离线报告结果 | 统一SQL查询代理网关平台 | +| 报表统计服务 | galaxy-reprot-service | 1.mariadb 执行任务列表 <br> 2.Hbase 统计结果<br> 3.clickhouse OLAP 统计 | 离线报告统计应用 | +| Storm应用 | jar | 数据加载、实时统计 | 拓扑程序，部署到storm集群中 | +| gohangout | gohangout | 数据源-kafka;数据输出-ck | 数据预处理，数据加载到CK的应用 | ## 1.3 初始化脚本 -| 数据类型 | 所属组件 | | -| ---------------- | ---------- | ---- | -| kafka topic列表 | kafka | | -| clickhouse表语句 | clickhouse | | -| | | | +| 数据类型 | 所属组件 | | +| -------------------- | ------------ | ------------------------------ | +| kafka topic列表 | kafka | 初始化topic | +| clickhouse建表初始化 | clickhouse | 初始化库、授权用户、创建表结构 | +| Druid 构建统计Schema | Apache Druid | json结构 | # 2.配置初始化 @@ -65,7 +65,11 @@ Clickhouse-tsg.txt - +3. 创建用户 + + 用户名 tsg_query 密码 ceiec2018 网关/NTC 使用 + 用户名 tsg_report 密码 ceiec2019 报表服务使用 + 用户名 tsg_insert 密码 ceiec2019 gohangout使用 # 3. 应用安装 @@ -114,7 +118,7 @@ > 时区是否调整(默认Asia/Almaty)？ `修改Dockerfile, 例如修改+8区如下：ENV TZ=Asia/Almaty` - + > application-prod.yml参数修改? ``` @@ -374,4 +378,3 @@ hbase: -// todo |