增加初始化脚本

1 files changed, 164 insertions, 17 deletions

diff --git a/NTC/home.md b/NTC/home.md
index a8c7b0b..73de3e1 100644
--- a/NTC/home.md
+++ b/NTC/home.md
@@ -1,27 +1,27 @@
-# Galaxy NTC 集成文档
+Galaxy NTC 集成文档
 
 ## 1.安装列表
 
-| 应用安装         | 进程名称               | 备注                                                         |
-| ---------------- | ---------------------- | ------------------------------------------------------------ |
-| 报表统计服务     | galaxy-stat-service    | 离线报表统计程序，包括统计前段infuxdb输出的新建与关闭连接数  |
-| 配置日志服务     | galaxy-service         | 核心应用，接收配置、原始日志查询、统计报表查询               |
-| Storm应用        | jar                    | 拓扑程序，部署到storm集群中                                  |
-| 流量格式转换服务 | galaxy-traffic-service | 负责解析总控telgraf出的5分钟流量汇聚结果                     |
-| 文件同步服务     | galaxy-fsync-service   | 文件搬运工，负责将minio&redis现场文件输出到bigdata平台中(无对接，可不部署) |
-| 关键字转URL服务  | galaxy-etl-service     | 不部署                                                       |
-| 大屏推送服务     | galaxy-push-service    | 大屏推送服务(若无输出对接，可不部署)                         |
+| 应用安装         | 进程名称                     | 依赖                                                         | 备注                                                         |
+| ---------------- | ---------------------------- | ------------------------------------------------------------ | ------------------------------------------------------------ |
+| 报表统计服务     | galaxy-stat-         service | 1.clickhouse-1(大数据）<br>2.clickhouse-2（自建） <br>3. mariadb <br>4.influxdb 统计链接数 | 离线报表统计程序，包括统计前段infuxdb输出的新建与关闭连接数  |
+| 配置日志服务     | galaxy-service               | 1.redis 配置线 <br> 2.minio 配置<br> 3.clickhouse 日志查询   | 核心应用，接收配置、原始日志查询、统计报表查询               |
+| Storm应用        | jar                          | 数据加载、实时统计                                           | 拓扑程序，部署到storm集群中                                  |
+| 流量格式转换服务 | galaxy-traffic-service       | 1. 配置kafka环境  2.mariadb\| clickhouse环境                 | 负责解析总控telgraf出的5分钟流量汇聚结果                     |
+| 文件同步服务     | galaxy-fsync-service         |                                                              | 文件搬运工，负责将minio&redis现场文件输出到bigdata平台中(无对接，可不部署) |
+| 关键字转URL服务  | galaxy-etl-service           |                                                              | 不部署                                                       |
+| 大屏推送服务     | galaxy-push-service          |                                                              | 大屏推送服务(若无输出对接，可不部署)                         |
 
 
 
 ## 2.初始化脚本
 
-| 数据类型             |      |      |
-| -------------------- | ---- | ---- |
-| kafka topic列表      |      |      |
-| clickhouse表语句     |      |      |
-| 界面同步数据字典文件 |      |      |
-| 服务数据库文件       |      |      |
+| 数据类型             | 所属组件   |      |
+| -------------------- | ---------- | ---- |
+| kafka topic列表      | kafka      |      |
+| clickhouse表语句     | clickhouse |      |
+| 界面同步数据字典文件 | mariadb    |      |
+| 服务数据库文件       | mariadb    |      |
 
 ## 3.数据初始化
 
@@ -40,6 +40,7 @@
 1. 登录clickhouse连接终端 dbeave 建库 
 
   create database  k18_galaxy_service on cluster k18_cluster_big;
+
   create database k18_ods  on cluster k18_cluster_log_big ;
 
 2.  终端工具下执行如下语句
@@ -60,7 +61,7 @@
 
 CONNECTION='mysql://**root:[email protected]:3306/gwall_dev**/'
 
-2. 终端或命令行下导入 ui-ui-structure.sql 完成字典导入
+2. 终端或命令行下导入 ui-structure.sql 文件
 
 
 
@@ -71,7 +72,153 @@ CONNECTION='mysql://**root:[email protected]:3306/gwall_dev**/'
 1. 导入 galaxy-structure.sql 文件
 2. 导入 galaxy-data.sql 文件
 
+## 4.应用组件安装
+
+### galaxy-service 安装
+
+
+
+
+
+### galaxy-traffic-service安装
+
+
+
+1. 将安装galaxy-traffic-service.tar.gz 包拷贝任意目录下
+
+   执行./installGalaxyTraffic.sh 
+
+2. 修改配置文件  application.properties 
+
+   * Kafka 配置
+
+     ```
+     kafka.consumer.servers=10.4.34.10:9092,10.4.34.11:9092,10.4.34.12:9092,10.4.34.13:9092,10.4.34.14:9092,10.4.34.15:9092,10.4.34.16:9092,10.4.34.17:9092,10.4.34.18:9092,10.4.34.19:9092
+     kafka.consumer.enable.auto.commit=true
+     kafka.consumer.session.timeout=6000
+     kafka.consumer.auto.commit.interval=100
+     kafka.consumer.auto.offset.reset=latest
+     kafka.consumer.topic=NTC-NETWORK-TRAFFIC-STAT
+     kafka.consumer.group.id=CONSUMER-GALAXY-TRAFFIC-SERVICE-2019-07-01
+     
+     ```
+
+     
+
+   * mariadb配置 
+
+   ​     
+
+   ```
+   spring.datasource.druid.mariaDB.url=jdbc:mariadb://10.0.4.9:3306/galaxy-service
+   spring.datasource.druid.mariaDB.username=galaxy
+   spring.datasource.druid.mariaDB.password=ENC(N80MNMCGSZ9wD5UGRxUb2EzOhlMSZueT)
+   
+   ```
+
+   > 注意：password为加密，可使用
+   >
+   > java -cp jasypt-1.9.2.jar org.jasypt.intf.cli.JasyptPBEStringEncryptionCLI input="数据库的明文密码" password=f8car algorithm=PBEWithMD5AndDES
+
+   * clickhouse 配置
+
+     ```
+     spring.datasource.druid.clickhouseDB.url=jdbc:clickhouse://10.0.8.241:8010/k18_galaxy_service?socket_timeout=60000
+     spring.datasource.druid.clickhouseDB.username=default
+     spring.datasource.druid.clickhouseDB.password=ceiec2018
+     
+     ```
+
+     
+
+   * 存储库切换配置
+
+     
+
+     选择将流量统计结果存储到 mariadb 或 clickhouse 
+
+```
+db.switch=clickhouseDB
+
+```
+
+3. 重启应用
+
+   ./galaxy-traffic.sh stop 
+
+    ./galaxy-traffic.sh start 
+
+4. 查看应用日志
+
+   /home/ceiec/galaxy-traffic-service/logs/galaxy-traffic-service.log
+
+   
+
+### galaxy-stat-service安装
+
+1. 将安装galaxy-stat-service.tar.gz 包拷贝任意目录下
+
+   执行./installGalaxyStat.sh
+
+2. 修改配置文件  application.properties 
+
+   * mariadb配置 
+
+     ```
+     multiple.datasource.galaxy-mariaDB.url=jdbc:mariadb://10.0.4.9/galaxy-service
+     multiple.datasource.galaxy-mariaDB.username=galaxy
+     multiple.datasource.galaxy-mariaDB.password=ENC(6Bkc8oDrrZ1lxYtGLYOgWBQu0XMtA5Za)
+     multiple.datasource.galaxy-mariaDB.type=com.alibaba.druid.pool.DruidDataSource
+     multiple.datasource.galaxy-mariaDB.driver-class-name=org.mariadb.jdbc.Driver
+     
+     ```
+
+     > 注意：password为加密，可使用
+     >
+     > java -cp jasypt-1.9.2.jar org.jasypt.intf.cli.JasyptPBEStringEncryptionCLI input="数据库明文密码" password=EbfYkitulv73I2p0mXI50JMXoaxZTKJ7 algorithm=PBEWithMD5AndDES
+
+   * Clickhouse-1 环境
+
+     ```
+     multiple.datasource.galaxy-clickhouse.url=jdbc:clickhouse://clickhouse-read-ys.com:80/k18_ods?socket_timeout=60000
+     multiple.datasource.galaxy-clickhouse.username=wall
+     multiple.datasource.galaxy-clickhouse.password=k18
+     
+     ```
+
+     
+
+   * clickhouse-2 环境
+
+     ```
+     multiple.datasource.galaxy-clickhouse2.url=jdbc:clickhouse://10.0.8.241:8010/k18_galaxy_service?socket_timeout=60000
+     multiple.datasource.galaxy-clickhouse2.username=default
+     multiple.datasource.galaxy-clickhouse2.password=ceiec2018
+     
+     ```
+
+   * influxdb 环境
+
+     > 分两地，若部署一地，地址可相同
+
+     ```
+     
+     http.astana.url=10.0.5.19:8086/query?db=ntc_stat
+     http.alamty.url=10.0.5.15:8086/query?db=ntc_stat
+     ```
+
+   * 重启应用
+
+     ./galaxy-stat.sh stop 
+
+      ./galaxy-stat.sh start 
+
+   * 查看应用日志
+
+     /home/ceiec/galaxy-stat-service/logs/galaxy-stat-service.log
 
 
 
+### 实时统计topology部署
 
+// todo
\ No newline at end of file