Update home.md

1 files changed, 285 insertions, 4 deletions

diff --git a/NTC/home.md b/NTC/home.md
index a2b6d68..268e02e 100644
--- a/NTC/home.md
+++ b/NTC/home.md
@@ -1,4 +1,4 @@
- Galaxy NTC 集成文档
+Galaxy NTC 集成文档
 
 ## 1.安装列表
 
@@ -39,14 +39,17 @@
 
 1. 登录clickhouse连接终端 dbeave 建库 
 
-  CREATE database IF NOT EXISTS k18_galaxy_service ON CLUSTER ck_cluster;
+  create database  k18_galaxy_service on cluster k18_cluster_big;
 
-  CREATE database IF NOT EXISTS k18_ods ON CLUSTER ck_cluster;
+  create database k18_ods  on cluster k18_cluster_log_big ;
 
 2.  终端工具下执行如下语句
 
-     clickhouse-ntc.txt
+     clickhouse普通表.txt
 
+     Clickhouse 小表.txt
+
+    Clickhouse 大表.txt
 
 ### 同步界面数据字典(mariadb)
 
@@ -217,5 +220,283 @@ db.switch=clickhouseDB
 
 
 ### 实时统计topology部署
+1. 配置文件脚本程序统一在/home/ceiec/topology 目录下的子文件夹内(文件夹名称对应的任务大类)
+
+    | 文件夹名称            | 功能             | 任务名称       |
+    | ----------------------| -----------------| ---------------|
+    | log-stream-address    | AAA写Redis       | RADIUS-AAA     |
+    | log-stream-completion | 原始日志补全     | 以-FW结尾      |
+    | log-stream-stat       | 配置日志统计     | 以-RC结尾      |
+    | log-stream-stat/uv/app| APP唯一用户量    | APP-ID-UV-COUNT|
+    | log-stream-stat/uv/web| Website唯一用户量| WEB-ID-UV-COUNT|
+
+2. log-stream-address
+    
+   * 修改address_routine.properties配置文件
+
+    ```
+     #kafka地址
+     bootstrap.servers=10.4.34.10:9092,10.4.34.11:9092
+     #从kafka哪里开始读：earliest/latest
+     auto.offset.reset=latest
+     #tick时钟频率
+     topology.tick.tuple.freq.secs=5
+     #redis过期时间
+     expiration.time=604800
+     ```
+    
+
+   * 修改kafka_topic.properties配置文件
+
+    ```
+     #kafka topic名称
+     kafka.topic=NTC-COLLECT-RADIUS-LOG
+     #消费组名
+     group.id=RADIUS-AAA
+     #storm任务的worker数
+     topology.workers=2
+     #spout的并行度
+     spout.parallelism=10
+     #bolt的并行度
+     format.bolt.parallelism=10
+     ```
+
+   * 启动停止
+   
+    ```
+     /home/ceiec/topology/log-stream-address 目录下
+     使用./start.sh 启动
+     使用./stop.sh 停止
+     ```
+
+3. log-stream-completion 
+
+    ```
+     此程序为原始日志补全程序有两个可选输出
+     1：输出到第三方kafka。
+     2：输出到clickhouse中。
+     ```
+     
+   * influxdb 环境
+
+     > 分两地，若部署一地，地址可相同
+
+    ```
+     修改 writeflow__config.properties 中的
+     #influx地址
+     influx.ip=http://10.0.5.19:8086
+     #influx.ip=http://10.0.5.16:8086
+     #influx用户名
+     influx.username=admin
+     #influx密码
+     influx.password=admin
+
+     ```
+    
+   * 输出到第三方kafka
+   ```
+     根据接收的topic功能不同修改的位置不同，修改的文件为writeflow__config.properties
+     
+     1：接入kafka地址 bootstrap.servers=159.226.16.90:9092,159.226.16.96:9092,159.226.16.98:9092
+     
+     2：第三方kafka地址分为 原始日志/泛收日志
+        当向阿斯塔纳第三方写入原始日志则配置文件将注释为 音视频kafka地址 音视频OSS地址 原始 原始OSS地址 10.4段的取消注释，泛收部分全部注释
+        
+        当向阿拉木图第三方写入原始日志则配置文件将注释为 音视频kafka地址 音视频OSS地址 原始 原始OSS地址 10.3段的取消注释，泛收部分全部注释
+        
+        当向阿斯塔纳第三方写入泛收日志则配置文件将注释为 泛收 10.4段的取消注释 原始部分全部注释
+        
+        当向阿斯塔纳第三方写入泛收日志则配置文件将注释为 泛收 10.3段的取消注释 原始部分全部注释
+        
+     3：启动方式
+        配置好的配置文件在/home/ceiec/topology/log-stream-completion/config/AstanaFlowWrite|AlmatyFlowWrite/mm|ntc|collect
+        分别为阿斯塔纳|阿拉木图的音视频|原始日志|泛收日志
+        
+        启动例如： ./startall config/AstanaFlowWrite/mm/
+     ```
+
+   * 输出到Clickhouse中
+   ```
+     1：修改writeflow__config.properties配置文件
+     
+        接入kafka地址 bootstrap.servers=159.226.16.90:9092,159.226.16.96:9092,159.226.16.98:9092
+     
+        修改clickhouse.properties配置文件
+        根据写入的表名不同分为 原始日志小表 原始日志大表 泛收 通联，以及用户名密码
+        #原始日志小表
+        #db.id=10.0.8.5:8001
+        #分析表和原始日志大表
+        #db.id=10.0.8.5:8002
+        #泛收
+        #db.id=10.0.8.5:8003
+        #通联
+        #db.id=10.0.8.6:8003
+
+        #用户名
+        db.user=default
+        #密码
+        mdb.password=ceiedc2018
+     
+     2：启动方式
+        配置好的配置文件在/home/ceiec/topology/log-stream-completion/config/AstanaClickHouse|AlmatyFlowWrite/big-8002|collect-8003|mm-8001|small-8001
+        分别为阿斯塔纳|阿拉木图的原始日志大表|泛收|音视频|原始日志小表
+        
+        启动例如： ./startall config/AstanaClickHouse/big-8002/
+     ```
+
+
+4. log-stream-stat
+
+   * 修改接收kafka地址
+    
+
+    realtime_routine.properties中的bootstrap.servers=10.4.34.10:9092,10.4.34.11:9092
+
+   * 修改MariaBD配置
+    
+    ```
+     修改 mariadb.properties 中的
+     drivers=org.mariadb.jdbc.Driver
+     mdb.user=galaxy
+     mdb.password=ceiec2018!
+     mdb.url=jdbc:mariadb://10.0.4.9:3306/galaxy-service?useUnicode=true&characterEncoding=utf-8&rewriteBatchedStatements=true
+     ```
+
+   * influxdb 环境
+
+     > 分两地，若部署一地，地址可相同
+
+    ```
+     修改 realtime_routine.properties 中的
+     #influx地址
+     influx.ip=http://10.0.5.19:8086
+     #influx.ip=http://10.0.5.16:8086
+     #influx用户名
+     influx.username=admin
+     #influx密码
+     influx.password=admin
+
+     ```
+
+   * 启动停止
+    
+    ```
+     分为两大类配置文件一种为原始日志一种为音视频，配置文件在/home/ceiec/topology/log-stream-stat/config下
+     /home/ceiec/topology/log-stream-stat 目录下
+     
+     使用./start.sh config/AstanaRealCount/ntc/启动所有阿斯塔纳的原始日志统计
+     使用./stop.sh config/AstanaRealCount/ntc/停止所有阿斯塔纳的原始日志统计
+     ```
+
+5. id-uv-count-app
+    
+   * 修改realtime_routine.properties配置文件
+
+    ```
+     #kafka地址
+     bootstrap.servers=10.4.34.10:9092,10.4.34.11:9092
+     #1：阿斯塔纳 2：阿拉木图
+     region=2
+     ```
+    
+
+   * 修改kafka_topic.properties配置文件
+
+    ```
+    #kafka broker下的topic名称
+    kafka.topic=NTC-CONN-RECORD-LOG
+    #kafka消费group id
+    group.id=UV-REALTIME-CONN-APP-A
+    #storm topology workers
+    topology.workers=2
+    spout.parallelism=3
+    format.bolt.parallelism=3
+    database.bolt.parallelism=3
+    #1:web, 2:app
+    group.strategy=2
+     ```
+
+
+   * 修改clickhouse.properties配置文件
+   
+    ```
+      #数据库连接地址
+      #db.id=10.0.8.5:8003
+      #用户名
+      db.user=default
+      #密码
+      mdb.password=ceiedc2018
+     ```
+     
+   * influxdb 环境
+
+     > 分两地，若部署一地，地址可相同
+
+    ```
+     修改 realtime_routine.properties 中的
+     #influx地址
+     influx.ip=http://10.0.5.19:8086
+     #influx.ip=http://10.0.5.16:8086
+     #influx用户名
+     influx.username=admin
+     #influx密码
+     influx.password=admin
+
+     ```
+
+   * 启动停止
+   
+    ```
+     /home/ceiec/topology/log-stream-stat/uv/app 目录下
+     使用./start.sh 启动
+     使用./stop.sh 停止
+     ```
+
+6. id-uv-count-web
+    
+   * 修改realtime_routine.properties配置文件
+
+    ```
+     #kafka地址
+     bootstrap.servers=10.4.34.10:9092,10.4.34.11:9092
+     #1：阿斯塔纳 2：阿拉木图
+     region=2
+     ```
+    
+
+   * 修改kafka_topic.properties配置文件
+
+    ```
+    #kafka broker下的topic名称
+    kafka.topic=NTC-CONN-RECORD-LOG
+    #kafka消费group id
+    group.id=UV-REALTIME-CONN-WEB-A
+    #storm topology workers
+    topology.workers=2
+    spout.parallelism=3
+    format.bolt.parallelism=3
+    database.bolt.parallelism=3
+    #1:web, 2:app
+    group.strategy=1
+     ```
+
+
+   * 修改mariadb.properties配置文件
+   
+    ```
+     drivers=org.mariadb.jdbc.Driver
+     mdb.user=galaxy
+     mdb.password=ceiec2018!
+     mdb.url=jdbc:mariadb://10.0.4.9:3306/galaxy-service?useUnicode=true&characterEncoding=utf-8&rewriteBatchedStatements=true
+     ```
+
+   * 启动停止
+   
+    ```
+     /home/ceiec/topology/log-stream-stat/uv/web 目录下
+     使用./start.sh 启动
+     使用./stop.sh 停止
+     ```
+
 
 // todo
\ No newline at end of file