path: root/NTC/home.md

**Galaxy NTC 集成文档**

![NTC 后端应用流程图](ntc后端流程图.jpg)

## 1.安装列表

| 应用安装         | 进程名称                     | 依赖                                                         | 备注                                                         |
| ---------------- | ---------------------------- | ------------------------------------------------------------ | ------------------------------------------------------------ |
| 报表统计服务     | galaxy-stat-         service | 1.clickhouse-1(大数据）<br>2.clickhouse-2（自建） <br>3. mariadb <br>4.influxdb 统计链接数 | 离线报表统计程序，包括统计前段infuxdb输出的新建与关闭连接数  |
| 配置日志服务     | galaxy-service               | 1.redis 配置线 <br> 2.minio 配置<br> 3.clickhouse 日志查询   | 核心应用，接收配置、原始日志查询、统计报表查询               |
| Storm应用        | jar                          | 数据加载、实时统计                                           | 拓扑程序，部署到storm集群中                                  |
| 流量格式转换服务 | galaxy-traffic-service       | 1. 配置kafka环境  2.mariadb\| clickhouse环境                 | 负责解析总控telgraf出的5分钟流量汇聚结果                     |
| 文件同步服务     | galaxy-fsync-service         |                                                              | 文件搬运工，负责将minio&redis现场文件输出到bigdata平台中(无对接，可不部署) |
| 关键字转URL服务  | galaxy-etl-service           |                                                              | 不部署                                                       |
| 大屏推送服务     | galaxy-push-service          |                                                              | 大屏推送服务(若无输出对接，可不部署)                         |



## 2.初始化脚本

| 数据类型             | 所属组件   |      |
| -------------------- | ---------- | ---- |
| kafka topic列表      | kafka      |      |
| clickhouse表语句     | clickhouse |      |
| 界面同步数据字典文件 | mariadb    |      |
| 服务数据库文件       | mariadb    |      |

## 3.数据初始化

### kafka 初始化

1. 登录任意一台所属kafka机器，进入如下目录

   cd /home/ceiec/kafka_2.11-1.0.0/bin

2. 初始化topic

​       拷贝附件 kafka-topic.txt 执行即可

### clickhouse初始化

1. 登录clickhouse连接终端 dbeave 建库 

  CREATE database IF NOT EXISTS k18_galaxy_service ON CLUSTER ck_cluster;

  CREATE database IF NOT EXISTS k18_ods ON CLUSTER ck_cluster;

2.  终端工具下执行如下语句

     Clickhouse-ntc.txt


### 同步界面数据字典(mariadb)

>   注意：mariadb 需要开启 federated 引擎，终端下执行

  install plugin federated soname 'ha_federated.so';

1.统一替换（黑色字体）sql文件引用的数据库源(界面库)

CONNECTION='mysql://**root:[email protected]:3306/gwall_dev**/'

2. 终端或命令行下导入 ui-structure.sql 文件



### 综合业务服务数据库初始化(mariadb)

打开mariadb 终端工具，依次执行如下：

1. 导入 galaxy-structure.sql 文件
2. 导入 galaxy-data.sql 文件

## 4.应用组件安装

### galaxy-service 安装





### galaxy-traffic-service安装



1. 将安装galaxy-traffic-service.tar.gz 包拷贝任意目录下

   执行./installGalaxyTraffic.sh 

2. 修改配置文件  application.properties 

   * Kafka 配置

     ```
     kafka.consumer.servers=10.4.34.10:9092,10.4.34.11:9092,10.4.34.12:9092,10.4.34.13:9092,10.4.34.14:9092,10.4.34.15:9092,10.4.34.16:9092,10.4.34.17:9092,10.4.34.18:9092,10.4.34.19:9092
     kafka.consumer.enable.auto.commit=true
     kafka.consumer.session.timeout=6000
     kafka.consumer.auto.commit.interval=100
     kafka.consumer.auto.offset.reset=latest
     kafka.consumer.topic=NTC-NETWORK-TRAFFIC-STAT
     kafka.consumer.group.id=CONSUMER-GALAXY-TRAFFIC-SERVICE-2019-07-01
     
     ```

     

   * mariadb配置 

   ​     

   ```
   spring.datasource.druid.mariaDB.url=jdbc:mariadb://10.0.4.9:3306/galaxy-service
   spring.datasource.druid.mariaDB.username=galaxy
   spring.datasource.druid.mariaDB.password=ENC(N80MNMCGSZ9wD5UGRxUb2EzOhlMSZueT)
   
   ```

   > 注意：password为加密，可使用
   >
   > java -cp jasypt-1.9.2.jar org.jasypt.intf.cli.JasyptPBEStringEncryptionCLI input="数据库的明文密码" password=f8car algorithm=PBEWithMD5AndDES

   * clickhouse 配置

     ```
     spring.datasource.druid.clickhouseDB.url=jdbc:clickhouse://10.0.8.241:8010/k18_galaxy_service?socket_timeout=60000
     spring.datasource.druid.clickhouseDB.username=default
     spring.datasource.druid.clickhouseDB.password=ceiec2018
     
     ```

     

   * 存储库切换配置

     

     选择将流量统计结果存储到 mariadb 或 clickhouse 

```
db.switch=clickhouseDB

```

3. 重启应用

   ./galaxy-traffic.sh stop 

    ./galaxy-traffic.sh start 

4. 查看应用日志

   /home/ceiec/galaxy-traffic-service/logs/galaxy-traffic-service.log

   

### galaxy-stat-service安装

1. 将安装galaxy-stat-service.tar.gz 包拷贝任意目录下

   执行./installGalaxyStat.sh

2. 修改配置文件  application.properties 

   * mariadb配置 

     ```
     multiple.datasource.galaxy-mariaDB.url=jdbc:mariadb://10.0.4.9/galaxy-service
     multiple.datasource.galaxy-mariaDB.username=galaxy
     multiple.datasource.galaxy-mariaDB.password=ENC(6Bkc8oDrrZ1lxYtGLYOgWBQu0XMtA5Za)
     multiple.datasource.galaxy-mariaDB.type=com.alibaba.druid.pool.DruidDataSource
     multiple.datasource.galaxy-mariaDB.driver-class-name=org.mariadb.jdbc.Driver
     
     ```

     > 注意：password为加密，可使用
     >
     > java -cp jasypt-1.9.2.jar org.jasypt.intf.cli.JasyptPBEStringEncryptionCLI input="数据库明文密码" password=EbfYkitulv73I2p0mXI50JMXoaxZTKJ7 algorithm=PBEWithMD5AndDES

   * Clickhouse-1 环境

     ```
     multiple.datasource.galaxy-clickhouse.url=jdbc:clickhouse://clickhouse-read-ys.com:80/k18_ods?socket_timeout=60000
     multiple.datasource.galaxy-clickhouse.username=wall
     multiple.datasource.galaxy-clickhouse.password=k18
     
     ```

     

   * clickhouse-2 环境

     ```
     multiple.datasource.galaxy-clickhouse2.url=jdbc:clickhouse://10.0.8.241:8010/k18_galaxy_service?socket_timeout=60000
     multiple.datasource.galaxy-clickhouse2.username=default
     multiple.datasource.galaxy-clickhouse2.password=ceiec2018
     
     ```

   * influxdb 环境

     > 分两地，若部署一地，地址可相同

     ```
     
     http.astana.url=10.0.5.19:8086/query?db=ntc_stat
     http.alamty.url=10.0.5.15:8086/query?db=ntc_stat
     ```

   * 重启应用

     ./galaxy-stat.sh stop 

      ./galaxy-stat.sh start 

   * 查看应用日志

     /home/ceiec/galaxy-stat-service/logs/galaxy-stat-service.log



### 实时统计topology部署
1. 配置文件脚本程序统一在/home/ceiec/topology 目录下的子文件夹内(文件夹名称对应的任务大类)

    | 文件夹名称            | 功能             | 任务名称       |
    | ----------------------| -----------------| ---------------|
    | log-stream-address    | AAA写Redis       | RADIUS-AAA     |
    | log-stream-completion | 原始日志补全     | 以-FW结尾      |
    | log-stream-stat       | 配置日志统计     | 以-RC结尾      |
    | log-stream-stat/uv/app| APP唯一用户量    | APP-ID-UV-COUNT|
    | log-stream-stat/uv/web| Website唯一用户量| WEB-ID-UV-COUNT|

2. log-stream-address
  
   * 修改address_routine.properties配置文件

    ```
     #kafka地址
     bootstrap.servers=10.4.34.10:9092,10.4.34.11:9092
     #从kafka哪里开始读：earliest/latest
     auto.offset.reset=latest
     #tick时钟频率
     topology.tick.tuple.freq.secs=5
     #redis过期时间
     expiration.time=604800
    ```
   

   * 修改kafka_topic.properties配置文件

    ```
     #kafka topic名称
     kafka.topic=NTC-COLLECT-RADIUS-LOG
     #消费组名
     group.id=RADIUS-AAA
     #storm任务的worker数
     topology.workers=2
     #spout的并行度
     spout.parallelism=10
     #bolt的并行度
     format.bolt.parallelism=10
    ```

   * 启动停止
   
    ```
     /home/ceiec/topology/log-stream-address 目录下
     使用./start.sh 启动
     使用./stop.sh 停止
    ```

3. log-stream-completion 

    ```
     此程序为原始日志补全程序有两个可选输出
     1：输出到第三方kafka。
     2：输出到clickhouse中。
    ```
    
   * influxdb 环境

     > 分两地，若部署一地，地址可相同

    ```
     修改 writeflow__config.properties 中的
     #influx地址
     influx.ip=http://10.0.5.19:8086
     #influx.ip=http://10.0.5.16:8086
     #influx用户名
     influx.username=admin
     #influx密码
     influx.password=admin

    ```
   
   * 输出到第三方kafka
   ```
     根据接收的topic功能不同修改的位置不同，修改的文件为writeflow__config.properties
     
     1：接入kafka地址 bootstrap.servers=159.226.16.90:9092,159.226.16.96:9092,159.226.16.98:9092
     
     2：第三方kafka地址分为 原始日志/泛收日志
        当向阿斯塔纳第三方写入原始日志则配置文件将注释为 音视频kafka地址 音视频OSS地址 原始 原始OSS地址 10.4段的取消注释，泛收部分全部注释
        
        当向阿拉木图第三方写入原始日志则配置文件将注释为 音视频kafka地址 音视频OSS地址 原始 原始OSS地址 10.3段的取消注释，泛收部分全部注释
        
        当向阿斯塔纳第三方写入泛收日志则配置文件将注释为 泛收 10.4段的取消注释 原始部分全部注释
        
        当向阿斯塔纳第三方写入泛收日志则配置文件将注释为 泛收 10.3段的取消注释 原始部分全部注释
        
     3：启动方式
        配置好的配置文件在/home/ceiec/topology/log-stream-completion/config/AstanaFlowWrite|AlmatyFlowWrite/mm|ntc|collect
        分别为阿斯塔纳|阿拉木图的音视频|原始日志|泛收日志
        
        启动例如： ./startall config/AstanaFlowWrite/mm/
   ```

   * 输出到Clickhouse中
   ```
     1：修改writeflow__config.properties配置文件
     
        接入kafka地址 bootstrap.servers=159.226.16.90:9092,159.226.16.96:9092,159.226.16.98:9092
     
        修改clickhouse.properties配置文件
        根据写入的表名不同分为 原始日志小表 原始日志大表 泛收 通联，以及用户名密码
        #原始日志小表
        #db.id=10.0.8.5:8001
        #分析表和原始日志大表
        #db.id=10.0.8.5:8002
        #泛收
        #db.id=10.0.8.5:8003
        #通联
        #db.id=10.0.8.6:8003

        #用户名
        db.user=default
        #密码
        mdb.password=ceiedc2018
     
     2：启动方式
        配置好的配置文件在/home/ceiec/topology/log-stream-completion/config/AstanaClickHouse|AlmatyFlowWrite/big-8002|collect-8003|mm-8001|small-8001
        分别为阿斯塔纳|阿拉木图的原始日志大表|泛收|音视频|原始日志小表
        
        启动例如： ./startall config/AstanaClickHouse/big-8002/
   ```


4. log-stream-stat

   * 修改接收kafka地址
   

    realtime_routine.properties中的bootstrap.servers=10.4.34.10:9092,10.4.34.11:9092

   * 修改MariaBD配置
   
    ```
     修改 mariadb.properties 中的
     drivers=org.mariadb.jdbc.Driver
     mdb.user=galaxy
     mdb.password=ceiec2018!
     mdb.url=jdbc:mariadb://10.0.4.9:3306/galaxy-service?useUnicode=true&characterEncoding=utf-8&rewriteBatchedStatements=true
    ```

   * influxdb 环境

     > 分两地，若部署一地，地址可相同

    ```
     修改 realtime_routine.properties 中的
     #influx地址
     influx.ip=http://10.0.5.19:8086
     #influx.ip=http://10.0.5.16:8086
     #influx用户名
     influx.username=admin
     #influx密码
     influx.password=admin

    ```

   * 启动停止
   
    ```
     分为两大类配置文件一种为原始日志一种为音视频，配置文件在/home/ceiec/topology/log-stream-stat/config下
     /home/ceiec/topology/log-stream-stat 目录下
     
     使用./start.sh config/AstanaRealCount/ntc/启动所有阿斯塔纳的原始日志统计
     使用./stop.sh config/AstanaRealCount/ntc/停止所有阿斯塔纳的原始日志统计
    ```

5. id-uv-count-app
  
   * 修改realtime_routine.properties配置文件

    ```
     #kafka地址
     bootstrap.servers=10.4.34.10:9092,10.4.34.11:9092
     #1：阿斯塔纳 2：阿拉木图
     region=2
    ```
   

   * 修改kafka_topic.properties配置文件

    ```
    #kafka broker下的topic名称
    kafka.topic=NTC-CONN-RECORD-LOG
    #kafka消费group id
    group.id=UV-REALTIME-CONN-APP-A
    #storm topology workers
    topology.workers=2
    spout.parallelism=3
    format.bolt.parallelism=3
    database.bolt.parallelism=3
    #1:web, 2:app
    group.strategy=2
    ```


   * 修改clickhouse.properties配置文件

    ```
      #数据库连接地址
      #db.id=10.0.8.5:8003
      #用户名
      db.user=default
      #密码
      mdb.password=ceiedc2018
     ```

   * influxdb 环境

     > 分两地，若部署一地，地址可相同

    ```
     修改 realtime_routine.properties 中的
     #influx地址
     influx.ip=http://10.0.5.19:8086
     #influx.ip=http://10.0.5.16:8086
     #influx用户名
     influx.username=admin
     #influx密码
     influx.password=admin
    
     ```

   * 启动停止

    ```
     /home/ceiec/topology/log-stream-stat/uv/app 目录下
     使用./start.sh 启动
     使用./stop.sh 停止
     ```

6. id-uv-count-web
  
   * 修改realtime_routine.properties配置文件

    ```
     #kafka地址
     bootstrap.servers=10.4.34.10:9092,10.4.34.11:9092
     #1：阿斯塔纳 2：阿拉木图
     region=2
    ```
   

   * 修改kafka_topic.properties配置文件

    ```
    #kafka broker下的topic名称
    kafka.topic=NTC-CONN-RECORD-LOG
    #kafka消费group id
    group.id=UV-REALTIME-CONN-WEB-A
    #storm topology workers
    topology.workers=2
    spout.parallelism=3
    format.bolt.parallelism=3
    database.bolt.parallelism=3
    #1:web, 2:app
    group.strategy=1
    ```


   * 修改mariadb.properties配置文件

    ```
     drivers=org.mariadb.jdbc.Driver
     mdb.user=galaxy
     mdb.password=ceiec2018!
     mdb.url=jdbc:mariadb://10.0.4.9:3306/galaxy-service?useUnicode=true&characterEncoding=utf-8&rewriteBatchedStatements=true
     ```

   * 启动停止

    ```
     /home/ceiec/topology/log-stream-stat/uv/web 目录下
     使用./start.sh 启动
     使用./stop.sh 停止
     ```


// todo