1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
|
#--------------------------------地址配置------------------------------#
#管理kafka地址
source.kafka.servers=192.168.10.193:9094,192.168.10.194:9094,192.168.10.195:9094
#管理输出kafka地址
sink.kafka.servers=192.168.20.223:9094,192.168.20.224:9094,192.168.20.225:9094
#用于分配log_id、连接hbase的zookeeper地址
zookeeper.servers=192.168.10.193:2181,192.168.10.194:2181,192.168.10.195:2181
#hdfs地址用于获取定位库
hdfs.servers=192.168.10.193:9000,192.168.10.194:9000
#--------------------------------HTTP/定位库------------------------------#
#定位库存储文件系统类型，hdfs or local
knowledgebase.file.storage.type=hdfs
#定位库地址，根据file.system.type配置填写对应地址路径。
knowledgebase.file.storage.path=/knowledgebase/ETL-ACTIVE-DEFENCE-EVENT-COMPLETED/
#从知识库元数据中需要获取的文件type列表，配置为空则不过滤type；优先级比name高
knowledgebase.type.list=ip_location,asn
#从知识库元数据中需要获取文件的name列表；配置为空则不过滤name
knowledgebase.name.list=ip_v4_built_in,ip_v6_built_in,ip_v4_user_defined,ip_v6_user_defined,asn_v4,asn_v6
#工具库地址，存放秘钥文件等。
tools.library=/home/tsg/olap/topology/data/
#--------------------------------nacos配置------------------------------#
#nacos 地址
nacos.server=192.168.20.252:8848
#schema namespace名称
nacos.schema.namespace=MSH
#schema data id名称
nacos.schema.data.id=active_defence_event.json
#knowledgebase namespace名称
nacos.knowledgebase.namespace=
#knowledgebase data id名称
nacos.knowledgebase.data.id=knowledge_base.json
#--------------------------------Kafka消费/生产配置------------------------------#
#kafka 接收数据topic
source.kafka.topic=PXY-EXCH-INTERMEDIA-CERT
#补全数据 输出 topic
sink.kafka.topic=PXY-EXCH-INTERMEDIA-CERT
#读取topic,存储该spout id的消费offset信息，可通过该拓扑命名;具体存储offset的位置，确定下次读取不重复的数据；
group.id=pxy-exch-intermedia-cert-1
#--------------------------------topology配置------------------------------#
#consumer 并行度
source.parallelism=3
#转换函数并行度
transform.parallelism=3
#kafka producer 并行度
sink.parallelism=3
#数据中心，取值范围(0-31)
data.center.id.num=1
#hbase 更新时间，如填写0则不更新缓存
hbase.tick.tuple.freq.secs=180
#--------------------------------默认值配置------------------------------#
#0不需要补全原样输出日志，1需要补全
log.need.complete=0
#生产者压缩模式 none or snappy
producer.kafka.compression.type=snappy
|
