blob: a1f5a56531f9d0a3e50f77e24ddee2a69e09b900 (
plain)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
|
#--------------------------------地址配置------------------------------#
#管理kafka地址
input.kafka.servers={{ consumer_kafka_servers }}
#管理输出kafka地址
output.kafka.servers={{ producer_kafka_servers }}
#zookeeper 地址 用于配置log_id
zookeeper.servers={{ zookeeper_servers }}
#hbase zookeeper地址 用于连接HBase
hbase.zookeeper.servers={{ zookeeper_servers }}
#--------------------------------HTTP/定位库------------------------------#
#定位库地址
ip.library={{ install_path }}/topology/dat/
#网关的schema位置
schema.http=http://{{ gateway_keepalive_host }}:9999/metadata/schema/v1/fields/security_event_log
#网关APP_ID 获取接口
app.id.http=http://{{ gateway_keepalive_host }}:9999/open-api/appDicList
#--------------------------------Kafka消费组信息------------------------------#
#kafka 接收数据topic
kafka.topic=SECURITY-EVENT-LOG
#补全数据 输出 topic
results.output.topic=SECURITY-EVENT-COMPLETED-LOG
#读取topic,存储该spout id的消费offset信息，可通过该拓扑命名;具体存储offset的位置，确定下次读取不重复的数据；
group.id=security-event-log-20201209-1
#生产者压缩模式 none or snappy
producer.kafka.compression.type=none
#生产者ack
producer.ack=1
#latest/earliest 从当前消 or 从头消费
auto.offset.reset=latest
#接收自kafka的消费者 client-id
consumer.client.id=consumer-security-event
#回写给kafka的生产者 client-id
producer.client.id=producer-security-event
#--------------------------------topology配置------------------------------#
#storm topology workers
topology.workers=3
#spout并行度 建议与kafka分区数相同
spout.parallelism=3
#处理补全操作的bolt并行度-worker的倍数
completion.bolt.parallelism=12
#写入kafka的并行度10
kafka.bolt.parallelism=6
#数据中心（UID）
data.center.id.num=11
#hbase 更新时间，如填写0则不更新缓存
hbase.tick.tuple.freq.secs=180
#app_id 更新时间，如填写0则不更新缓存
app.tick.tuple.freq.secs=0
#--------------------------------默认值配置------------------------------#
#当bolt性能受限时，限制spout接收速度，理论看ack开启才有效
topology.config.max.spout.pending=70000
#hbase table name
hbase.table.name=subscriber_info
#ack设置 1启动ack 0不启动ack
topology.num.acks=1
#kafka批量条数
batch.insert.num=500
#tick时钟频率
topology.tick.tuple.freq.secs=5
#spout接收睡眠时间
topology.spout.sleep.time=1
#邮件默认编码
mail.default.charset=UTF-8
#是否需要补全，yes补全/no日志原样输出
log.need.complete=yes
#补全校验类型 0 强制类型校验；1 弱类型校验；2 不校验
complete.check.type=1
|
