diff options
Diffstat (limited to 'docs/release/2023')
| -rw-r--r-- | docs/release/2023/release-363.md | 11 | ||||
| -rw-r--r-- | docs/release/2023/release-364.md | 18 | ||||
| -rw-r--r-- | docs/release/2023/release-365.md | 15 | ||||
| -rw-r--r-- | docs/release/2023/release-366.md | 14 | ||||
| -rw-r--r-- | docs/release/2023/release-367.md | 25 | ||||
| -rw-r--r-- | docs/release/2023/release-368.md | 16 | ||||
| -rw-r--r-- | docs/release/2023/release-369.md | 5 | ||||
| -rw-r--r-- | docs/release/2023/release-370.md | 7 | ||||
| -rw-r--r-- | docs/release/2023/release-371.md | 13 | ||||
| -rw-r--r-- | docs/release/2023/release-372.md | 11 | ||||
| -rw-r--r-- | docs/release/2023/release-373.md | 18 | ||||
| -rw-r--r-- | docs/release/2023/release-374.md | 45 |
12 files changed, 198 insertions, 0 deletions
diff --git a/docs/release/2023/release-363.md b/docs/release/2023/release-363.md new file mode 100644 index 00000000..ceb661c1 --- /dev/null +++ b/docs/release/2023/release-363.md @@ -0,0 +1,11 @@ +Release 363 (TSG-23.01) +* 扩展Schema,新增公共描述字段common_app_full_path(TSG-12964) +* 扩展DSL服务接口,时间参数intervals支持ISO8601格式(GAL-247) +* 修改Schema,更新Live Charts Schema(TSG-12966) +* 扩展Schema,新增公共字段common_server_fqdn、common_server_domain及子表session_record_common_server_domain(TSG-13193) +* 完善Schema,补充GTP-C Record doc.schema_type GTP-C协议缺失字段(TSG-13265) +* 扩展LiveChart,新增APP吞吐量时序图、流量统计接口(TSG-13203) +* 修改Schema,安全日志展示common_flags字段(TSG-13290) +* 修改Schema,对部分日志schema索引键顺序进行调整或完善 +* 完善OLAP Statistics统计,Group维度不在Select结果列时关闭分片模式(TSG-13367) +* 完善OLAP Statistics统计,非重复结果统计count_distinct时关闭分片模式(TSG-13501)
\ No newline at end of file diff --git a/docs/release/2023/release-364.md b/docs/release/2023/release-364.md new file mode 100644 index 00000000..073d80cd --- /dev/null +++ b/docs/release/2023/release-364.md @@ -0,0 +1,18 @@ +Release 364 (TSG-23.02) +* 扩展子查询优化,适配不同版本CK主键(TSG-13187) +* 扩展Schema,回表增加Data Center与Device Group字段(TSG-13188) +* 扩展Schema,适配CK重构主键方案,schema扩充相应索引键(GAL-262) +* 扩展Schema,新增流量整形统计表traffic_shaping_metrics(TSG-13490) +* 扩展Schema,新增公共字段common_flags_identify_info(TSG-13492) +* 扩展Schema,新增公共字段common_shaping_rule_ids(TSG-13493) +* 扩展故障诊断接口,Schema诊断支持索引键校验(GAL-257) +* 修改Schema,对common_server_domain列进行展示,支持查询和Report(TSG-13362) +* 修改Schema,隐藏app_extra_info字段(TSG-13479) +* 修改schema,标注HTTP.Domain为DEPRECATED(TSG-13736) +* 修改Live Traffic Chart,指标Uncategorized Traffic更改为Unknown App(TSG-13571) +* 修改Schema,隐藏common_direction字段(TSG-13564) +* 修改Schema,schema_query.metrics 去掉common_flags、common_flags_identify_info、common_shaping_rule_ids 作为聚合函数的统计表达式(TSG-13768) +* 修复子查询优化,由于结果列别名与子表查询复合主键名称重复导致查询失败BUG(TSG-13676) +* 修复Statistics Top执行错误,由于任务SQL Metrics指标为空导致构建properties错误(TSG-13812) +* 修复查询任务接口,Field Discovery 统计 Shaping Rule IDs时出现重复对象(TSG-13832) +* 修复查询任务接口,Field Discovery 任务中包含重复字段导致统计结果异常(TSG-13922)
\ No newline at end of file diff --git a/docs/release/2023/release-365.md b/docs/release/2023/release-365.md new file mode 100644 index 00000000..82020af3 --- /dev/null +++ b/docs/release/2023/release-365.md @@ -0,0 +1,15 @@ +Release 365 (TSG-23.03) +* 扩展Field Discovery,针对Array/Bit类型字段,按每个元素进行统计(TSG-13553) +* 扩展Schema,支持Logical Type(TSG-13532) +* 扩展Schema,注册预聚合表 service_chaining_metrics,service_function_status(TSG-13918) +* 扩展Schema,对数值型字段定义格式转换类型(TSG-13969) +* 扩展Schema,common_flags增加c2s和s2c标志位(TSG-14005) +* 修改Schema,标注Stream Direction为Deprecated(TSG-13730) +* 修改Schema,对会话、过渡日志部分SSL协议字段进行隐藏(TSG-13973) +* 完善子查询优化,重构子查询校验规则及修复ck条件列与结果列别名相同导致语义歧义(GAL-281) +* 修改Schema,时间逻辑类型支持查询和字段发现(TSG-14097) +* 修改Schema,对部分过期及单值字段不支持字段发现(TSG-14098) +* 修改Schema,Security Events展示common_flags_identify_info字段(TSG-13864) +* 扩展知识库接口,支持大文件分段上传至HOS功能(GAL-299) +* 扩展DSL服务接口,基于ISO 8601标准,DSL/SQL支持识别更多的字符串日期格式(GAL-300) +* 修复DSL接口,修正Live Traffic Chart 和 Session Records 中相同的NOT IN 条件查询下,统计预期不一致(TSG-14449)
\ No newline at end of file diff --git a/docs/release/2023/release-366.md b/docs/release/2023/release-366.md new file mode 100644 index 00000000..8928978a --- /dev/null +++ b/docs/release/2023/release-366.md @@ -0,0 +1,14 @@ +Release 366 (TSG-23.04) +* 扩展Schema,安全事件日志Action数据字典增加Shunt动作(TSG-14345) +* 扩展Schema,新增安全策略规则命中统计表(TSG-14353) +* 修改Schema,Receive Time映射函数,使用common_ingestion_time作为默认值(TSG-14414) +* 优化SQL语句校验功能(GAL-303) +* 新增Schema,新增traffic_shaping_rule_hits整形流量统计(TSG-14493) +* 删除Schema,删除traffic_shaping_metrics(TSG-14493) +* 扩展Schema,DoS Event Schema增加字段profile_id(TSG-14520) +* 完善储存配额更新接口及Schema更新逻辑。 +* 优化离线任务提交,新增未完成且相同任务业务逻辑,避免任务多次提交(GAL-310) +* 优化SQL语句校验,完善SQL语句校验功能(TSG-13953) +* 扩展Schema,会话、过渡会话日志显示common_t_vsys_id(TSG-14626) +* 修复job statistics,修复嵌套统计构建异常 +* 修改配置,提取并设置知识库分片上传文件大小为10M
\ No newline at end of file diff --git a/docs/release/2023/release-367.md b/docs/release/2023/release-367.md new file mode 100644 index 00000000..22da5df0 --- /dev/null +++ b/docs/release/2023/release-367.md @@ -0,0 +1,25 @@ +Release 367 (TSG-23.05) +* 新增Schema,新增Metrics proxy_rule_hits代理策略规则命中统计(TSG-14640) +* 新增非结构化数据-文件路径列表应用接口(GAL-312) +* 新增Schema,新增重构后Top类及协议与应用统计预聚合表(TSG-14867) +* 新增知识库接口,新增知识库生效/失效状态切换接口(CN-954) +* 支持MYSQL标准函数concat(GAL-330) +* 扩展Schema,新增service_chaining_rule_hits服务链统计表(TSG-14691) +* 扩展Schema,部分Metrics统计表增加doc.measurements属性(TSG-14741) +* 扩展Schema,Proxy Events新增Intercept动作属性、SSL协议属性(TSG-14894) +* 扩展Schema,新增traffic_general_stat流量基础指标统计(TSG-14746) +* 扩展Schema,注册流量Top类统计聚合表(TSG-14867) +* 优化数据平台版本信息接口,移除原有结构体封装(GAL-325) +* 优化知识库管理发布接口,支持指定ID(GAL-333) +* 优化补全函数TIME_FLOOR_WITH_FILL补全能力(TSG-14895) +* 升级JsqlParser工具类至4.6版本 +* 基于重构后的Metrics表结构,更新、完善相关测试集SQL(TSG-14745) +* 扩展Schema,安全、会话日志 schema支持measurements.aggregates(TSG-14817) +* 完善子查询优化,解决回表优化查询条件携带别名情况(TSG-15045) +* 扩展Schema,Dos Events 时间字段支持查询与字段发现(TSG-15069) +* 修改Schema,修正common_sub_action别名为Sub Action(TSG-15086) +* 扩展Schema,完善安全事件日志common_action字段数据字典 +* 修改Schema,修复Proxy Events下Intercept Schema Type字段缺少SSL选项(TSG-15089) +* 修改Schema,Proxy Events删除RDP协议字段(TSG-15175) +* 扩展liveChart,网络协议分布新增总包数指标(TSG-15173) +* 修改Schema,traffic_general_stat granularity由1秒调整为5秒(TSG-14682)
\ No newline at end of file diff --git a/docs/release/2023/release-368.md b/docs/release/2023/release-368.md new file mode 100644 index 00000000..f7a4c013 --- /dev/null +++ b/docs/release/2023/release-368.md @@ -0,0 +1,16 @@ +Release 368 (TSG-23.06) +* 优化知识库更新、发布接口 +* 升级Galaxy Tools到1.1.3, 标识JsonMapper已过时,删除IPLookUp工具类 +* json类库统一使用Fastjson2(GAL-342) +* 修改Schema,Proxy Events Sub Action字段不作为默认Field discovery的Selected Fields的列(TSG-15133) +* 完善TopN优化,解决Field Discovery与Statistics Top10结果差异较大问题(TSG-15360) +* 修改Schema,统一定义Metrics Schema Data Center/Device Group 支持检索方式为 =,in(TSG-15431) +* 修改log4j2配置,基于不同日志级别输出不同的日志文件(GAL-353) +* 完善补全函数, 修复补全操作改变结果数据类型问题(TSG-15471) +* 修复Logs详情分组展示顺序与文档Schema描述不一致的问题(TSG-15498) +* 修改Schema,对schema type=ssl 标识为Deprecated的字段进行隐藏(TSG-15364) +* 修复导致失败,完善fastjson2解析大对象OOM问题(TSG-15472) +* 修改Schema,APP统计汇聚表app_name支持检索方式为 =,in(TSG-15572) +* 修改Schema,更新gtpc_match、flattenSpec函数对应参数的Jsonpath表达式(TSG-15621) +* 修改Schema,security_rule_hits schema Action 删除Intercept选项(TSG-15602) +* 扩展Schema,新增公共字段common_in_src_mac、common_out_src_mac、common_in_dest_mac、common_out_dest_mac(TSG-15647)
\ No newline at end of file diff --git a/docs/release/2023/release-369.md b/docs/release/2023/release-369.md new file mode 100644 index 00000000..c4bb35c5 --- /dev/null +++ b/docs/release/2023/release-369.md @@ -0,0 +1,5 @@ +Release 369 (TSG-23.07) +* 修改Schema,修正application_protocol_stat schema Label APP Name 为 App Name(TSG-15640) +* 修改Schema,删除ClickHouse表schema无用字段描述(TSG-15702) +* 修改查询任务接口,支持在分组数据基础上进行再次过滤;数据源存在子查询时不做分片查询处理(TSG-15337) +* 完善字段发现功能,支持动态聚合函数统计功能(TSG-15823)
\ No newline at end of file diff --git a/docs/release/2023/release-370.md b/docs/release/2023/release-370.md new file mode 100644 index 00000000..20aad732 --- /dev/null +++ b/docs/release/2023/release-370.md @@ -0,0 +1,7 @@ +Release 370 (TSG-23.08) +* 扩展Schema,集成统计对象与策略Schema(TSG-15926) +* 修改Schema,基础字段出/入方向链路号重命名(TSG-16274) +* 修改Schema,安全与代理事件日志Schema Label由 Policy ID 修改为 Rule ID(TSG-16288) +* 扩展Schema,Public Schema 增加Units信息,用于描述聚合Metric的单位(TSG-16326) +* 新增统计对象/统计策略测试集 +* 扩展Schema,新增统计策略命中统计Schema,测试集增加测试用例(TSG-16462)
\ No newline at end of file diff --git a/docs/release/2023/release-371.md b/docs/release/2023/release-371.md new file mode 100644 index 00000000..dd6efe5e --- /dev/null +++ b/docs/release/2023/release-371.md @@ -0,0 +1,13 @@ +Release 371 (TSG-23.09) +* 新增接口,SQL数据集市服务接口(TSG-16598) +* 扩展Schema,common_flags字典增加Bidirectional选项(TSG-16521) +* 扩展Schema,新增http_status_code字段(TSG-16794) +* 扩展SQL数据集市服务接口,初始化内置数据集市(TSG-16770) +* 扩展公共查询接口,支持解析同源Join关联语句(GAL-398) +* 修改Schema,statistics_object更新为object_statistics(TSG-16715) +* 升级galaxy-tool工具类版本至v1.2 +* 扩展Schema,SSL协议增加ssl_esni_flag、ssl_ech_flag字段(TSG-16959) +* 优化引擎最大结果数据集限制规则(TSG-16924) +* 修改SQL数据集,predefined-top-security-policy-hits 新增action维度(TSG-15916) +* 修改Schema,statistics_rule client_ip_sketch/server_ip_sketch/session_identifier_sketch metric_type 由hll改为gauge +* 优化时序图补全,避免补全后结果数超出最大内存限制、高耗时问题(TSG-17102)
\ No newline at end of file diff --git a/docs/release/2023/release-372.md b/docs/release/2023/release-372.md new file mode 100644 index 00000000..b8b034c0 --- /dev/null +++ b/docs/release/2023/release-372.md @@ -0,0 +1,11 @@ +Release 372 (TSG-23.10) +* 修改SQL数据集,优化First Hit和Last Hit查询模版(TSG-17072) +* 修改故障诊断接口,对SQL数据集故障诊断接口进行重构(GAL-400) +* 扩展Schema,新增公共毫秒级别时间戳字段(TSG-17187) +* 修改Schema,统计策略、对象统计Schema删除聚合信息描述 +* 新增公共函数,统一CAST公共函数(TSG-17216) +* 修改Schema,公共Schema更新bitAnd函数描述(TSG-17342) +* 扩展Schema,增加公共字段common_client_os_name, common_server_os_name(TSG-17398) +* 修改SQL数据集,定义order_by变量,更新statistics-rule-table-or-bar-chart-template、object-statistics-list、object-statistics-item-list sql模板(TSG-17381) +* 完善Schema,安全/会话日志schema_type 增加RTP和SIP协议(TSG-16616) +* 修改SQL数据集,将pinning_status值由Integer转换为String类型(TSG-17106)
\ No newline at end of file diff --git a/docs/release/2023/release-373.md b/docs/release/2023/release-373.md new file mode 100644 index 00000000..c88fc839 --- /dev/null +++ b/docs/release/2023/release-373.md @@ -0,0 +1,18 @@ +Release 373 (TSG-23.11) +* 优化服务接口命名,Rest SQL、Async API、Admin API(TSG-17269) +* 扩展Schema,新增Monitor Event schema(TSG-17718) +* 扩展Schema,新增Service Chaining相关字段(TSG-17717) +* 升级JDK版本至amazon JDK11(GAL-416) +* 修改Schema,原公共Schema更新为public_schema_info_2311,新增public_schema_info(TSG-17493) +* 修改Schema,重构会话、安全、事务日志,删除过渡会话日志(TSG-17493) +* 修改Live Traffic Chart,App Internal IPs基于flags判定(TSG-17493) +* 修改知识库推荐subscribe ID pool接口,使用实时推荐数据 (TSG-17496) +* 修改Schema,Security Event 更新decoded_as字典;定义缺失协议字段(TSG-17639) +* 修改Schema,通联日志decoded_as 协议类型定义(TSG-17672) +* 修改Schema,packet_capture_file字段不支持查询(TSG-17665) +* 修改Schema,会话日志删除index_table +* 修改Schema,会话/安全日志 Security Action 数据字典去除Shunt(TSG-17682) +* 修改Schema,修改ssl_version字段可见性为enabled(TSG-17715) +* 修改Schema,删除已废弃字段(TSG-17760) +* 适配报告,统一report_result表名 +* 修改IPUtil,适配IP、ASN定位库v4/v6合并后的加载逻辑(GAL-440) diff --git a/docs/release/2023/release-374.md b/docs/release/2023/release-374.md new file mode 100644 index 00000000..70400d72 --- /dev/null +++ b/docs/release/2023/release-374.md @@ -0,0 +1,45 @@ +Release 374 (TSG-23.12) +* 新增自定义聚合函数:MEDIAN_HDR、QUANTILE_HDR、PERCENTILES_HDR、COUNT_DISTINCT、APPROX_COUNT_DISTINCT_HLLD、RATE(GAL-44、TSG-18048) +* 新增自定义毫秒时间函数:FROM_UNIXTIME_MILLIS、UNIX_TIMESTAMP_MILLIS(GAL-449) +* 新增HOS API, 支持文件上传、删除、文件元信息获取接口(TSG-17843、TSG-18698、TSG-18808) +* 新增Monitor Schema,监测策略规则命中统计Schema(TSG-17851) +* 新增Trace ID,日志中新增TraceID(同响应request_id)便于日志追踪(TSG-17851) +* 删除过期Schema:radius_record、gtpc_record、radius_onff_log、sys_packet_capture_event、ctive_defence_event(TSG-17239、TSG-18119) +* 删除ES组件应用及相关代码(GAL-439) +* 重构Query API接口:管理SQL、DSL查询接口,支持批量获取(TSG-17269) +* 重构Datasets API接口,初始化内置数据集(TSG-17787) +* 重构Database API、Troubleshooting API(TSG-17843) +* 重构Util API (TSG-17843) +* 重构Knowledge Base API,对知识库文件管理接口进行重构(TSG-17843) +* 修改liveChart,移除liveChart summary uniq_client_ip指标 +* 修改Dataset,field-discovery,filter增加 vsys_id过滤条件(TSG-18229) +* 修改dataset,数monitor-event-timeline 只提供会话指标趋势(TSG-17952) +* 修改配置,Hbase Saved Query结果表为tsg_galaxy:saved_query_result +* 修改配置,HOS存储桶重命名为knowledge_base_bucket(GAL-453) +* 修改Schema,适配DosEvent、ProxyEvent与AssessmentEvent结构变化(TSG-17819) +* 修改Schema,基础字段app_path、protocol_path重命名(TSG-17828) +* 修改Schema,修改文件路径补全对应HOS桶名 +* 修改Schema,更新fqdn_category_list字段dict_location数据字典引用位置 +* 修改Schema,,删除radius_match、gtpc_match 函数(TSG-17813) +* 修改Schema,ssl_sni、dtls_sni、http_host、quic_sni字段新增sub_domain、get_value函数 +* 修改Schema,日志Schema部分字段补全Combine函数定义(TSG-17239) +* 修改Schema,logicalType、constraints.type区分timestamp、unix_timestamp +* 修改Schema,完善Log/Metric Schema 函数、Unit约束(TSG-18048) +* 修改Schema,Proxy Event decoded_as 增加DoH协议字典 +* 修改Schema,更新流量Top类统计schema metric字典 +* 修改Schema,修改 metrics schema dimensions、metrics、filters自定义报告约束 +* 修改Schema,Monitor Events中未展示Monitor Mirrored相关字段(TSG-18602) +* 修改Schema,Manipulation日志中应隐藏FQDN Category List、HTTP.Proxy Flags等字段(TSG-18577) +* 修改Schema,修正traffic_shaping_rule_hits.doc中字段名(TSG-18639) +* 扩展Schema,histogram支持MEDIAN_HDR函数 +* 扩展Schema,schema doc 增加time分类(TSG-17875) +* 扩展Schema,新增公共字段ip_protocol,支持report统计(TSG-18203) +* 扩展Schema,新增公共字段statistics_rule_list(TSG-18328) +* 扩展Schema,VoIP Record decoded_as 增加VoIP字典值(TSG-18445) +* 扩展Schema,日志Schema支持表达式字段(TSG-18511) +* 扩展Schema,object_statistics 新增object_type字段及字典数据(TSG-17960) +* 扩展Schema,描述可作为维度的时间字段(TSG-18662) +* 优化样例数据接口,优化Chart预览样例数据的生成方式(TSG-18645、TSG-18673) + + + |
