diff options
| author | qidaijie <[email protected]> | 2023-12-08 19:00:01 +0800 |
|---|---|---|
| committer | qidaijie <[email protected]> | 2023-12-08 19:00:01 +0800 |
| commit | 6f4c418a397e5759677fac2ee6a7f71edbcbcdcd (patch) | |
| tree | a3e57a6d49c8aa89596045f1b2bc56087e09407e | |
| parent | 466742ebc75f6e2bab62a2460256f41696c3fd10 (diff) | |
更新Readmerelease/1.2
| -rw-r--r-- | README.md | 28 |
1 files changed, 18 insertions, 10 deletions
@@ -27,25 +27,33 @@ > 若参数携带 $. 标识,则使用的是数据内的字段值;若不携带则为参数指定的值。 * sub_domain > 获取顶级域名 +* decode_of_base64 +> 根据日志提供的编码,解析base64,若编码为空时 ETL不做转换,保留原始数据信息。 +* flattenSpec +> 根据表达式解析json,使用FastJson2 jsonPath工具类 +> https://alibaba.github.io/fastjson2/jsonpath_cn +* combine +> 路径合并: HOS统一访问路径(HOS URI) + 桶名 + 原始字段值 (文件唯一标识uuid) +> 桶名根据参数进行指定 + +## 弃用函数 +### TSG 22.02版本 + +* app_match +> 根据APP_ID获取对应的APP名称 + +### TSG 23.12版本 * radius_match > 根据IP获取对应的Raidus用户信息。 > 实际数据存储在HBase tsg_galaxy:relation_framedip_account表中,依赖RELATIONSHIP-RADIUS-ACCOUNT程序;使用时加载到内存中加速查询。 + + * gtpc_match > 根据日志common_tunnels内的信息,获取GTPC TEID对应的用户信息(phonenumber、imsi、imei),样例数据: ``` {"common_tunnels":"[{\"tunnels_schema_type\":\"GTP\",\"gtp_endpoint_a2b_teid\":247749709,\"gtp_endpoint_b2a_teid\":665547833,\"gtp_sgw_ip\":\"192.56.5.2\",\"gtp_pgw_ip\":\"192.56.10.20\",\"gtp_sgw_port\":2152,\"gtp_pgw_port\":2152}]"} ``` > 实际数据存储在HBase tsg_galaxy:relation_user_teid中,依赖RELATIONSHIP-RADIUS-USER程序;使用时加载到内存中加速查询。 -* decode_of_base64 -> 根据日志提供的编码,解析base64,若编码为空时 ETL不做转换,保留原始数据信息。 -* flattenSpec -> 根据表达式解析json,使用jsonPath工具类 -> https://github.com/json-path/JsonPath - -## 弃用函数 -* ~~app_match~~ -> ~~根据APP_ID获取对应的APP名称~~ -> 22.02版本后弃用 ## 动态知识库逻辑 [流程图](https://git.mesalab.cn/bigdata/tsg/flink/log-completion-schema/-/blob/22.11-KNOWLEDGEBASE/images/%E7%9F%A5%E8%AF%86%E5%BA%93%E6%B5%81%E7%A8%8B%E5%9B%BE.png) |
