diff options
Diffstat (limited to 'README.md')
| -rw-r--r-- | README.md | 196 |
1 files changed, 194 insertions, 2 deletions
@@ -4,9 +4,201 @@ Extract clean and worthy data from web. ## Getting started -To make it easy for you to get started with GitLab, here's a list of recommended next steps. +一、功能需求 +1.WebHopper——网站测绘功能： +输入：网站 + +输出： + +页面javascript资源评分排名 +网站域名whois记录查询 +网站组件识别 +网页历史快照 +网页广告/跟踪器识别 +网站响应头 +网站HTML文档 +网站资源引用链 +二、部署环境 +Mac OSX Serria/Catalina/BigSur（非M1芯片） + +Linux 16.04/18.04 + +需要渲染页面，必须有图形界面，必须为桌面版本系统！！！！！！！！！！！！！！！！！！！ + +python版本务必选择3.7、3.8，其他版本会遇到版本不兼容问题！！！！！！！！！！！！！！！！！！ + +需要的依赖在requirements.txt里，直接pip安装就行，简单的很！！！！！！！！！！！！！！！！！！！！！ + +三、系统结构功能&操作说明 +0.系统目录结构 + + +目录解释 +1.analyzer文件夹：分析网站页面依赖的javascript资源 + +2.collector文件夹：收集网站数据 + +3.DBopt文件夹：数据库操作 + +4.Infra_analyzer文件夹：分析网站依赖的DNS、CA + +5.jsonfiles文件夹：保存网站的资源评分情况 + +6.result文件夹：保存测量结果，每天每个网站以网站域名+日期的形式存储在其中 + +7.Tools文件夹：各种小工具的保存位置 + +py文件引用关系 + +蓝色代表第三方库的引用位置，标识了库功能，便于查询。红色部分比较重要。 + + + +系统工作流程：系统各功能实现顺序对最终结果无影响，详细顺序见WebHopper注释 + + +1.数据采集 +数据采集位于collector目录下，基于selenium+chrome浏览器实现网站数据采集，具体采集对象如下表，存储路径为当前目录result文件夹下 + +网页快照 网站首页截图 系统result目录下（上图www.baidu.com.png） +网站HTML文档 取网站首页HTML文档 系统result目录下（上图www.baidu.com.html） +网页渲染过程 取当前页面的渲染过程 计算机/User/../rendering_stream下 +网站响应头 当前网站响应头 系统result目录下（上图header） + + +2.页面javascript资源评分 +网站页面渲染过程用于计算javascript资源得分，计算得到的javascript得分以逆序输出，具体得分保存于result目录下csv文件中。 + +3.域名whois记录查询 +基于python-whois库，对网站主域名进行whois查询，结果保存于系统result目录下（上图whois文件） + +4.广告&跟踪器标识 +基于easylist规则列表，对网站中的广告和跟踪器资源进行标识，识别出来的结果会标识在result目录下的csv文件中。 + +功能实现位于Tools目录下的adt文件夹中。 + +5.组件识别 +基于wappalyzer指纹库，对网站进行组件识别，结果保存在result目录下，componet + +6.DNS、CA分析 +采集网站主域名依赖的权威域名服务器、OCSP服务器、CDP服务器、CA机构、CA URL + +功能实现位于Infra_analyzer目录下 + +结果保存于result目录下（上图www.baidu.com.csv） + +7.资源引用链 + +基于页面渲染过程数据，收集资源引用链，结果保存在result目录下chain.txt文件中 + +8. 操作说明 +将待测网站输入到WebHopper中，直接运行即可 + +四、数据说明 +1.result目录下结果文件 +csv文件 +resource_url 资源url +isThirdParty 资源是否来自第三方（0/1） +resource_type 资源类型（javascript:1、image:2、iframe:3、XML:4、CSS:5、video:6） +CA_url CA机构url +Issuer 证书签发者 +OCSP 资源域名依赖的OCSP服务器 +CDP 资源域名依赖的CDP服务器 +NS 资源二级域依赖的权威域名服务器 +isAd 是否为广告（取值0/1） +isTracker 是否为跟踪器（取值0/1） +whois（以www.baidu.com为例） +{ + "domain_name": [ + "BAIDU.COM", + "baidu.com" + ], + "registrar": "MarkMonitor, Inc.", + "whois_server": "whois.markmonitor.com", + "referral_url": null, + "updated_date": [ + "2022-01-25 09:00:46", + "2022-01-25 09:23:56" + ], + "creation_date": "1999-10-11 11:05:17", + "expiration_date": [ + "2026-10-11 11:05:17", + "2026-10-11 07:00:00" + ], + "name_servers": [ + "NS1.BAIDU.COM", + "NS2.BAIDU.COM", + "NS3.BAIDU.COM", + "NS4.BAIDU.COM", + "NS7.BAIDU.COM", + "ns4.baidu.com", + "ns3.baidu.com", + "ns2.baidu.com", + "ns7.baidu.com", + "ns1.baidu.com" + ], + "status": [ + "clientDeleteProhibited https://icann.org/epp#clientDeleteProhibited", + "clientTransferProhibited https://icann.org/epp#clientTransferProhibited", + "clientUpdateProhibited https://icann.org/epp#clientUpdateProhibited", + "serverDeleteProhibited https://icann.org/epp#serverDeleteProhibited", + "serverTransferProhibited https://icann.org/epp#serverTransferProhibited", + "serverUpdateProhibited https://icann.org/epp#serverUpdateProhibited", + "clientUpdateProhibited (https://www.icann.org/epp#clientUpdateProhibited)", + "clientTransferProhibited (https://www.icann.org/epp#clientTransferProhibited)", + "clientDeleteProhibited (https://www.icann.org/epp#clientDeleteProhibited)", + "serverUpdateProhibited (https://www.icann.org/epp#serverUpdateProhibited)", + "serverTransferProhibited (https://www.icann.org/epp#serverTransferProhibited)", + "serverDeleteProhibited (https://www.icann.org/epp#serverDeleteProhibited)" + ], + "emails": [ + "[email protected]", + ], + "dnssec": "unsigned", + "name": null, + "org": "Beijing Baidu Netcom Science Technology Co., Ltd.", + "address": null, + "city": null, + "state": "Beijing", + "zipcode": null, + "country": "CN" +} + +header（以www.baidu.com为例） +{'Pragma': 'no-cache', 'Server': 'bfe/1.0.8.18', 'Cache-Control': 'private, no-cache, no-store, proxy-revalidate, no-transform', 'Connection': 'close', 'Date': 'Sun, 29 May 2022 07:51:41 GMT', 'Content-Type': 'text/html', 'Last-Modified': 'Mon, 23 Jan 2017 13:27:29 GMT', 'Set-Cookie': 'BDORZ=27315; max-age=86400; domain=.baidu.com; path=/', 'Content-Encoding': 'gzip', 'Transfer-Encoding': 'chunked', 'Keep-Alive': 'max=1'} + + + +2. 页面渲染数据 + + +网站页面渲染数据存储于/User/账户名/rendering_stream目录下，数据为json文件，字段解释如下： + +node_id DOM节点id +actor_id 修改该节点的对象，取值为script_id +script_id 脚本id +node_type 节点类型（DOM、网络请求节点、脚本节点） +event_type +发生在该节点的事件类型 + +（NodeCreation、NodeInsertion、NodeAttribute、NodeRemoval、NodeAttachLater、AttrAddition、AttrStyleTextAddition、AttrModification、NetworkLinkRequest、NetworkScriptRequest、NetworkIframeRequest、NetworkXMLHTTPRequest、NetworkVideoRequest、NetworkRequest、NetworkImageRequest、ScriptCompilation、ScriptExecution） + +tag_name +标签名 + +（<img>、<scirpt>......） + +node_parent_id DOM父节点，取值为node_id +node_previous_sibling_id DOM同级兄弟节点，取值为node_id +node_attributes 节点属性 +parenet_node_type 父节点类型（DOM、网络请求节点、脚本节点） +requestor_id 发起请求的节点，取值为script_id +script_text 脚本内容 +in_execution 是否在执行脚本（True, False） +request_url 请求url +script_url 脚本url -Already a pro? Just edit this README.md and make it your own. Want to make it easy? [Use the template at the bottom](#editing-this-readme)! ## Add your files |