知识图谱 日志审计 入侵检测

一种基于知识图谱的web登录日志安全分析的方法

摘要：针对于web登录原始日志的分析方法，后期处理基于知识图谱的分析方法，首先通过mongoDB数据库，对日志信息进行宏观的掌控分析，再通过neo4j数据库，形成图数据库，对复杂的登录登录信息之间的关系进行分析，旨在于发现潜在的安全问题，以及可能的入侵痕迹。

关键词：安全数据、数据分析、知识图谱、图数据库、日志审计、入侵检测

一、背景和意义

知识图谱是以科学知识为对象，显示学科的发展 进程与结构关系的一种图形，具有“ 图” 和“ 谱” 的双重性 质与特征。 作为对科学知识及其间的关系可视化所得 出的结果， 具有较为直观、 定量、 简单与客观等诸多优 点，被广泛应用并取得较可靠的结论。 目前成为科学计 量学、管理学、科学学和情报学等领域的研究热点。

近年来，随着机器学习、大数据等技术的迅速发展，知识图谱的研究得到了一个长足的进步，从google的搜索引擎自建的知识图谱的应用来看，其工业应用性还是非常高的。其前景也是十分广泛，除了智能搜索还有构建任务关系维度、反欺诈发现、不一致性验证、异常检测等，本文所提到的日志安全分析的方法便是异常检测在知识图谱中的一个应用。

以往对于大量的日志的分析方式一般是采用关系数据库或者非关系数据库来存储，随着大数据的应用，人们更加希望能从海量的数据中发一些潜在的、更深层次、更加复杂维度的联系，而实验表明，这种方式所发现的信息更有价值。在安全领域，以往被动的防御方式，也可以变得更加主动，从大量的数据中感知出一些入侵的痕迹或者入侵的态势，从而提前采取措施。

二、知识图谱与安全数据分析的现状

近几年，在大数据的推动下，知识图谱受到了业界和学术界的广泛关注，知识图谱的构建技术主要有自顶向下和自底向上两种，其中自顶向下的构建方式主要是通过结构化的数据，从高质量的数据中直接提取出本体和关系的模式信息，形成知识库。而自底向上的构建方式，则是使用一定的技术手段，或者算法模式，从大量的公开的数据中，提取出有效的信息、语义文本等加入数据库。在知识图谱发展的初期，大多数的企业和科研机构都采用了自顶向下的构建方式，构建自己的基础数据库。随着机器学习、自动抽取知识、和信息处理技术的发展，当前阶段的知识图谱逐渐转型向自底向上的构建，尝试摆脱传统数据的束缚。构建知识图谱是一个逐渐迭代的过程，通过知识抽取、加工、融合几个阶段来不断的完善。此外，知识图谱的构建是多学科的结合，需要知识库、自然语言理解，机器学习和数据挖掘等多方面知识的融合。目前，知识图谱的研究已经取得了很多有效的成果，例如：智能搜索，这也是现在知识图谱最成熟的一个应用场景，智能问答应用于语音助手，推荐系统，知识推理、大数据预测方面的安全态势感知、入侵检测、反欺诈等应用等。随着技术的发展应用的深度和广度会不断的扩大，也会更加的实用成熟。

随着信息时代的发展，数据存储的数量级越来越大，产生数据的速度也越来越快，所以对于如此庞大的数据的分析技术也急需发展，而不仅仅是一堆存储在机器上的二进制数字，从海量的数据中提取出有用的信息，分析出安全隐患以及可能的趋势也极为重要。大数据分析安全问题是一种时下较新的方向，而使用知识图谱进行异常检测更是该领域中一种前沿的技术，在近几年的发展中逐渐成熟起来。

三、方法和模型

1）对于原始日志的处理：

原始的web日志形式较为杂乱，是由web应用组件自动生成的具有一定格式的日志信息，本文研究所使用的日志是来自于一个邮箱登录web应用，后台架构是java+tomcat，生成的日志中大约40%是有效可用的日志信息，其他冗余的信息是用来记录web应用组件的运行状态，错误处理信息等，所以对于原始日志的第一步方法便是信息的提取，这往往也是知识图谱知识库构建，自底向上构建中最难的一步，需要使用一些信息文本提取技术，有监督的机器学习等来提取信息，但是本文所使用的数据具有一定的结构，便于抽取信息，所以使用自顶向下的构建方式即可。

具体的操作方法即为，找出日志中的有效信息的固定标志格式，本文使用的数据样本（图1）中通过观察发现，每行日志开头格式固定，“[INFO]”字段来隔开日志信息内容和日志信息类型，有效的信息的中又包含“uid”字段，并且有效信息是使用json格式生成，所以直接使用python中loadjson包，即可对有效信息进行结构化分类。所以编写python脚本，来将原始数据抽取，并结构化的存储在数据库中。

图1：原始日志样本

这里我们选用的是非关系数据库mongoDB，因为mongo数据库非常适用于这种json数据的存储，并且会自动生成索引，便于快速查询。存储在数据库中的结构化数据如下图2

图2：mongoDB数据库可视化查看

2）对于结构化日志的处理：

当日志有效信息抽取完毕，结构化的存储在数据库中之后，接下里是对数据中的信息的处理，去掉无用字段，增加有利于分析的字段，本方法中分析安全性时，需要使用ip的地理位置，所以通过已经存储在数据库中的ip字段，增加一个归属地的属性，同样也是通过python脚本实现，通过读取ip，使用百度地图的API来查询归属地，并在数据库中相应的更新city和province两个字段。处理后结果如图3所示

图3：增加ip归属地字段

完善日志信息的数据库之后，可以利用现阶段已经处理好的数据来对日志信息做一个宏观的掌控分析，从总的数据角度来看，每天的日志是否存在问题，比如日志生成的数量问题、日志中不同类邮箱登录的次数较之以往有较大的出入等。该日志分析同样使用python脚本完成。

结果如图4所示。

图4：日志宏观分析

3）图数据库应用方式：

为了进一步对日志进行更深层次的信息的挖掘、发现潜在的安全隐患，普通的关系数据库和非关系数据库已经不足以完成更深层次的挖掘，为了更加方便的使用知识图谱的理论来进行安全性分析，这里使用Neo4j这个图数据来存储。借助neo4j图数据库的可视化功能来初步探索知识图谱在入侵检测方面的应用。

使用前，需要先建立图数据库，即将mongoDB中有结构的数据导入到图数据库中，在这个过程中，重点和难点则在于图数据库中，节点和关系的确定以及这些本体应该拥有什么样的属性，因为不同的存储模式会导致不一样的审计效果，由于初涉图数据库的使用，这里先抽取了约半个月的日志来形成一个初型的简易图谱来进行实验。后续可在迭代过程中根据不同的使用场景来丰富图数据库的构建。

本文所使用的图数据库中，导入的节点类型分为三类：ip、邮箱ID、prvince位置信息。而关系有两种LOGIN_IN、PROVINCE_IN。通过这两种关系来将这三类节点联系起来。与此同时，赋予LOGIN_IN这个关系一些属性，来区分不同时间、不同设备、不同ip的产生的登录日志。这些属性包括：登录时间OccurTime、登录设备的UA、以及登录状态（本次登录请求是否成功登录）。

在将这些结构化的数据导入图数据库的时候，因为之前的工作已经将原始日志很规整的存在了mongo数据库中，所以直接由mongo数据库导出相应的csv，再加以加工，便可以得到可用来导入Neo4j的数据样本，在这个过程中，加工csv的时候便是选定本体和属性，还有关系和节点的时候。由于图数据库的一些要求，还要同时考虑到这些数据的类型、格式是否符合导入要求，是否有残缺和矛盾的数据存在，加工处理好csv样本之后便可以使用neo4j自带的导入工具neo4j-admin 进行导入，本次数据样本，导入了240099个nodes、2860812个关系，导入时间12s左右，图数据库的生成速度十分快。初次生成的图数据库如图5所示

图5：初次生成的图数据库

4）训练检测图谱及后续方法展望：

有了一个基本可用的的图数据库就可以用一些简易的检测模型来从庞大的图中找出一些有异常的登录情况。一般来说，大多数用户登录产生的图谱都是相类似的，有着固定的登录地点、固定的登录时间、固定的UA；而一些存在风险的操作，例如短时间内更换登录地、不同的UA登录同一个邮箱等，都是有可能存在盗号风险的。通过这些来建立一个检测图谱，可以缩小数据范围，确定一些存在隐患的设备或者邮箱ID来避免未知的安全攻击。借鉴《web安全之机器学习入门》这本书中的一个拓扑结构来说明这种问题；如图6。

图6：疑似账户被盗示意图

从拓扑图可以看出来，activesyncid为2的硬件登录了mike和john两个账户，mike历史上曾经成功登录过activesyncid为1的硬件以及activesyncid为2的硬件，初步判定activesyncid为2的硬件盗取了mike的账户登录。

现在的互联网攻击中，还有一类是黑客经常使用的手段，撞库攻击。撞库是黑客通过收集互联网已泄露的用户和密码信息，生成对应的 字典表，尝试批量登录其他网站后，得到一系列可以登录的用户。很多用户在不同网站使用的是相同的账号密码，因此黑客可以通过获取用户 在A网站的账户从而尝试登录B网站，这就可以理解为撞库攻击。曾经疯传一时的12306数据库泄漏事件，便是撞库攻击的结果。一般来讲，登录日志还是以登录成功为主的，且不会出现同一IP短时间内登录大量不同的邮箱。出现这种情况就疑似数据库遭到撞库攻击。同借用上述图书中的一个拓扑结构说明，如图7

图7：疑似撞库攻击示意图

从拓扑图可以看出来，大量账户从ip1登录，并且ua字段相同，登录失败和成功的情况均存在，疑似发生了撞库攻击行为。

通过类似于上述的拓扑结构来完成一个检测图谱的模型，通过这种模型来匹配异常的子图，从而能过从海量的数据中发现异常，与此同时，还可以通过这些异常样本来完善自己的检测图谱，提高检出效率，降低误检率。

四、实验

通过观察一些登录的实际图关系，观察图中ip、邮箱、位置的以及登录信息产生的不同情况，可以自己训练设计的检测图谱，试图发现异常的登录情况，并且不断的使用这些异常样本来完善自己的检测方法。在本次实验中仅使用Neo4j自带的图形化渲染界面，可以做一些简易的查询实例来展示。

A）查询邮箱ktsolar@rntek.cas.cn所有曾经登陆过的ip以及ip所在省份，如图8

图8：查询A

可以从图中看出该邮箱的常用登录地点为北京市，每条联系的线即是不同的登录时间产生的登录日志，而在一小部分的IP不再北京，有可能是工作地点的变化，进步一的查询，可以通过更精确的查询条件来确定，本次查询知识一个简单的本类查询的展示。

B）以一个ip（119.78.210.7）为出发点，找出曾在这个ip上登陆过的邮箱，以及这些邮箱曾经使用过的ip，如图9、10

图9：查询B1

图10：查询B2

本查询中，以某个ip为出发点，查询和这个ip所以相关的邮箱ID，并且再延伸一个维度度，查询这些邮箱相关的ip，本例只是一个简单的维度延伸查询的简单展示，可以通过这种方式，加以精确的限定条件来完成更深度的查询。

C）引入关系中的时间属性，查询单独某一天的关系，如图11

图11：查询C

本例使用的数据样本在一开始的时候构建的关系LOGIN_IN有附加属性，其中就包含每一次登录产生的时间，可以通过这些本体所附带产生的属性，来进行限制的查询，从而更加精确查询结果，挖掘更加深度的信息。

五、结论

随着互联网的发展，大数据时代的高潮来到，数据信息的价值变得越来越高，获得高质量的数据的成本也逐渐增加，如何从这些数据中提取出有用的信息，发现深层的关联，检测出安全隐患都是值得我们深入研究的问题，本文中提出的这种基于知识图谱的web登录日志安全分析的方法，其基础是知识图谱的应用，实现方式也是借助于图数据来实现，目前仅做到了简单的图数据库的建立，有关检测图谱的部分提出了设想及思路，具体的通过一些理论形成的拓扑结构，从而生成可用的检测图谱模型还需要深入研究，在研究的同时，也可以更具实际需求的不同，来重新定义图数据库的本体和属性。在不断的实践中修改和完善图数据库，提高可利用性。最终完成能够有效的从大量数据中发现入侵痕迹、安全隐患问题。

本文由 sengle 创作，采用 知识共享署名4.0 国际许可协议进行许可
本站文章除注明转载/出处外，均为本站原创或翻译，转载前请务必署名?>