0x00 前言：
事情源于之前不太认真的认真回答，见：知乎用户：NLP 在威胁情报中有哪些应用？，于是乎就有人私信问了，实际上对于这一部分我也是刚刚才开始接触，至于这个需求是怎么来的，实际上有两个原因，第一个原因是因为boss的强迫症：告警推送全都是要求用自然语言表达，第二个原因是因为威胁情报的分类问题，我们在捕获威胁情报的时候，共识是使用爬虫去爬取有对应消息的源（源这里实际上是经过筛选的，筛选的过程等以后有时间再说），这个时候问题就来了，国内的源要么消息滞后要么不提供RSS的接口（xx厂商为首），而国外的源相反，消息更新的很快，有RSS和邮件推送，甚至有些信息做到了json推送，这个时候另一个问题就来了，推送个英语过来的还好，这要是推送个思密达这种，没有语言功底的人还确实看不懂，所以这个时候想到了用NLP（自然语言处理）来解决情报处理的问题。
0x01 确定要收集的信息：
我们现在假设这样一个场景：老大让你收集一些关键组件的漏洞披露情况，如果有高风险的话，立马通过IM、邮件的形式推送到老大的面前。抛开规划不谈，这种针对特定组件的漏洞收集工作实际上是比较繁琐的一件事儿，因为你也不知道什么时候爆发什么漏洞，但是我们还是有些特定的收集技巧，我们按照披露的灰度来对源进行分类：
- 漏洞发现过程：这个时候最好的选择是oss-sec下面的bugtraq和oss mailing-list，或者是openwall mailing-list，如果你曾经给redhat这种提交过漏洞，也可以混到他们的邮件列表中去获取相对应的情报信息
- 漏洞披露之后：最直接的方法是直接去爬去每天更新的cve列表，mitre有接口可以操作
完成这个过程之后，实际上你就可以去编写爬虫了，至于编写爬虫的过程，略，大概爬完就是这种效果：
{
"id": "CVE-2018-6439",
"cvss": {},
"seen_wild": false,
"date_created": "2018-12-03T00:00:00",
"description": "A Vulnerability in the configdownload command of Brocade Fabric OS command line interface (CLI) versions before 8.2.1, 8.1.2f, 8.0.2f, 7.4.2d could allow a local attacker to escape the restricted shell and, gain root access.",
"reference": [
{
"name": "https://www.broadcom.com/support/fibre-channel-networking/security-advisories/brocade-security-advisory-2018-730",
"type": "UNKNOWN",
"external_source":
"CONFIRM",
"href": "https://www.broadcom.com/support/fibre-channel-networking/security-advisories/brocade-security-advisory-2018-730"
}
],
"products": [],
"mitre": "https://cve.mitre.org/cgi-bin/cvename.cgi?name=CVE-2018-6439",
"exploit": []
}0x02 机读转人读
这个时候你就能大概了解到了这个漏洞的一些信息，but，你只知道了这个漏洞的信息，但是你并不知道这个漏洞是否值得响应，那么什么样的漏洞信息值得你去响应呢，一般情况下这个值得响应是跟资产相关、漏洞危害、在野利用、是否披露等多个方面进行评估之后才能得出是否需要修复的决策的，这显然不是威胁情报生产团队需要考虑的（毕竟有干实事儿的SRC存在），但是情报侧要提供信息可以帮助他们决策，以上面这个漏洞而言，我们需要关注的是描述这里：
A Vulnerability in the configdownload command of Brocade Fabric OS command line interface (CLI) versions before 8.2.1, 8.1.2f, 8.0.2f, 7.4.2d could allow a local attacker to escape the restricted shell and, gain root access.我们在这里使用自动化的方法完成对这段话的处理，处理的目的在于：
（1）提高情报的可运营效率，也就是说人话让运营人员能操作
（2）提高情报指向性，方便运营人员排查资产是否受影响
（3）联动IM，提高情报推送的及时性
（4）也可以和资产系统进行联动，确定受影响的组件范围，降低修复漏洞的SLA
我们使用简单的分词结合之前使用cpe和cwe等数据作为训练样本获得的数据对漏洞告警信息进行处理，并且将告警信息汉化，举个例子：
# coding: utf-8
import nltk
import mtranslate
from nltk.tag import pos_tag_sents
fintels = []
vul_describes = json.loads(cve_spider_list)
for vul_describe in vul_describes:
chn_u = mtranslate.translate(vul_describe["description"], "zh-cn")
words = nltk.word_tokenize(vul_describe["description"])
affect_list = mach_learn(cpe_list_sample()) # 训练样本返回的组件名称规则
version_list = mach_learn(cpe_version_sample()) # 训练样本返回的组件版本规则
severity_list = mach_learn(severity_sample()) # 训练样本返回的漏洞类型规则
res = nltk.tag.pos_tag(words)
affect = ""
version = []
severity_list = []
for word,pos in res:
if pos in affect_list:
t_words = word + " "
affect += t_words
elif pos in version_list:
version.append(word)
elif pos in severity_list:
severity_list.append(word)
fintel = {
"description": chn_u,
"affect": affect,
"version": version,
"reference": vul_describe["reference"],
"cve_id": vul_describe["cve_id"],
"severity": severity_list
}
fintels.append(fintel)
print(fintel)处理过后得到的信息就变得简单多了：
OK，这个时候，我们就可以联动IM了，因为各家IM都不尽相同，所以这个就看各家的SDK就能解决这个问题，最后推送的效果呢就是这样：
这样，安全运营人员就可以根据你的情报进行响应了。
0x03 小结：
以上的问题其实从操作的角度上来看并不难操作，关键是在于NLP技术如何帮助去自动化处理一些威胁情报信息来方便人去运营，毕竟情报收集很大一定程度上都是根据公开的信息，有很多情况下都是需要去处理海量的信息，这个时候自动化识别、NLP、OCR这些技术就能够提高我们的处理效率，减少因为情报造成的时机延误。毕竟运营哥哥和姐姐也是很辛苦的，扫描器、监控、IDS这些东西都会告警，都要去响应，这时候你要是再给他来一堆不能响应的情报，他会拿一把40米长的大刀然后让你先跑39米。