人机协作以防御网络攻击

如今，在一家大公司担任网络安全分析师，就像在大海捞针一样，如果那个大海捞针正以光纤速度向您袭来。

每天，员工和客户都会生成大量数据，以建立一套正常的行为。攻击者还将在使用多种技术渗透系统的同时生成数据。目标是找到该“针”并在其造成任何损害之前将其停止。

这项任务的数据繁重性质使其非常适合于机器学习的数字化处理能力，并且多年来，人工智能驱动的系统的涌入确实淹没了网络安全市场。但是，这样的系统可能会出现自己的问题，即永无休止的误报流，与安全分析人员的节省时间相比，这可能使它们浪费更多的时间。

MIT初创公司PatternEx首先假设算法不能单独保护系统。该公司已经开发出一种闭环方法，通过该方法，机器学习模型会标记可能的攻击，而人类专家则会提供反馈。然后将反馈合并到模型中，从而提高其仅标记分析人员将来关注的活动的能力。

“网络安全中的大多数机器学习系统一直在进行异常检测，” PatternEx的共同创始人，麻省理工学院的首席研究员Kalyan Veeramachaneni说。“首先，问题是您需要[正常活动]的基准。此外，该模型通常是无监督的，因此最终会显示大量警报，最终人们将其关闭。最大的不同是PatternEx允许分析师将系统通知系统，然后使用该反馈过滤掉误报。”

结果是提高了分析师的生产率。与通用异常检测软件程序相比，PatternEx的Virtual Analyst Platform通过相同数量的每日警报成功识别出10倍多的威胁，即使通用系统每天向分析师提供五倍的警报，其优势仍然存在。

该公司的系统于2016年首次部署，如今已被各行各业的大型公司以及提供网络安全即服务的公司的安全分析师所使用。

融合人与机器的网络安全方法

Veeramachaneni于2009年以博士后的身份加入麻省理工学院，目前负责信息与决策系统实验室的研究小组。他在麻省理工学院（MIT）的工作主要涉及大数据科学和机器学习，但直到2013年与PatternEx联合创始人Costas Bassias，Uday Veeramachaneni和Vamsi Korrapati进行头脑风暴会议之前，他对将这些工具应用于网络安全并没有深思。

伊格纳西奥·阿纳尔多（Ignacio Arnaldo）在2013年至2015年期间担任Veeramachaneni的麻省理工学院博士后，不久后加入了该公司。Veeramachaneni和Arnaldo从他们为麻省理工学院的机器学习研究人员构建工具的时间就知道，成功的解决方案需要将机器学习与人类专业知识无缝集成。

Veeramachaneni说：“人们在机器学习中遇到的许多问题是由于机器必须与分析人员并肩工作而引起的，”他指出，仍然必须以一种可以理解的方式向人类提出检测到的攻击，以供进一步研究。“它无法独自完成所有事情。大多数系统，即使只是简单地发放贷款，也都是增强，而不是机器学习，而只是将决策从人类手中夺走了。”

该公司的第一个合作伙伴关系是与一家大型在线零售商合作，这使创始人可以训练他们的模型，以使用真实数据识别潜在的恶意行为。他们一一训练了他们的算法，以使用Wi-Fi访问日志，身份验证日志和网络中的其他用户行为等来源标记不同类型的攻击。

早期的模型在零售中效果最好，但是Veeramachaneni从与MIT公司高管的多次对话中得知其他行业中有多少企业正在努力将机器学习应用于其业务（PatternEx最近发表了一篇论文）。

Veeramachaneni说：“自从我十年前来到这里以来，麻省理工学院就做出了令人难以置信的工作。” 他估计，在过去六年中，作为麻省理工学院工业联络计划的成员，他已经与私营部门成员举行了200次会议，讨论他们所面临的问题。他还使用这些对话来确保他实验室的研究正在解决相关问题。

除企业客户外，该公司还开始向专门研究网络中未发现的网络攻击的安全服务提供商和团队提供其平台。

如今，分析人员可以通过PatternEx的平台构建机器学习模型，而无需编写任何代码，从而降低了人们使用机器学习的门槛，这是业界向Veeramachaneni所谓的AI民主化的更大趋势的一部分。

“网络安全时间不足；不需要花费数小时甚至数天的时间就可以了解发生攻击的原因。” Veeramachaneni说。“这就是为什么让分析师具有构建和调整机器学习模型的能力是我们系统最关键的方面的原因。”

为安全分析师提供一支军队

PatternEx的Virtual Analyst平台旨在使安全分析人员感到，他们有大量的助手通过数据日志进行梳理，并向他们呈现网络上最可疑的行为。

该平台使用机器学习模型来浏览50多个数据流，并识别可疑行为。然后，它将信息提供给分析人员以获取反馈，以及图表和其他数据可视化效果，以帮助分析人员决定如何进行。在分析人员确定行为是否为攻击之后，该反馈将被合并回模型中，并在PatternEx的整个客户群中进行更新。

“在机器学习之前，有人可能会发现一次攻击，可能稍晚一些，他们可能会命名，然后宣布它，其他所有公司都将致电并查明并继续检查其数据，” Veeramachaneni说。“对于我们来说，如果发生攻击，我们将获取这些数据，并且由于我们有多个客户，因此我们必须将其实时传输到其他客户的数据中，以查看它们是否也正在发生。我们每天都非常高效地做到这一点。”

系统与新客户一起启动并运行时，便可以使用170种预包装的机器学习模型识别40种不同类型的网络攻击。Arnaldo指出，随着公司努力增加这些数字，客户还通过在平台上构建解决方案来解决他们面临的特定威胁，从而增加了PatternEx的模型库。

即使客户没有在平台上构建自己的模型，他们也可以开箱即用地部署PatternEx的系统，而无需任何机器学习专业知识，并看着它自动变得更智能。

通过提供这种灵活性，PatternEx将最先进的人工智能工具带给最了解行业的人们。这一切都可以追溯到公司的创立原则，即用人工智能赋予人类权力，而不是取代人类。

“系统的目标用户不是熟练的数据科学家或机器学习专家-网络安全团队难以聘用的个人资料-而是已经在其薪资中的对数据和用例有最深刻了解的领域专家，” Arnaldo说。