“棱镜”背后的大数据

　　新华网北京12月17日电 美国防务承包商前雇员爱德华·斯诺登的爆料，让美国国家安全局的“棱镜”监视项目为大众窥知。如果单从技术角度看，“棱镜”可能是迄今最成功的大数据应用项目之一。

　　“棱镜”最大特点在于利用美国的全球通信中枢地位截取数据。斯诺登提供的一张幻灯片显示，北美与欧洲、亚太、拉美之间的带宽，是其他洲际带宽的两倍甚至以上，如果从巴基斯坦发一封电子邮件到英国，从美国“绕道”更快捷经济。而当全球海量数据都如此“绕道”，美国情报机构只要在电信运营商的主干光纤上做手脚，就可以截取。

　　早在2006年，美国电话电报公司一名员工就披露了该公司在旧金山的“641A”密室。媒体曝光的法庭资料显示，这个没有窗户的黄色房间里装着国家安全局的“情报流量分析仪”，可以监控接收80％经由运营商光纤的数据，而类似的密室在美国有20个。

　　有趣的是，生产“情报流量分析仪”的Narus公司就把自己的产品比作“棱镜”。网络数据通过这种仪器就像光线穿过棱镜，会被分解出“光谱”：包含IP地址和设备等的网络层、包含内容主题和位置的语义层，以及用户资料身份和关系的用户层。

　　除了对互联网数据通路的操控，国家安全局在“9·11”之后还开始收集通话元数据，即不包含通话内容的美国境内及国际通话的双方电话号码、通话时长、电话的位置信息等。另据媒体披露，对于电子邮件、社交网络等加密内容，在一些互联网公司的合作下，国家安全局可以从这些公司的服务器将数据直接同步到自己的服务器上，运作过程同云端硬盘备份类似。

　　从国家安全局在美国犹他州刚建成的数据中心也可以看出其收集数据之“大”。这座数据中心的处理能力将以泽字节计，1泽字节信息相当于2500亿张DVD。

　　为了处理这些数据，国家安全局专门开发了一个数据库，可以储存处理多格式数据，在发现数据的规律模式后实时报告，并能将姓名、电话号码等元数据作为节点，把相关的姓名、号码、搜索词等联系起来，自动生成关联图。

　　“棱镜”还有一套名为“无限线人”的大数据分析工具，按国家和具体项目进行监视。使用者可以选择一个国家向系统提问“我们对X国掌握的最新数据是什么”，系统会显示掌握的元数据量，再根据具体项目显示细节数据。

　　资料显示，2013年3月，“无限线人”在全球计算机网络收集信息基础上产生的报告达970亿条。

(来源:新华网)