获华兴资本投资,互利科技想用人工智能的方式处理非结构化数据,帮公司优化运维成本
在互联网上,我们能接触到的数据一般分为两种,一种是结构化数据另外一种是非结构化数据。结构化数据是指像商品名称、商品价格、这些存在数据库可以用二维关系表述的数据。但事实上这类数据的比例仅为20%,剩下的80%是非结构化数据,这类数据一般由机器内部产生,并且难以阅读。而服务器产生的日志就是典型的非结构化数据。而随着分布式系统的广泛应用为日志的管理也造成了一定的困难。曾经供职于Amazon的林坦,在2015年成立的互利科技试图解决这个问题。
互利科技的企业级实时分析与管理机器数据 平台,将分散在各机器上的日志收集起来统一管理,再将非结构化的数据结构化,抽取有意义的字段,用户可以根据任意关键字去搜索相关信息,让非结构化的数据搜索变得像使用搜索引擎一样简单。
除此之外,该平台还提供多样可视化的展示、多维度数据统计、多租户模式权限管理、监控数据和实时报警的功能。
林坦告诉36氪,互利科技所提供的日志分析能力主要有企业安全、运维、数据洞察等典型的应用场景。
在安全场景下:就是当企业遭受到攻击时都会在日志留下痕迹,日志分析能够协助 IT 人员实现网络故障排查、网络安全审计、安全信息与事件管理、日志统一归档等。
在用户数据收集和分析场景下:用户通过电商购买商品、查看的哪些商品、放进购物车的都会有日志记录,通过日志信息对用户进行画像。
林坦告诉36氪,在黑客在攻击服务器时,会首先删除日志信息,可见日志的重要程度。如果企业服务器宕机,那么越大企业损失越严重,像亚马逊这样的网站,每宕机一分钟大约损失15万美元,如果能利用好日志数据,快速定位出问题原因,每年对亚马逊节省的成本也是不计其数的。
虽然利用互利科技的分析工具可以增强信息的关联性和利用率,但是数据量并没有减少,人们依然无法阅读所有的日志数据,因此互利科技还运用了机器学习的算法,一方面将把相似的日志归类整理,另一方面做数据训练和数据测试,再加入一套完整的判定机制,随着数据量的不断增大,信息也会愈发准确。
林坦认为,虽然互利科技可以让运维或者安全人员准确定位问题,但未来会向自动化的方向努力,能通过历史的类似信息总结规律去实时响应甚至预测一些问题,这会比事后解决问题要有效的多。
虽然日志一直是困扰着运维人员和安全人员,但针对日志做数据处理的创业公司也有很多,比如国内的日志易,国外的Splunk ,而未来日志的分析处理将会向自动化方向发展—机器来处理常规问题,人来解决疑难杂症。互利科技在2015年获华兴资本天使轮融资。















