信息技术行业充斥着为满足特定需求而开发的工具。
在整个历史中,人类一直在创造满足特定需求的专用工具。即使在石器时代,人类已经开始将石头制成能做不同事情的工具。锋利的石头用作切割工具,而更大的锤子则用来敲打东西。
专用工具在各行各业都很普遍。当我们有适合的工具时,我们做事才最顺利。你希望你的外科医生用瑞士军刀去除发炎的阑尾,还是用精细的手术刀呢?
信息技术行业充斥着为满足特定需求而开发的工具。例如,客户关系管理(CRM)工具使用名为关系数据库的特定类型的数据库来组织和关联特定客户的信息。如果没有关系数据库,我们仍然会在klunky电子表格或Rolodex中跟踪客户联系人!试想一下如果没有一种名为网络浏览器的专门工具,我们还能在互联网时代做什么事情。
这个新的工具时代对专有工具也有同样的需求。在这一浪潮里,组织在物体上安装了大量的传感器,以进行测量或检测记录事件的发生。工具化的“事物”是实体的,如车间里的机器,或虚拟的,如运行在容器化计算环境中的软件应用程序。任何能从工具化中获利的东西都被都会被工具化,这只是时间问题。
今天,传感器可以捕获温度、压力甚至峰值CPU利用率等指标流,或者捕获文件访问或打开机械阀门开合等事件。这些数据被加上时间标记并被收集到数据库中,在这里,数据加入数百万个类似的数据点,这些数据点可以随时间或特定的时间点讲述故事。最终目标是解释这些数据点的含义,做出相关的实时决策,并采取某种即时行动来控制接下来发生的事情。
例如,试想一下,在现代车辆中用来防止碰撞或减少碰撞严重性的避撞系统。它使用来自GPS,雷达,LIDAR和相机系统(即传感器)的相关数据来检测即将发生的碰撞并警告驾驶员,或者它可能采取自主行动而无需驾驶员来施加制动或将车辆转到别的方向。所有这一切仅仅在几秒钟的时间内发生。更重要的是,系统在此刻做出的决定很重要,因为这决定了碰撞是否可以避免。
工具时代的专用平台
与客户关系管理,互联网浏览甚至手术一样,捕捉并使用传感器生成的数据的系统需要专门为此活动构建的工具。这类平台有非常明确的需求,这些需求无法用通用工具得到解决。以下是工具时代平台的特点:
•它必须能够处理惊人的数据量——无论是将数据注入系统中,还是随时间存储数据。试想一辆自驾车。它内部装备了能持续测量各种流量指标并观察无数事件的传感器:速度,与前方车辆的距离,与道路上的涂漆线的接近程度,交通信号灯的状态等等。这种以非常快的速度生成的大量数据需要一个基础架构来处理数据的即时接收和存储。批量是做不到这个的。更重要的是,平台必须能压缩数据,以便它不会一下子消耗所有的存储容量。
•系统必须将时间视为数据的基本构造。每个数据点都会有一个时间标记,以便系统可以准确地了解测量进行的时间或事件发生的时间。使用这些数据的应用程序需要支持时基(time-based)功能,例如计算数据的移动平均值(rolling average),或比较数据点与不同时间段内的相同测量值之间的差异。时间是为此目的而构建的所有平台的基本组成部分。
•系统必须能对数据进行降采样(down-sample);即在一段时间之后删除一些(但不是全部)数据点。如今考察一下非常精细的最新数据可能很重要,但随着时间的推移,大量数据的价值会减少。例如,假设你想测量网络带宽的消耗。如今,你希望数据点处于毫秒级别,但从现在开始的一个月后,丢弃很多较旧的数据点,每秒只进行一次测量也没什么问题。对于不太紧急的数据,过一段时间观察趋势也没事。而且,删除不必要的数据点可节省存储空间。
•平台必须能够实时处理数据。试想一下自驾车的情况。系统必须实时解释和分析数据,以便在要紧关头采取行动。等几秒钟的制动时间来避免碰撞是不可行的;一旦数据表明碰撞即将发生,就必须立即采取行动。
•最后,平台必须用来控制变量类型(type function)。你要使用关键的时间戳数据来完成某些操作,例如使用车辆制动以避免碰撞。只有当你能够控制下一步发生的情况时,才能看到情况。
利用工具时代的基本技术要求,这是一大难题。但是,人们已经创建了新的专用平台来处理这些特定的度量标准和事件,或时间序列,工作负载,并为业务提供情景感知。这些平台每秒可摄入数百万个数据点,能够横向和纵向扩展,从头到尾的全面设计能支持实时洞察,并具有强大的机器学习和异常检测功能,能帮你找到有利的业务时机。此外,它们具有资源意识,应用压缩和降采样功能以实现最佳的资源利用率,并且以最小的依赖关系加快产品上市时间。
工具时代已经到来。这对业务的好处是巨大的,但前提是你使用了合适的工具和合适的基础设施来处理新的工作负载时。新的工作负载需要专用的基础架构。