本篇文章是日志易创始人兼CEO陈军先生于年12月16日在技术社区进行的主题为“IT运维分析与海量日志搜索”的线上分享。
目录：IT运维分析（ITOperationAnalytics）
日志的应用场景
过去及现在的做法
日志搜索引擎
日志易产品介绍
IT运维分析1、IT运维分析从ITOperationManagement(ITOM)到ITOperationAnalytics(ITOA)IT运维分析，即ITOperationAnalytics，简称ITOA，是个新名词。以前IT运维是ITOM，ITOperationManagement，IT运维管理。这两年大数据技术开始普及，把大数据技术应用于IT运维，通过数据分析提升IT运维效率与水平，就是ITOA。
大数据技术应用于IT运维，通过数据分析提升IT运维ITOA主要用于：
可用性监控
应用性能监控
故障根源分析
安全审计
Gartner估计，到年15%的大企业会积极使用ITOA；而在年这一数字只有5%。2、ITOA的数据来源有以下四个方面：机器数据（MachineData）：是IT系统自己产生的数据，包括客户端、服务器、网络设备、安全设备、应用程序、传感器产生的日志，及SNMP、WMI等时间序列事件数据，这些数据都带有时间戳。机器数据无所不在，反映了IT系统内在的真实状况，但不同系统产生的机器数据的质量、可用性、完整性可能差别较大。
通信数据（WireData）：是系统之间2~7层网络通信协议的数据，可通过网络端口镜像流量，进行深度包检测DPI（DeepPacketInspection）、包头取样Netflow等技术分析。一个10Gbps端口一天产生的数据可达TB，包含的信息非常多，但一些性能、安全、业务分析的数据未必通过网络传输，一些事件的发生也未被触发网络通信，从而无法获得。
代理数据（AgentData）：是在.NET、PHP、Java字节码里插入代理程序，从字节码里统计函数调用、堆栈使用等信息，从而进行代码级别的监控。但要求改变代码并且会增加程序执行的开销，降低性能，而且修改了用户的程序也会带来安全和可靠性的风险。
探针数据（ProbeData），又叫合成数据（SyntheticData）：是模拟用户请求，对系统进行检测获得的数据，如ICMPping、HTTPGET等，能够从不同地点模拟客户端发起，进行包括网络和服务器的端到端全路径检测，及时发现问题。但这种检测并不能发现系统为什么性能下降或者出错，而且这种检测是基于取样，并不是真实用户度量（RealUserMeasurement）。
拥有大量客户端的公司，如BAT，会直接在客户端度量系统性能，做RealUserMeasurement，通常不需要模拟用户检测。
3、ITOA四种数据来源使用占比美国某ITOA公司的用户调研发现，使用这四种不同数据来源的比例为：MachineData86%,WireData93%,AgentData47%,ProbeData72%。这四种数据来源各有利弊，结合在一起使用，效果最好。
4、日志：时间序列机器数据通常结合日志与网络抓包，能够覆盖大部分IT运维分析的需求。日志因为带有时间戳，并由机器产生，也被称为时间序列机器数据。
它包含了IT系统信息、用户信息、业务信息。
日志反映的是事实数据：LinkedIn（领英）是非常著名的职业社交应用，非常重视用户数据分析，也非常重视日志。
它的一个工程师写了篇很有名的文章：
“TheLog:Whateverysoftwareengineershouldknowaboutreal-timedata’sunifyingabstraction”,JayKreps,LinkedInengineer
附：中文翻译：深度解析LinkedIn大数据平台