浪潮存储：基于InView智能管理平台，给复杂的存储管理做减法

同典型的AI系统一样，浪潮智能管理平台先对历史数据进行训练，生成AI模型，最后在新的数据到来时形成预测。具体说包括以下五个部分：输入数据、预处理、模型训练、优化集成和预测。对于软件系统来说关键点有：数据来源、算法选择和评估指标。

其一，数据来源

硬盘本身提供了SMART数据（Self-Monitoring Analysis and Reporting Technology）。SMART是90年代定义的硬盘状态检测和预警系统的规范，提供了磁头、磁盘、电机、电路等硬盘硬件的运行数据。目前几乎所有的硬盘厂商都已经支持了该规范。下表列出了与故障相关的SMART值。

表1：故障相关的SMART值

浪潮存储智能管理平台基于SMART数据进行磁盘故障预测，且都取得了不错的效果。在2020年2月的存储顶会FAST（USENIX Conference on File and Storage Technologies）上发表的最新论文表明，SMART再加上存储性能数据可以进一步提升预测准确率。作者采用了12个磁盘IO性能指标、18个服务器性能指标、4个位置信息，基于CNN和LSTM的AI算法实现了提前10天故障预测误报率0.5%、漏报率5.1%。我们也将着手在浪潮存储平台上能应用最新的技术来进一步提高预测的准确性。

其二，算法选择

可用于磁盘故障预测的AI算法有很多，如传统算法决策树、经典的SVM（Support Vector Machine）、在各种竞赛上大放异彩的XGBoost（Gradient Tree Boosting）以及深度学习算法CNN和LSTM。实际效果及顶级会议KDD、ATC、FAST的论文实验结果都表明，XGBoost、CNN、LSTM的效果比传统算法有明显优势。

其三，评价指标

在完成了历史数据训练，故障预测之后，我们需要对预测的效果进行评估。表2描述了机器学习中标准的评价指标。

表2：机器学习模型评价指标

基于表2中的定义，评价磁盘故障预测的主要有准确率、漏报率和误报率：

准确率=：判定正确的盘（含好盘和坏盘）占所有盘的比例

误报率=：好盘被误判成坏盘占所有好盘的比例

漏报率=：没有识别出的坏盘占所有坏盘的比例

准确率高，误报和漏报低，是浪潮存储追求的目标。这相当于我们在发现几乎所有坏盘的同时，没有把好盘误判成坏盘。但是从算法调优的角度看，误报率和漏报率是一对矛盾，误报率的降低会引起漏率报的上升，漏报率的降低会引起误报率的上升。

浪潮存储智能管理平台的性能容量预测技术

对于存储来说，性能和容量预测是两件不同的事情，都为用户带来不同的价值。但是站在技术角度，两者都属于数据挖掘中时间序列预测问题（Time Series Prediction）。时间序列，也叫时间数列、历史复数或动态数列。它是将某种统计指标的数值，按时间先后顺序排到所形成的数列。预测的基本原理是：统计分析过去的时间序列数据，形成拟合函数或者AI算法模型，以拟合的函数结果或模型来预测未来的趋势。

时间序列预测法可用于短期、中期和长期预测。造成时间序列数据发生变化的因素主要有以下四个：

1)趋势性：时间序列曲线呈现出一种缓慢而长期的持续上升、下降、不变的整体趋势。

2)周期性：由于外部的影响，随季节的交替，时间序列曲线有明显的周期性的高峰、低谷。

3)随机性：个别的数据变化为随机变动，但整体呈现出统计规律。

4)综合性：以上几种变化因素的叠加或组合。预测时可以过滤除去不规则的随机因素，最终展现出趋势性和周期性变动。

经典的时间序列预测算法有ARIMA、线性回归、深度学习算法等。这些算法有各自的优劣势，产品会根据不同的用户应用场景来选择不同的算法。图8展示了各个算法的实际效果。

图8：时间序列算法效果比较

对于存储来说，除核心算法外，存储还有自身的容量和性能指标。表3列出了浪潮存储智能管理平台支持的未来1天、7天、30天、90天的3个容量趋势指标，15个性能趋势指标。

表3：性能容量预测指标

存储产业界中，作为新数据时代“新存储”引领者，浪潮存储基于InView智能管理平台，提供了预测性分析、端到端的故障定位、性能洞察等一系列的智能化功能，帮助用户分析复杂应用环境下从虚拟机到后端存储端到端的性能瓶颈，确定影响性能瓶颈的主要因素，并最终给出可行的优化或解决问题的建议。其中磁盘故障预测、性能容量预测的智能化功能，可以帮助用户预防硬件故障带来的损失，并给出具体的扩容建议，为用户提供更稳定、高性能、智能化的存储服务，使存储服务能更好地适应用户需求，同时降低存储的复杂性和维护成本。

（编辑：应用网_阳江站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!