Facebook时序预测工具Prophet实战分析

Facebook时序预测工具Prophet实战分析引言去年Facebook开源了一套时序预测工具叫做Prophet。Prophet是一个预测时间序列数据的模型。它基于一个自加性模型,用来拟合年、周、季节以及假期等非线性趋势。它在至少有一年历史数据的日常周期性数据,效果最好。Prophet对缺失值,趋势的转变和大量的异常值是有极强的鲁棒性。Prophet中文翻译是:“先知”。名字还是挺贴切的。在看完本篇文章后,你将会知道:

大家好,又见面了,我是你们的朋友全栈君。

引言

去年Facebook开源了一套时序预测工具叫做Prophet。Prophet是一个预测时间序列数
据的模型。 它基于一个自加性模型,用来拟合年、周、季节以及假期等非线性趋势。 它在至少有一年历史数据的日常周期性数据,效果最好。 Prophet对缺失值,趋势的转变和大量的异常值是有极强的鲁棒性。Prophet中文翻译是:“先知”。名字还是挺贴切的。在看完本篇文章后,你将会知道:

  • Prophet有什么亮点
  • Prophet是怎么工作的
  • 如何去使用Prophet

为什么会发布这套工具

预测是一项数据科学任务,是组织内许多活动的核心。 例如,Facebook这样的大型组织必须参与容量规划,以有效分配稀缺资源和目标设置,以便衡量相对于基线的性能。
得到高质量的预测对于任何机器或大多数分析师来说都不是一个简单的问题。 在现实生活中,我做了不少商业预测,归纳总结发现,预测任务有两大核心问题:

  • 完全自动化的预测技术往往都比较“脆弱”,不是太灵活,对一些问题缺乏有效的假设以及启发式的思路
  • 能够得到高质量预测的数据科学家是非常罕见的,因为预测需要丰富的经验以及专业的数据科学技能

在现实生活中,对高质量预测的需求往往要远远超过分析人员可以生产的速度。因此Prophet的出现就是为了让专家和非专家能够更轻松地进行高质量的预测。

很多人在做预测的时候,总会提出这个一个潜在的考虑因素:“规模”。当我数据量很大的时候,计算与存储的开销能满足要求么?其实对于时序预测问题,计算问题可以通过并行执行解决,存储问题可以通过关系型数据库MySQL或数据仓库Hive解决。
Prophet解决的“规模”问题,其实本质上是在完成时序预测任务时面临的各种复杂情况,Prophet能够适用于多种业务场景下的预测。

Prophet的亮点

当你做了很多时序预测任务时,你就会发现,并不是所有的任务都能用一个预测流程来解决。“一招鲜,吃遍天”在数据科学里是行不通的。通过分析平时我们做时序任务时遇到的问题,我们发现给定的时序数据有以下几个特点:

  • 观察值是按每小时或每天或每周或每月给出的一段历史数据
  • 多尺度的周期性:一周七天,一个月30天,12个月等等
  • 提前已知的一些重要假期:各种法定节日或传统节日
  • 数据中存在缺失值或异常值
  • 历史趋势的变化
  • 趋势是非线性变化,达到自然极限或趋于饱和

Prophet通过将全自动预测与在线学习相结合从而保证了该工具能够解决大多数商业业务问题,Prophet工作流程如下图所示:

prophet

相比于目前开源的一些预测工具,Prophet主要有以下两点优势:

  • Prophet能够让你更方便直接地创建一个预测任务,而其他的一些工具包(ARMA,指数平滑)等,这些工具每个有自己的优缺点及参数,即使是优秀的数据分析师想要从众多的模型中选择合适的模型及相应的参数也是够让他头皮发麻的。
  • Prophet是为非专家们”量身定制”的。为什么这么说呢?你利用Prophet可以直接通过修改季节参数来拟合季节性,修改趋势参数来拟合趋势信息,指定假期来拟合假期信息等等。

Prophet是如何工作的

本质上讲,Prophet是由四个组件组成的自加性回归模型

  • 分段线性或逻辑增长曲线趋势。 Prophet通过从数据中选择改变点,自动检测趋势的变化。
  • 用傅里叶级数模拟每年的季节性分量。
  • 用虚拟变量来模拟每周的周期性分量。
  • 用户提供的重要节日列表

Prophet其中最重要的思想就是曲线拟合,这与传统的时序预测算法有很大的不同。

如何使用Prophet

安装

因为Prophet已经发布在PyPI上了,所以我们可以通过pip进行安装:

$ pip install fbprophet

我的是ubuntu16.10版本,软件大小为68.1MB

快速启动

Prophet遵循sklearn模型API。 我们创建一个prophet类的实例,然后调用它的fit和predict方法。
Prophet的输入必须包含两列数据:ds和y,其中ds是时间戳列,必须是时间信息;y列必须是数值,代表我们需要预测的信息。首先我们获取数据:这里我们采用官网给出的Peyton Manning这个维基百科页面日常被访问的数据(下载链接)。

然后我们导入相关库以及数据:

# Python
import pandas as pd
import numpy as np
from fbprophet import Prophet
df = pd.read_csv('example_wp_peyton_manning.csv')
df['y'] = np.log(df['y'])
df.head()
ds y
0 2007-12-10 9.590761
1 2007-12-11 8.519590
2 2007-12-12 8.183677
3 2007-12-13 8.072467
4 2007-12-14 7.893572
m = Prophet()
m.fit(df);
# Python
future = m.make_future_dataframe(periods=365)
future.tail()
ds
3265 2017-01-15
3266 2017-01-16
3267 2017-01-17
3268 2017-01-18
3269 2017-01-19
# Python
forecast = m.predict(future)
forecast.tail()
ds trend trend_lower trend_upper yhat_lower yhat_upper seasonal seasonal_lower seasonal_upper seasonalities seasonalities_lower seasonalities_upper weekly weekly_lower weekly_upper yearly yearly_lower yearly_upper yhat
3265 2017-01-15 7.189085 6.836460 7.556897 7.529009 8.874259 1.017668 1.017668 1.017668 1.017668 1.017668 1.017668 0.048286 0.048286 0.048286 0.969382 0.969382 0.969382 8.206753
3266 2017-01-16 7.188059 6.834473 7.557350 7.783923 9.237696 1.343707 1.343707 1.343707 1.343707 1.343707 1.343707 0.352298 0.352298 0.352298 0.991409 0.991409 0.991409 8.531766
3267 2017-01-17 7.187033 6.832412 7.557802 7.555636 9.061272 1.132123 1.132123 1.132123 1.132123 1.132123 1.132123 0.119631 0.119631 0.119631 1.012493 1.012493 1.012493 8.319156
3268 2017-01-18 7.186006 6.830079 7.558255 7.456370 8.982307 0.965765 0.965765 0.965765 0.965765 0.965765 0.965765 -0.066664 -0.066664 -0.066664 1.032429 1.032429 1.032429 8.151772
3269 2017-01-19 7.184980 6.827757 7.558474 7.445508 8.889737 0.978710 0.978710 0.978710 0.978710 0.978710 0.978710 -0.072264 -0.072264 -0.072264 1.050973 1.050973 1.050973 8.163690
m.plot(forecast)

这里写图片描述

m.plot_components(forecast)

这里写图片描述

不同业务场景下的预测效果

这一小节,我们基于不同业务场景,看看Prophet的预测效果好不好。

饱和性预测

这里通过制定预测值的上限、下限,从而来进行饱和性预测

#Forecasting Growth
df = pd.read_csv('example_wp_R.csv')
df['y'] = np.log(df['y'])
df.head()
ds y
0 2008-01-30 5.976351
1 2008-01-16 6.049733
2 2008-01-17 6.011267
3 2008-01-14 5.953243
4 2008-01-15 5.910797
# 指定上限df['cap'] = 8.5
df['cap'] = 8.5
m = Prophet(growth='logistic')
m.fit(df)
future = m.make_future_dataframe(periods=1826)
future['cap'] = 8.5
fcst = m.predict(future)
m.plot(fcst)

png

趋势变化点

Prophet能够实现历史趋势变化点的自动检测,并可以通过调整参数适当修正变化。Prophet通过changepoint_prior_scale来调整变化点的趋势程度,值越大,趋势就越灵活。同时Prophet通过参数changepoints来手动指定趋势变化点。

m = Prophet(changepoint_prior_scale=0.5)
forecast = m.fit(df).predict(future)
m.plot(forecast)

png

m = Prophet(changepoint_prior_scale=0.001)
forecast = m.fit(df).predict(future)
m.plot(forecast)

png

m = Prophet(changepoints=['2014-01-01'])
forecast = m.fit(df).predict(future)
m.plot(forecast)

这里写图片描述

Prophet在异常值、缺失值、周期性、季节性、节假日等方面效果也不错,这里就不赘述了。

总结

读了这篇文章,是不是感觉这个Prophet很好用,是不是迫不及待想去试试水?哈哈哈
demo代码:github : Prophe_in_action

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/147679.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)
blank

相关推荐

  • pycharm编制索引_网页制作作品源代码

    pycharm编制索引_网页制作作品源代码tree/f/a>codeTree.txt

  • Java实现数据统计的常用算法

    Java实现数据统计的常用算法Java实现数据统计的常用算法

  • Codeforces 235B Let's Play Osu! 概率dp(水

    Codeforces 235B Let's Play Osu! 概率dp(水

  • 各种硬件接口_sdio接口速率

    各种硬件接口_sdio接口速率  SDIO接口是在SD内存卡接口的基础上发展起来的接口,SDIO接口兼容以前的SD内存卡,并且可以连接SDIO接口的设备。参考SDIO1.0标准定义了两种类型的SDIO卡:  全速的SDIO卡,传输率可以超过100Mbps;  低速的SDIO卡,支援的时脉速率在0至400KHz之间。  SDIO协议是由SD卡的协议演化升级而来的,很多地方保留了SD卡的读写协议,同时SDIO协议又在SD卡协议之上添加了CMD52和CMD53命令。由于这个,SDIO和SD卡规范间的一个重要区别是增加了低速标准,低速

  • 二进制与十进制的讲解与转换「建议收藏」

    二进制与十进制的讲解与转换「建议收藏」文章目录?什么是十进制呢??什么是二进制??十进制和二进制之间可以转换吗??十进制与二进制之间的转换?二进制转十进制?十进制转二进制?写在最后哈喽,大家好!这是我的第一篇博客,就先来介绍一下自己吧,我是Why,一名在读学生,目前刚刚开始进入自己的编程学习生涯。虽然学习起步较晚,但我坚信做了才有0或1的可能。学了一段时间以后也是选择在CSDN上分享自己的日常笔记,也希望能够在众多道友的大家庭中打成一片。本文主要讲解二进制以及进制之间的转换,如果大家读后觉得有用的话,还请大家多多支持博主:欢迎❤️点赞

    2022年10月18日
  • pycharm激活码2021、【在线注册码/序列号/破解码】

    pycharm激活码2021、【在线注册码/序列号/破解码】,https://javaforall.cn/100143.html。详细ieda激活码不妨到全栈程序员必看教程网一起来了解一下吧!

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号