摘要:作者,數據游戲優勝隊伍成員前陣子報名參加了數據游戲比賽,題目是預測月號星期三招商銀行的股價,截止時間是在月號星期天。
作者:Max,「數據游戲」優勝隊伍成員
前陣子報名參加了「數據游戲」比賽,題目是預測5月15號(星期三)招商銀行的股價,截止時間是在5月12號(星期天)。在本次預測中,我用到的是嶺回歸。
嶺回歸嶺回歸是回歸的一種,它解決回歸中重大疑難問題:排除多重共線性,進行變量的選擇,在存在共線性問題和病態數據偏多的研究中有較大的實用價值。按照度娘百科的解釋:嶺回歸是一種專用于共線性數據分析的有偏估計回歸方法,實質上是一種改良的最小二乘估計法,通過放棄最小二乘法的無偏性,以損失部分信息、降低精度為代價獲得回歸系數更為符合實際、更可靠的回歸方法,對病態數據的擬合要強于最小二乘法。
多重共線性指線性回歸模型中的解釋變量之間由于存在精確相關關系或高度相關關系而使模型估計失真或難以估計準確。
由于嶺回歸涉及的數學知識比較復雜,且文章篇幅有限,這里不過多展開。
數據獲取本次數據是通過 Tushare 的 get_hist_data() 獲取的。Tushare 是一個免費、開源的 python 財經數據接口包。python 安裝 tushare 直接通過 pip install tushare 即可安裝。
import tushare as ts data = ts.get_hist_data("600848")
運行之后可以查看它的前后幾行數據。按照 tushare 官方的說明,get_hist_data() 只能獲取近3年的日線數據,而他的返回值的說明是這樣的:
date:日期;
open:開盤價;
high:最高價;
close:收盤價;
low:最低價;
volume:成交量;
price_change:價格變動;
p_change:漲跌幅;
ma5:5日均價;
ma10:10日均價;
ma20:20日均價;
v_ma5:5日均量;
v_ma10:10日均量;
v_ma20:20日均量
均價的意思大概就是股票 n 天的成交價格或指數的平均值。均量則跟成交量有關。至于其他的返回值,應該是一下子就能明白的吧。在獲得數據之后,我們查看一下描述性統計,通過data.describe()查看是否存在什么異常值或者缺失值。
這樣看來似乎除了由于周末以及節假日不開盤導致的當天的數據缺失以外,并沒有其他的缺失和異常。但是這里我們不考慮節假日的缺失值。
數據預處理由于獲取的數據是按日期降序排序,但本次預測跟時間序列有關,因此我們需要把順序轉一下,讓它按照日期升序排序。
data1 = data[::-1]
處理完順序之后,我們要做一下特征值的選擇。由于 volume 以及均量的值很大,如果不進行處理的話,很可能對整體的預測造成不良影響。由于時間有限,而且考慮到運算的復雜度,這里我沒有對這些特征進行處理,而是直接將它們去掉了。至于均價,我是按照自己的理解,和10日均價、20日均價相比,5日均價的范圍沒那么大,對近期的預測會比另外兩個要好,因此保留5日均價。接著,我用 sklearn.model_selection 的 cross_val_score,分別查看除 "open", "close", "high", "low", "ma5" 以外的其他剩余屬性對預測值的影響。發現 、 "p_change"、"price_change"這兩個屬性對預測結果的影響不大,為了節省內存,增加運算速度,提高預測的準確性,也直接把它們去掉了。完了之后,查看前后三行數據。
data1 = data1[["open","high","low","ma5","close"]] data1.head(3), data1.tail(3)建模預測
由于提交截止日期是周日,預測的是周三,因此需要先對周一周二的信息進行預測。在這里我突然想到一個問題,是用前一天的所有數據來訓練模型以預測當天的 close 比較準確,還是用當天除了 close 以外的其他數據來訓練模型以訓練當天的 close 比較準呢?為了驗證這個問題,我分別對這兩種方法做了實驗。
為了減少代碼量,定義了一個函數用以評估模型的錯誤率。
def get_score(X_train, y_train): ridge_score = np.sqrt(-cross_val_score(ridge, X_train, y_train, cv=10, scoring="neg_mean_squared_error")) return np.mean(ridge_score)
用前一天的所有數據來當訓練集
y_train = data1["close"].values[1:] X_train = data1.values[:-1] score = get_score(X_train, y_train)
輸出結果大約為0.469,這個錯誤率就比較大了,不太合理,更何況還要預測其他特征值作為測試數據。
用當天除了 close 以外的其他數據來當訓練集
data2 = data1[:] y_train = data2.pop("close").values X_train = data2.values score = get_score(X_train, y_train)
輸出結果大約為0.183,跟第一個相比簡直好多了。所以,就決定是你了!
接下來建模并把模型保存下來:
y_train = data1["close"] X_train = data1[["open", "high", "low", "ma5"]] close_model = ridge.fit(X_train, y_train) joblib.dump(ridge, "close_model.m")
在預測之前呢,我們先拿訓練集的后8組數據做一下測試,做個圖看看:
scores = [] for x in X_train[-8:]: score = close_model.predict(np.array(x).reshape(1, -1)) scores.append(score) x = np.arange(8) fig, axes = plt.subplots(1, 1, figsize=(13, 6)) axes.plot(scores) axes.plot(y_train[-8:]) plt.xticks(x, data1.index[-8:].values, size=13, rotation=0)
看到這樣子我還是相對比較放心的,不過,這個模型的訓練值除了 close 以外的屬性都是已知的,要預測三天后的還得預測前兩天的測試值。
def get_model(s): y_train = data1[s].values[1:] X_train = data1.values[:-1] model = ridge.fit(X_train, y_train) return model def get_results(X_test): attrs = ["open", "high", "low", "ma5"] results = [] for attr in attrs: result = get_model(attr).predict(X_test) results.append(result) return results
接下來預測三天的股價:
X_test = data1[-1:].values for i in range(3): results = get_results(X_test) close = close_model.predict(np.array(results).reshape(1, -1)) print(close) results.append(close) X_test = np.array(results).reshape(1, -1) print("5月15日招商銀行關盤時的股價為:" + str(round(close[0], 2)))
輸出結果為:
[33.46370029]
[33.4532047]
[33.43836721]
5月15日招商銀行關盤時的股價為:33.44
總結雖然預測結果是這樣子,但感覺這樣預測似乎很菜啊。畢竟預測的每個值都會有偏差,多個偏差累加起來就很多了,這讓我有點害怕。不知道存不存在不預測其他值直接預測close的方法,或者說直接預測5月15號的而不用先預測13、14號的方法。雖然我知道有種算法是時間序列算法,但不是很懂。希望哪位大神看了能給我一些建議,指點迷津。
對于一個自學數據分析的在校學生,苦于沒有項目經驗,正好趕上這次的「數據游戲」,能利用此次機會操作一波真的很不錯。既能學到東西,獲勝的話還能得到獎品。
Ad Time學習更多數據科學知識請關注微信公眾號:read_csv
參與數據科學活動請加 QQ 群:759677734
文章版權歸作者所有,未經允許請勿轉載,若此文章存在違規行為,您可以聯系管理員刪除。
轉載請注明本文地址:http://specialneedsforspecialkids.com/yun/43782.html
摘要:作者,數據游戲優勝隊伍成員前陣子報名參加了數據游戲比賽,題目是預測月號星期三招商銀行的股價,截止時間是在月號星期天。 作者:Max,「數據游戲」優勝隊伍成員 前陣子報名參加了「數據游戲」比賽,題目是預測5月15號(星期三)招商銀行的股價,截止時間是在5月12號(星期天)。在本次預測中,我用到的是嶺回歸。 嶺回歸 嶺回歸是回歸的一種,它解決回歸中重大疑難問題:排除多重共線性,進行變量的選...
摘要:作者天瓊,數據游戲優勝隊伍成員介紹本文整理記錄了參與的一次小型數據分析競賽數據游戲,競賽目標是預測年月日股閉市時招商銀行的股價。日發現的數據有錯誤,需要手工矯正日該數據恢復正常。而函數,是對樣本外的數據進行預測。 作者:天瓊,「數據游戲」優勝隊伍成員 介紹 本文整理記錄了參與的一次小型數據分析競賽「數據游戲」,競賽目標是預測2019年5月15日A股閉市時招商銀行600036的股價。 主...
摘要:作者天瓊,數據游戲優勝隊伍成員介紹本文整理記錄了參與的一次小型數據分析競賽數據游戲,競賽目標是預測年月日股閉市時招商銀行的股價。日發現的數據有錯誤,需要手工矯正日該數據恢復正常。而函數,是對樣本外的數據進行預測。 作者:天瓊,「數據游戲」優勝隊伍成員 介紹 本文整理記錄了參與的一次小型數據分析競賽「數據游戲」,競賽目標是預測2019年5月15日A股閉市時招商銀行600036的股價。 主...
摘要:還提供了,將多項式特征數據歸一化和線性回歸組合在了一起,大大方便的編程的過程。在機器學習算法中,主要的挑戰來自方差,解決的方法主要有降低模型復雜度降維增加樣本數使用驗證集模型正則化。 多項式回歸 多項式回歸使用線性回歸的基本思路 非線性曲線如圖: showImg(https://segmentfault.com/img/bVbkn4q?w=372&h=252); 假設曲線表達式為:$y...
閱讀 993·2023-04-25 14:41
閱讀 2444·2021-09-28 09:35
閱讀 3618·2019-08-30 15:53
閱讀 1939·2019-08-29 15:26
閱讀 1059·2019-08-28 17:59
閱讀 4200·2019-08-26 13:45
閱讀 2834·2019-08-26 13:33
閱讀 1638·2019-08-26 11:46