資訊專欄INFORMATION COLUMN
摘要：前言本文使用訓練線性回歸模型，并將其與做比較。數據集來自的網上公開課程代碼陳水平輸出如下思考對于，梯度下降的步長參數需要很仔細的設置，步子太大容易扯到蛋導致無法收斂步子太小容易等得蛋疼。迭代次數也需要細致的嘗試。
前言
本文使用tensorflow訓練線性回歸模型，并將其與scikit-learn做比較。數據集來自Andrew Ng的網上公開課程Deep Learning
代碼#!/usr/bin/env python
# -*- coding=utf-8 -*-
# @author: 陳水平
# @date: 2016-12-30
# @description: compare scikit-learn and tensorflow, using linear regression data from deep learning course by Andrew Ng.
# @ref: http://openclassroom.stanford.edu/MainFolder/DocumentPage.php?course=DeepLearning&doc=exercises/ex2/ex2.html
import tensorflow as tf
import numpy as np
from sklearn import linear_model
# Read x and y
x_data = np.loadtxt("ex2x.dat")
y_data = np.loadtxt("ex2y.dat")
# We use scikit-learn first to get a sense of the coefficients
reg = linear_model.LinearRegression()
reg.fit(x_data.reshape(-1, 1), y_data)
print "Coefficient of scikit-learn linear regression: k=%f, b=%f" % (reg.coef_, reg.intercept_)
# Then we apply tensorflow to achieve the similar results
# The structure of tensorflow code can be divided into two parts:
# First part: set up computation graph
W = tf.Variable(tf.random_uniform([1], -1.0, 1.0))
b = tf.Variable(tf.zeros([1]))
y = W * x_data + b
loss = tf.reduce_mean(tf.square(y - y_data)) / 2
optimizer = tf.train.GradientDescentOptimizer(0.07) # Try 0.1 and you will see unconvergency
train = optimizer.minimize(loss)
init = tf.initialize_all_variables()
# Second part: launch the graph
sess = tf.Session()
sess.run(init)
for step in range(1500):
sess.run(train)
if step % 100 == 0:
print step, sess.run(W), sess.run(b)
print "Coeeficient of tensorflow linear regression: k=%f, b=%f" % (sess.run(W), sess.run(b))
輸出如下：
Coefficient of scikit-learn linear regression: k=0.063881, b=0.750163 0 [ 0.45234478] [ 0.10217379] 100 [ 0.13166969] [ 0.4169243] 200 [ 0.09332827] [ 0.58935112] 300 [ 0.07795752] [ 0.67282093] 400 [ 0.07064758] [ 0.71297228] 500 [ 0.06713474] [ 0.73227954] 600 [ 0.06544565] [ 0.74156356] 700 [ 0.06463348] [ 0.74602771] 800 [ 0.06424291] [ 0.74817437] 900 [ 0.06405514] [ 0.74920654] 1000 [ 0.06396478] [ 0.74970293] 1100 [ 0.06392141] [ 0.74994141] 1200 [ 0.06390052] [ 0.75005609] 1300 [ 0.06389045] [ 0.7501114] 1400 [ 0.0638856] [ 0.75013816] Coeeficient of tensorflow linear regression: k=0.063883, b=0.750151思考
對于tensorflow，梯度下降的步長alpha參數需要很仔細的設置，步子太大容易扯到蛋導致無法收斂；步子太小容易等得蛋疼。迭代次數也需要細致的嘗試。
文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。
轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/38293.html
摘要：貢獻者飛龍版本最近總是有人問我，把這些資料看完一遍要用多長時間，如果你一本書一本書看的話，的確要用很長時間。為了方便大家，我就把每本書的章節拆開，再按照知識點合并，手動整理了這個知識樹。 Special Sponsors showImg(https://segmentfault.com/img/remote/1460000018907426?w=1760&h=200); 貢獻者：飛龍版...
摘要：前言本文使用訓練多元線性回歸模型，并將其與做比較。在這個例子中，變量一個是面積，一個是房間數，量級相差很大，如果不歸一化，面積在目標函數和梯度中就會占據主導地位，導致收斂極慢。 前言 本文使用tensorflow訓練多元線性回歸模型，并將其與scikit-learn做比較。數據集來自Andrew Ng的網上公開課程Deep Learning 代碼 #!/usr/bin/env pyth...
摘要：前言本文使用訓練邏輯回歸模型，并將其與做比較。對數極大似然估計方法的目標函數是最大化所有樣本的發生概率機器學習習慣將目標函數稱為損失，所以將損失定義為對數似然的相反數，以轉化為極小值問題。 前言 本文使用tensorflow訓練邏輯回歸模型，并將其與scikit-learn做比較。數據集來自Andrew Ng的網上公開課程Deep Learning 代碼 #!/usr/bin/env ...
閱讀 1711·2021-11-22 12:09
閱讀 1452·2019-08-30 13:22
閱讀 2083·2019-08-29 17:00
閱讀 2635·2019-08-29 16:28
閱讀 2945·2019-08-26 13:51
閱讀 1174·2019-08-26 13:25
閱讀 3238·2019-08-26 12:14
閱讀 3007·2019-08-26 12:14
