資訊專欄INFORMATION COLUMN
摘要：分類器項目自定義數據讀入在照著官網的敲了一遍分類器項目的代碼后，運行倒是成功了，結果也不錯。
Tensorflow分類器項目自定義數據讀入
在照著Tensorflow官網的demo敲了一遍分類器項目的代碼后，運行倒是成功了，結果也不錯。但是最終還是要訓練自己的數據，所以嘗試準備加載自定義的數據，然而demo中只是出現了fashion_mnist.load_data()并沒有詳細的讀取過程，隨后我又找了些資料，把讀取的過程記錄在這里。
首先提一下需要用到的模塊：
import os import keras import matplotlib.pyplot as plt from PIL import Image from keras.preprocessing.image import ImageDataGenerator from sklearn.model_selection import train_test_split
圖片分類器項目，首先確定你要處理的圖片分辨率將是多少，這里的例子為30像素：
IMG_SIZE_X = 30 IMG_SIZE_Y = 30
其次確定你圖片的方式目錄：
image_path = r"D:ProjectsImageClassifierdataset" path = ".data" # 你也可以使用相對路徑的方式 # image_path =os.path.join(path, "set")
目錄下的結構如下：
相應的label.txt如下：
動漫 風景 美女 物語 櫻花
接下來是接在labels.txt，如下：
label_name = "labels.txt"
label_path = os.path.join(path, label_name)
class_names = np.loadtxt(label_path, type(""))
這里簡便起見，直接利用了numpy的loadtxt函數直接加載。
之后便是正式處理圖片數據了，注釋就寫在里面了：
re_load = False
re_build = False
# re_load = True
re_build = True
data_name = "data.npz"
data_path = os.path.join(path, data_name)
model_name = "model.h5"
model_path = os.path.join(path, model_name)
count = 0
# 這里判斷是否存在序列化之后的數據，re_load是一個開關，是否強制重新處理，測試用，可以去除。
if not os.path.exists(data_path) or re_load:
labels = []
images = []
print("Handle images")
# 由于label.txt是和圖片防止目錄的分類目錄一一對應的，即每個子目錄的目錄名就是labels.txt里的一個label，所以這里可以通過讀取class_names的每一項去拼接path后讀取
for index, name in enumerate(class_names):
# 這里是拼接后的子目錄path
classpath = os.path.join(image_path, name)
# 先判斷一下是否是目錄
if not os.path.isdir(classpath):
continue
# limit是測試時候用的這里可以去除
limit = 0
for image_name in os.listdir(classpath):
if limit >= max_size:
break
# 這里是拼接后的待處理的圖片path
imagepath = os.path.join(classpath, image_name)
count = count + 1
limit = limit + 1
# 利用Image打開圖片
img = Image.open(imagepath)
# 縮放到你最初確定要處理的圖片分辨率大小
img = img.resize((IMG_SIZE_X, IMG_SIZE_Y))
# 轉為灰度圖片，這里彩色通道會干擾結果，并且會加大計算量
img = img.convert("L")
# 轉為numpy數組
img = np.array(img)
# 由（30，30）轉為（1，30，30）（即`channels_first`），當然你也可以轉換為（30，30，1）（即`channels_last`）但為了之后預覽處理后的圖片方便這里采用了（1，30，30）的格式存放
img = np.reshape(img, (1, IMG_SIZE_X, IMG_SIZE_Y))
# 這里利用循環生成labels數據，其中存放的實際是class_names中對應元素的索引
labels.append([index])
# 添加到images中，最后統一處理
images.append(img)
# 循環中一些狀態的輸出，可以去除
print("{} class: {} {} limit: {} {}"
.format(count, index + 1, class_names[index], limit, imagepath))
# 最后一次性將images和labels都轉換成numpy數組
npy_data = np.array(images)
npy_labels = np.array(labels)
# 處理數據只需要一次，所以我們選擇在這里利用numpy自帶的方法將處理之后的數據序列化存儲
np.savez(data_path, x=npy_data, y=npy_labels)
print("Save images by npz")
else:
# 如果存在序列化號的數據，便直接讀取，提高速度
npy_data = np.load(data_path)["x"]
npy_labels = np.load(data_path)["y"]
print("Load images by npz")
image_data = npy_data
labels_data = npy_labels
到了這里原始數據的加工預處理便已經完成，只需要最后一步，就和demo中fashion_mnist.load_data()返回的結果一樣了。代碼如下：
# 最后一步就是將原始數據分成訓練數據和測試數據
train_images, test_images, train_labels, test_labels =
train_test_split(image_data, labels_data, test_size=0.2, random_state=6)
這里將相關信息打印的方法也附上：
print("_________________________________________________________________")
print("%-28s %-s" % ("Name", "Shape"))
print("=================================================================")
print("%-28s %-s" % ("Image Data", image_data.shape))
print("%-28s %-s" % ("Labels Data", labels_data.shape))
print("=================================================================")
print("Split train and test data,p=%")
print("_________________________________________________________________")
print("%-28s %-s" % ("Name", "Shape"))
print("=================================================================")
print("%-28s %-s" % ("Train Images", train_images.shape))
print("%-28s %-s" % ("Test Images", test_images.shape))
print("%-28s %-s" % ("Train Labels", train_labels.shape))
print("%-28s %-s" % ("Test Labels", test_labels.shape))
print("=================================================================")
之后別忘了歸一化喲：
print("Normalize images")
train_images = train_images / 255.0
test_images = test_images / 255.0
最后附上讀取自定義數據的完整代碼：
import os
import keras
import matplotlib.pyplot as plt
from PIL import Image
from keras.layers import *
from keras.models import *
from keras.optimizers import Adam
from keras.preprocessing.image import ImageDataGenerator
from sklearn.model_selection import train_test_split
os.environ["TF_CPP_MIN_LOG_LEVEL"] = "2"
# 支持中文
plt.rcParams["font.sans-serif"] = ["SimHei"] # 用來正常顯示中文標簽
plt.rcParams["axes.unicode_minus"] = False # 用來正常顯示負號
re_load = False
re_build = False
# re_load = True
re_build = True
epochs = 50
batch_size = 5
count = 0
max_size = 2000000000
IMG_SIZE_X = 30
IMG_SIZE_Y = 30
np.random.seed(9277)
image_path = r"D:ProjectsImageClassifierdataset"
path = ".data"
data_name = "data.npz"
data_path = os.path.join(path, data_name)
model_name = "model.h5"
model_path = os.path.join(path, model_name)
label_name = "labels.txt"
label_path = os.path.join(path, label_name)
class_names = np.loadtxt(label_path, type(""))
print("Load class names")
if not os.path.exists(data_path) or re_load:
labels = []
images = []
print("Handle images")
for index, name in enumerate(class_names):
classpath = os.path.join(image_path, name)
if not os.path.isdir(classpath):
continue
limit = 0
for image_name in os.listdir(classpath):
if limit >= max_size:
break
imagepath = os.path.join(classpath, image_name)
count = count + 1
limit = limit + 1
img = Image.open(imagepath)
img = img.resize((30, 30))
img = img.convert("L")
img = np.array(img)
img = np.reshape(img, (1, 30, 30))
# img = skimage.io.imread(imagepath, as_grey=True)
# if img.shape[2] != 3:
# print("{} shape is {}".format(image_name, img.shape))
# continue
# data = transform.resize(img, (IMG_SIZE_X, IMG_SIZE_Y))
labels.append([index])
images.append(img)
print("{} class: {} {} limit: {} {}"
.format(count, index + 1, class_names[index], limit, imagepath))
npy_data = np.array(images)
npy_labels = np.array(labels)
np.savez(data_path, x=npy_data, y=npy_labels)
print("Save images by npz")
else:
npy_data = np.load(data_path)["x"]
npy_labels = np.load(data_path)["y"]
print("Load images by npz")
image_data = npy_data
labels_data = npy_labels
print("_________________________________________________________________")
print("%-28s %-s" % ("Name", "Shape"))
print("=================================================================")
print("%-28s %-s" % ("Image Data", image_data.shape))
print("%-28s %-s" % ("Labels Data", labels_data.shape))
print("=================================================================")
train_images, test_images, train_labels, test_labels =
train_test_split(image_data, labels_data, test_size=0.2, random_state=6)
print("Split train and test data,p=%")
print("_________________________________________________________________")
print("%-28s %-s" % ("Name", "Shape"))
print("=================================================================")
print("%-28s %-s" % ("Train Images", train_images.shape))
print("%-28s %-s" % ("Test Images", test_images.shape))
print("%-28s %-s" % ("Train Labels", train_labels.shape))
print("%-28s %-s" % ("Test Labels", test_labels.shape))
print("=================================================================")
# 歸一化
# 我們將這些值縮小到 0 到 1 之間，然后將其饋送到神經網絡模型。為此，將圖像組件的數據類型從整數轉換為浮點數，然后除以 255。以下是預處理圖像的函數：
# 務必要以相同的方式對訓練集和測試集進行預處理：
print("Normalize images")
train_images = train_images / 255.0
test_images = test_images / 255.0
文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。
轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/43131.html
摘要：專門設計了一套針對時間序列預測問題的，目前提供三種預測模型。使用模型預測時間序列自回歸模型，可以簡稱為模型是統計學上處理時間序列模型的基本方法之一。使用模型訓練驗證并進行時間序列預測的示例程序為。 前言如何用TensorFlow結合LSTM來做時間序列預測其實是一個很老的話題，然而卻一直沒有得到比較好的解決。如果在Github上搜索tensorflow time series，會發現star...
摘要：機器學習模型內部的組成部分，可以使用進行打包和共享。為機器學習開發者提供庫產生了庫。庫是一個在中進行發布和重用中機器學習模塊的平臺。 摘要： 本文對TensorFlow Hub庫的介紹，并舉例說明其用法。 在軟件開發中，最常見的失誤就是容易忽視共享代碼庫，而庫則能夠使軟件開發具有更高的效率。從某種意義上來說，它改變了編程的過程。我們常常使用庫構建塊或模塊，并將其連接在一起進行編程。 開...
閱讀 1865·2019-08-30 15:53
閱讀 3192·2019-08-30 15:44
閱讀 2806·2019-08-26 13:31
閱讀 1949·2019-08-26 12:10
閱讀 792·2019-08-26 11:01
閱讀 2120·2019-08-23 15:32
閱讀 1584·2019-08-23 13:43
閱讀 2529·2019-08-23 11:58
