用tensorflow做個天氣預測

原創(chuàng) 面包板社區(qū) 2023-04-13 20:36

KDES 2026上海峰會：定義下一代工程仿真 測試中斷？接觸漂移？5 道題找到根因

一、前言

最近人工智能、深度學習又火了，我感覺還是有必要研究一下。三年前淺學了一下原理沒深入研究框架，三年后感覺各種框架都成熟了，現(xiàn)成的教程也豐富了，所以我繼續(xù)邊學邊寫。原教程鏈接：

https://www.bilibili.com/video/BV1CW4y1r7Q7?p=1&vd_source=e8c67158ee12f84a27ae1bb40bb2775d

所以準備出個系列的教程，給不耐煩看視頻或者只是想淺了解一下的同學。我選的框架tensorflow，據(jù)說GPT也是用的這個，應該是比較大眾化的了。

二、前序準備

1.開發(fā)環(huán)境

(1)Python3.8

(2)Anaconda3

(3)Tensorflow

(4)Numpy

(5)Pandas

(6)Sklearn

先依次安裝好上面的軟件和包，其中python3.8和Anaconda3是直接下載安裝，如果官方鏈接比較慢，可以搜下三方的源安裝。其中Anaconda3不是必須的，用這個工具是因為確實挺香的。

剩下的3-6都是pip安裝的包，注意使用Anaconda3的話就在Anaconda Prompt里使用pip命令，如果是其他集成環(huán)境或者原生的python環(huán)境，直接就在cmd里使用pip安裝。

pip安裝時可能會遇到下載特別慢的情況，建議使用國內源，方法參考下面鏈接：

https://mp.weixin.qq.com/s?__biz=MzUzOTY2OTcyMw==&mid=2247487143&idx=2&sn=b2cc99fcb09a774be78235c10d06d1c0&chksm=fac5ab13cdb222058f9b73d5c3600ad74194473ce9413cca5e069354f4e555b19f1293c39453&scene=27

實際安裝過程可能會比較曲折，需要大家慢慢研究了，一般來說多搜索下都能解決問題。比如安裝Sklearn不是pip install sklearn(雖然也能安裝上另外一個不相干的包)，實際應該用：

pip?install?scikit-learn

類似的坑多的很，一時半會也列不完，反正也是花了一個晚上才算是把開發(fā)環(huán)境給搞定。

2.數(shù)據(jù)準備

這次我們是要做天氣預測，那自然是要弄到歷史的天氣數(shù)據(jù)。有三個路徑，一是購買打包好的大數(shù)據(jù)，看了下便宜的都要好幾千。二是網(wǎng)上爬數(shù)據(jù)，參考下面的鏈接：

http://lishi.tianqi.com/shanghai/201101.html

這個網(wǎng)站從2011年1月到最新的天氣數(shù)據(jù)都有，可以自己爬下來，推薦使用“八爪魚”，還是挺好用。

第三個路徑就是做伸手黨，正好我手上有上海的天氣數(shù)據(jù)，在文章末尾鏈接提供。

我手上的這份數(shù)據(jù)分為“訓練集”和“驗證集”兩個文件，直觀來看訓練集就是用于模型訓練，驗證集就是使用訓練好的模型來預測試試，數(shù)據(jù)的格式一樣，在使用時需要裁剪一下。

各字段的意思看名字就知道了，其中avg指的是當日平均溫度，avg_befor1指的是昨天的平均溫度，avg_befor2前天的，依次類推，一共回溯7天的。這個模型也就是用前7天的平均氣溫來預測當天的平均溫度。

三、構建模型

1.讀入待訓練的數(shù)據(jù)

(完整代碼跟前面天氣數(shù)據(jù)放一起了)

從上圖，我們可以看到讀入了4429行數(shù)據(jù)，每行有13列，這樣的數(shù)據(jù)不能直接使用，需要裁剪一下。

2.數(shù)據(jù)裁剪

這里我們做了3個操作。

1)是將前7行有null的數(shù)據(jù)刪除

2)是將avg這一列單獨存起來了，用于后面的模型訓練。

3)將high、low、avg三列從數(shù)據(jù)集中刪除，因為我們是使用“歷史數(shù)據(jù)”來預測當日的平均溫度，這三列都屬于當日數(shù)據(jù)所以要刪除。

3.數(shù)據(jù)預處理

這里做了2個操作。

1)將數(shù)據(jù)集轉化為array的形式，這樣TensorFlow才能處理(自動去掉了title的內容)

2)將數(shù)據(jù)做歸一化，主要是為了方便后面的模型訓練，簡單來說就是將15、20、30這些數(shù)字轉化為-1到1之間的數(shù)字，可以參考下面這個鏈接。

https://blog.csdn.net/qq_51392112/article/details/129091683

4.構建模型

這里我們構建了一個16>32>1的神經網(wǎng)絡模型，其中16、32、1指的是每一層的神經元數(shù)量，第一層與第二層的神經元數(shù)量無所謂可以隨便寫，第三層的1與預測的結果相對應，也就是我們使用前7天的平均溫度，預測的是今天這“一個”平均溫度。如果你預測的是當天最高溫和最低溫，就需要將第三層的1修改為2了。這里因為我們只預測1個結果(當天的平均溫度)，所以輸出只需要1個。

其中model.compile是對神經網(wǎng)絡進行配置，主要參數(shù)含義如下：

解釋起來比較復雜，這里我們只管先用著，反正就是一些可以選擇的參數(shù)，對模型的訓練可能有很大影響，也可能沒啥影響，一些資深人事主要工作就是調調這里改改哪里。

如果想改改參數(shù)看看效果，可以參考下面的鏈接：

https://blog.csdn.net/chaojishuai123/article/details/114580892

5.訓練

model.fit里也有好幾個參數(shù)，詳細如下：

1)Input_features，輸入的訓練數(shù)據(jù)集

2)labels_avg，前面我們將avg列單獨保存了起來就是為了用在這里

3)Validation_split=0.1，將其中的10%數(shù)據(jù)用于模型驗證，剩下的90%用于模型訓練

4)Epochs，迭代次數(shù)，也就是這些數(shù)據(jù)會被用于模型訓練多少次

5)batch_size，每一次訓練使用的數(shù)據(jù)量

除了features、labels，其他三個參數(shù)大家可以隨意調調看對結果的影響。

上面截圖中，注意有l(wèi)oss和val_loss兩個結果，其中l(wèi)oss是模型訓練后的“損失”，你可以理解loss越小則模型對你輸入的數(shù)據(jù)匹配度越高(越契合你的訓練數(shù)據(jù))。Val_loss是模型驗證的“損失”，也就是前面我們設置的那10%，這個值越小說明你的模型驗證的結果也不錯。

但Loss也不是越小越好，太小說明模型對你輸入的數(shù)據(jù)產生了過擬合，可能結果是訓練數(shù)據(jù)很不錯但使用起來就很差。所以我們追求的其實是loss和val_loss的綜合解，即在loss較低的情況下，val_loss也不太高。

6.輸入待預測的數(shù)據(jù)