摘要：你是如何開始參加比賽的正如之前所說的，我一直在閱讀大量機(jī)器學(xué)習(xí)和深度學(xué)習(xí)方面的書籍和論文，但發(fā)現(xiàn)很難將我學(xué)到的算法應(yīng)用于小型數(shù)據(jù)集。機(jī)器學(xué)習(xí)中，你對哪個(gè)子領(lǐng)域最感興趣我對深度學(xué)習(xí)的各種進(jìn)步都很感興趣。

作者 Kaggle Team
中文翻譯 Mika
CDA 數(shù)據(jù)分析師原創(chuàng)作品，轉(zhuǎn)載需授權(quán)

在最新的Kaggle用戶排行榜上，排名第一位的ID是Bestfitting，他本人叫Shubin Dai。他在兩年前加入Kaggle，目前生活在中國湖南省長沙。他是一名數(shù)據(jù)科學(xué)家、工程師，目前領(lǐng)導(dǎo)一家為銀行提供軟件解決方案的公司。在工作之余，除了Kaggle，Dai還是一名狂熱的山地車手，喜歡戶外運(yùn)動(dòng)。

最近Shubin Dai接受了Kaggle團(tuán)隊(duì)的專訪，分享了他在參加Kaggle競賽時(shí)的心得與體會(huì)。

Q1: 可以介紹以下自己和相關(guān)背景嗎？

我的專業(yè)是計(jì)算機(jī)科學(xué)，在軟件開發(fā)方面有超過10年的經(jīng)驗(yàn)。工作方面，目前我負(fù)責(zé)領(lǐng)導(dǎo)一個(gè)團(tuán)隊(duì)，專門為銀行提供數(shù)據(jù)處理和分析的方案。

自大學(xué)以來，我對利用數(shù)學(xué)知識(shí)構(gòu)建程序，從而來解決問題十分感興趣。我一直在閱讀計(jì)算機(jī)科學(xué)方面的書籍和論文，并且很高興目睹了過去十年中機(jī)器學(xué)習(xí)和深度學(xué)習(xí)方面的進(jìn)展。

Q2: 你是如何開始參加Kaggle比賽的？

正如之前所說的，我一直在閱讀大量機(jī)器學(xué)習(xí)和深度學(xué)習(xí)方面的書籍和論文，但發(fā)現(xiàn)很難將我學(xué)到的算法應(yīng)用于小型數(shù)據(jù)集。Kaggle是一個(gè)很棒的平臺(tái)，當(dāng)中有各種有趣的數(shù)據(jù)集、算法和精彩的探討。我迫不及待想進(jìn)行嘗試，我第一個(gè)參加的比賽是“預(yù)測紅帽商業(yè)價(jià)值”(Predicting Red Hat Business Value)。

Q3: 在參加新的比賽時(shí)，你首先會(huì)做什么？

在比賽開始的第一個(gè)星期，我會(huì)創(chuàng)建一個(gè)解決方案文檔，在比賽進(jìn)行中，我會(huì)不斷對文檔進(jìn)行更新。為此，首先我需要把握手上的數(shù)據(jù)和比賽，然后研究類似的Kaggle比賽和相關(guān)論文。

Q4: 在比賽時(shí)，你會(huì)做哪些步驟呢？

1.仔細(xì)閱讀比賽的概述和數(shù)據(jù)的描述；

2.查找類似的Kaggle比賽。作為剛加入Kaggle社區(qū)不久的新手，我對所有的Kaggle比賽進(jìn)行了搜索和分析；

3.閱讀類似比賽的解決方案；

4.閱讀相關(guān)論文，確保我跟進(jìn)該領(lǐng)域的最新進(jìn)展；

5.分析數(shù)據(jù)，并構(gòu)建可靠的交叉驗(yàn)證；

6.進(jìn)行數(shù)據(jù)預(yù)處理、特征工程、模型訓(xùn)練；

7.進(jìn)行結(jié)果分析，包括預(yù)測分布、錯(cuò)誤分析、困難樣本等；

8.根據(jù)分析，精心設(shè)計(jì)模型或設(shè)計(jì)新模型；

9.基于數(shù)據(jù)分析和結(jié)果分析，通過設(shè)計(jì)模型增加多樣性，或解決困難樣本；

10.模型集成；

11.必要時(shí)返回前面某個(gè)步驟。

Q5: 你最喜歡的機(jī)器學(xué)習(xí)算法是什么？

我會(huì)逐個(gè)選擇算法，但在進(jìn)行集成時(shí)我更喜歡用簡單的算法，如嶺回歸(ridge regression)。在深度學(xué)習(xí)的比賽中，在開始我總是喜歡使用resnet-50或設(shè)計(jì)類似的結(jié)構(gòu)。

Q6: 你最喜歡的機(jī)器學(xué)習(xí)庫是什么？

在計(jì)算機(jī)視覺比賽中，我非常喜歡用pytorch。在自然語言處理或時(shí)間序列比賽中，我喜歡用用tensorflow或keras。在進(jìn)行分析時(shí)，我會(huì)使用seaborn，以及scipy庫。很多情況下scikit-learn和XGB都是不錯(cuò)的選擇。

Q7: 你會(huì)如何進(jìn)行超參數(shù)調(diào)整呢？

我根據(jù)對數(shù)據(jù)和算法的理論理解來調(diào)整參數(shù)，如果我無法解釋結(jié)果變好或變壞的原因，我不會(huì)輕易使用。

在深度學(xué)習(xí)比賽中，我經(jīng)常會(huì)搜索相關(guān)論文，查找在類似情況下其他人會(huì)怎么做。

而且，我會(huì)比較參數(shù)更改前后的結(jié)果，例如預(yù)測分布、受影響的樣本等。

Q8: 你是如何確定交叉驗(yàn)證方法和最終的提交模型？

有了好的交叉驗(yàn)證方法就成功了一半。在找到好的方法來評(píng)估模型前，我不會(huì)進(jìn)入下一步。

為了構(gòu)建可靠的交叉驗(yàn)證方法，你必須很好地理解數(shù)據(jù)和所面臨的挑戰(zhàn)。我還會(huì)檢查，并確保驗(yàn)證集與訓(xùn)練集和測試集有類似的分布，我會(huì)確保我的模型本地交叉驗(yàn)證和公共排行榜上都有不錯(cuò)的改進(jìn)。

在時(shí)間序列比賽中，我會(huì)留出數(shù)據(jù)作為驗(yàn)證集。

通常，我會(huì)以一種保守方式來選擇最終的提交模型。我會(huì)選擇對可靠模型進(jìn)行加權(quán)平均后的集成模型，并確定出其中相對冒險(xiǎn)的模型。在我看來，更多的參數(shù)意味著更多的風(fēng)險(xiǎn)。但我不會(huì)選擇我無法解釋的模型，即使它的公共排行榜得分很高。

Q9: 簡而言之，怎樣才能贏得比賽？

良好的交叉驗(yàn)證方法。從其他比賽中學(xué)習(xí)，閱讀相關(guān)論文，還需要自律和心里承受力。

Q10: 你最喜歡哪類Kaggle比賽？為什么？

我最喜歡自然保護(hù)和醫(yī)療相關(guān)的比賽。我覺得我有必要為改善我們的生活和保護(hù)地球做些什么。

Q11: 機(jī)器學(xué)習(xí)中，你對哪個(gè)子領(lǐng)域最感興趣？

我對深度學(xué)習(xí)的各種進(jìn)步都很感興趣。我想利用深度學(xué)習(xí)解決除計(jì)算機(jī)視覺和自然語言處理之外的問題，因此在我參加的比賽和日常工作中，我會(huì)使用到深度學(xué)習(xí)。

Q12: 對你而言，在解決數(shù)據(jù)科學(xué)問題時(shí)，專業(yè)知識(shí)有多重要？

老實(shí)說，我不認(rèn)為專業(yè)知識(shí)會(huì)有太多的作用，原因如下：

1.Kaggle提供的比賽數(shù)據(jù)對每個(gè)人都很公平；

2.僅使用成熟的方法贏得比賽是很難的，尤其是對于深度學(xué)習(xí)的比賽。因此我們需要更多創(chuàng)造性的解決方案;

3.數(shù)據(jù)本身更重要，盡管我們可能需要閱讀一些相關(guān)的材料。

但是也有一些例外。例如，在Planet Amazon 比賽中，我從我在熱帶雨林的經(jīng)歷中獲得了一些想法，但這些經(jīng)驗(yàn)并不能稱為專業(yè)知識(shí)。

Q13: 你認(rèn)為你最有競爭力的比賽技巧是什么？

我認(rèn)為是在比賽開始時(shí)準(zhǔn)備解決方案文檔。我會(huì)列一份清單，包括面臨的挑戰(zhàn)、應(yīng)該閱讀的解決方案和論文、可能的風(fēng)險(xiǎn)、可能的交叉驗(yàn)證方法、可能的數(shù)據(jù)增強(qiáng)方法以及加強(qiáng)模型多樣性的方式。而且，我會(huì)不斷更新文檔。幸運(yùn)的是，這些文檔在我之后的比賽中都很很大的幫助。

Q14: 在工作中，你是如何運(yùn)用數(shù)據(jù)科學(xué)的?Kaggle比賽有所幫助嗎？

我的團(tuán)隊(duì)嘗試通過機(jī)器學(xué)習(xí)解決各種銀行業(yè)務(wù)問題，比如預(yù)測銀行網(wǎng)點(diǎn)的訪客；預(yù)測ATM應(yīng)準(zhǔn)備的現(xiàn)金；產(chǎn)品推薦；操作風(fēng)險(xiǎn)控制等。

Kaggle比賽也改變了我的工作方式，當(dāng)我為解決問題尋找解決方案時(shí)，我會(huì)尋找類似的Kaggle比賽，因?yàn)槟切┒际菍氋F的資源。同時(shí)我還建議我的同事們研究類似的解決方案，從中獲得啟發(fā)。

Q15: 你如何權(quán)衡模型復(fù)雜性和訓(xùn)練/測試運(yùn)行時(shí)間？

以下是我的看法：

1.只有當(dāng)這方面出現(xiàn)問題時(shí)，培訓(xùn)/測試運(yùn)行時(shí)間只才值得關(guān)注。當(dāng)正確率很重要時(shí)，不用太擔(dān)心模型的復(fù)雜性。如果獲得訓(xùn)練數(shù)據(jù)需要好幾個(gè)月的時(shí)間，那么我們需要充分的利用。

2.現(xiàn)在，只對弱模型進(jìn)行集成很難贏得比賽。如果你想成為第一名，你需要多個(gè)很好的單一模型。如果我想在比賽中確保第一名，我會(huì)設(shè)計(jì)幾個(gè)不同的模型，并且在排行榜上能達(dá)到前10名，有時(shí)甚至是前3名。

3.按照我的經(jīng)驗(yàn)，我會(huì)在比賽中設(shè)計(jì)模型來探索這個(gè)問題的上限，然后選擇一個(gè)簡單的模型使其在實(shí)際情況下可行。我總會(huì)盡量向組織者提交一個(gè)簡單模型，并且與他們進(jìn)行討論。我發(fā)現(xiàn)一些組織者甚至?xí)褂梦覀兊姆桨竵斫鉀Q他們面臨的其他問題。

4.當(dāng)訓(xùn)練/測試運(yùn)行時(shí)間很重要時(shí)，Kaggle有很多機(jī)制來確保性能：kernel比賽、團(tuán)隊(duì)規(guī)模限制、增加更多在計(jì)分時(shí)未計(jì)算的數(shù)據(jù)等。我相信Kaggle也會(huì)根據(jù)比賽目標(biāo)改進(jìn)規(guī)則。

Q16: 你是如何在Kaggle比賽不斷進(jìn)步的？

有趣的比賽和Kaggle的偉大競爭對手讓我不斷進(jìn)步。

Kaggle中有許多優(yōu)秀的競爭者，因此想贏得比賽并非易事，這不斷挑戰(zhàn)我的極限。去年，我盡可能多地完成比賽，并且猜測其他競爭者會(huì)做什么。為此，我必須閱讀大量材料，并構(gòu)建多功能模型。在比賽之后，我閱讀了其他競爭對手的解決方案。

Q17: 你有關(guān)注哪些最近或正在進(jìn)行的機(jī)器學(xué)習(xí)比賽嗎？

今年我希望能參加Kaggle的深度強(qiáng)化學(xué)習(xí)比賽。

Q18: 你僅用15個(gè)月就上升到排行榜的第一名，你是怎么做到的？

首先，取得第一只是代表我在Kaggle所學(xué)到的知識(shí)，而且我也幸運(yùn)。

在我的前幾次比賽中，我試圖將近年來學(xué)到的理論轉(zhuǎn)化為技巧，并從其他人那里學(xué)到很多。

在對Kaggle比賽有一定的了解之后，，我開始思考如何用系統(tǒng)化的方式進(jìn)行比賽，因?yàn)槲以谲浖こ谭矫嬗卸嗄杲?jīng)驗(yàn)。

大約半年后，我獲得了首個(gè)獎(jiǎng)項(xiàng)，并獲得了一些自信。我感覺我可能會(huì)在一年內(nèi)成為達(dá)到大師級(jí)別。在Planet Amazon比賽中，我試圖獲得金牌，當(dāng)發(fā)現(xiàn)自己名列第一位時(shí)，我非常驚訝。

然后我覺得應(yīng)該繼續(xù)使用之前提到的策略和方法，從而取得更多的成功。在贏得Cdiscount比賽后，我爬到了用戶排名榜的前列。

我從Kaggle平臺(tái)受益頗多，我從其他人那里學(xué)到了很多，Kaggle的用戶排名系統(tǒng)也激勵(lì)著我不斷進(jìn)步。我也感到很幸運(yùn)，我沒想到我能連續(xù)獲得6次獎(jiǎng)項(xiàng)，在許多比賽中取得了前10名或前1％的成績。我可能很難再重復(fù)這個(gè)經(jīng)歷了。

但是，取得好的排名并不是我的目標(biāo)。我把每場比賽都視為學(xué)習(xí)的機(jī)會(huì)，因此我會(huì)選擇我不太熟悉領(lǐng)域的比賽，這迫使我去年研讀了成百上千篇論文。

Q19: 你提到過，你喜歡研究之前比賽中評(píng)分最高的解決方案。你有什么特別的見解嗎？

我尊重所有的贏家和出色的解決方案貢獻(xiàn)者，我知道他們付出了多少努力。我總是以一種可敬的態(tài)度研究這些解決方案。

獲取更多內(nèi)容可移步：https://www.cda.cn/?seo-segme...