統(tǒng)計(jì)學(xué)習(xí)方法書籍推薦
統(tǒng)計(jì)學(xué)習(xí)方法書籍推薦
統(tǒng)計(jì)學(xué)習(xí)方法是什么?想了解更多的信息嗎,以下是學(xué)習(xí)啦小編分享給大家的統(tǒng)計(jì)學(xué)習(xí)方法的資料,希望可以幫到你!
統(tǒng)計(jì)學(xué)習(xí)方法書籍有哪些
《女士品茶》
內(nèi)容簡(jiǎn)介:
《20世紀(jì)統(tǒng)計(jì)怎樣變革了科學(xué):女士品茶》以某位喝茶的英國(guó)女士的假設(shè)學(xué)說為起點(diǎn),引出了近代數(shù)理統(tǒng)計(jì)的開創(chuàng)者——費(fèi)歇爾,以及費(fèi)歇爾為解決類似問題而發(fā)明的實(shí)驗(yàn)設(shè)計(jì)法。書中細(xì)數(shù)了二十世紀(jì)參與這場(chǎng)科學(xué)變革的代表性人物與事跡。
豆瓣短評(píng):
世界上沒有任何一個(gè)實(shí)驗(yàn)設(shè)計(jì)是完美的,但我們?nèi)钥梢越璐藷o(wú)限接近真相。這本書算是補(bǔ)充批判性思維的知識(shí)面。其中提到的哲學(xué)層面非常深?yuàn)W,如何在理論上立足,如何統(tǒng)一內(nèi)部,如何與現(xiàn)實(shí)世界關(guān)聯(lián),等等。很有趣。
By xigesade
《統(tǒng)計(jì)陷阱》
內(nèi)容簡(jiǎn)介:
《統(tǒng)計(jì)陷阱》是美國(guó)統(tǒng)計(jì)學(xué)家達(dá)萊爾·哈夫的名著,自1954年出版至今,多次重印,被譯為多種文字,影響深遠(yuǎn)。
在日常的經(jīng)濟(jì)生活中,我們將接觸到越來(lái)越多的統(tǒng)計(jì)數(shù)據(jù)和資料,例如各種證券信息、投資可行性研究報(bào)告、公司財(cái)務(wù)報(bào)告等,這些資料、數(shù)據(jù)如何去偽存真,如何進(jìn)行鑒別?這本《統(tǒng)計(jì)陷阱》回答了這些問題。
豆瓣短評(píng):
達(dá)萊爾.哈夫的統(tǒng)計(jì)陷阱,原名如何利用統(tǒng)計(jì)說謊,雖然是60年前的書,但今天來(lái)看依舊很有價(jià)值。面對(duì)這個(gè)信息量巨大的世界,我們每天會(huì)碰到大量真假難辨的信息,這就要求我們提高處理信息的能力。很可惜的是,很多人對(duì)于網(wǎng)絡(luò)上的大量數(shù)據(jù)不問出處不問真假的選擇相信。也許看完這本書之后你會(huì)有不同的思考。
By Ahem
《赤裸裸的統(tǒng)計(jì)學(xué)》
內(nèi)容簡(jiǎn)介:
《赤裸裸的統(tǒng)計(jì)學(xué)》一書的作者查爾斯•惠倫“扒光”了統(tǒng)計(jì)學(xué)“沉悶的外衣”,用生活中有趣的案例、直觀的圖表、生動(dòng)詼諧的語(yǔ)言風(fēng)格,徹底揭開了統(tǒng)計(jì)學(xué)、大數(shù)據(jù)和數(shù)字的“神秘面紗”,讓我們知道權(quán)威期刊、媒體新聞、民意調(diào)研中公布的數(shù)字從何而來(lái),輕松掌握判斷這些統(tǒng)計(jì)數(shù)字“是否在撒謊”的秘籍。同時(shí),作者還將統(tǒng)計(jì)學(xué)的工具帶入日常生活中,告訴我們?yōu)槭裁床灰I彩票,為什么你家附近的商場(chǎng)會(huì)知道你懷孕的消息并給你寄來(lái)紙尿褲的優(yōu)惠券,等等。
大數(shù)據(jù)時(shí)代你必須掌握的統(tǒng)計(jì)學(xué)知識(shí),全部都在這本書中。從今天開始,好好使用統(tǒng)計(jì)學(xué)和數(shù)據(jù)吧!
豆瓣短評(píng):
大學(xué)時(shí)灌輸式的教學(xué)并沒有讓我對(duì)統(tǒng)計(jì)學(xué)這門課產(chǎn)生太多的興趣,本著只要通過的念頭對(duì)很多統(tǒng)計(jì)學(xué)的知識(shí)了解不夠透徹,翻閱這本書似乎就有了另一番感覺,生動(dòng)的例子中那些概念類的知識(shí)能夠更好的被理解,對(duì)于所處的信息爆炸的時(shí)代,對(duì)各類統(tǒng)計(jì)數(shù)據(jù)本身做出的判斷一定是正確的么?當(dāng)然不,它們也會(huì)撒謊。這方面的意識(shí)說來(lái)也是一個(gè)很棒的提高點(diǎn)。
By 微升驟落
《醉漢的腳步》
內(nèi)容簡(jiǎn)介:
《醉漢的腳步:隨機(jī)性如何主宰我們的生活》內(nèi)容簡(jiǎn)介:你知道嗎。在去買彩票的路上因車禍身亡的可能性。是彩票中獎(jiǎng)的可能性的兩倍!打破了貝比·魯斯本壘打紀(jì)錄的奇人羅杰·馬立斯,也非??赡軆H僅是幸運(yùn)而非偉大!一種葡萄酒被某本刊物給予了五顆星的最高評(píng)分,卻被另一本刊物評(píng)為一個(gè)年代中最差的葡萄酒,這是怎么回事?
在這本顛覆常識(shí)又具有啟蒙性的書中,列納德·蒙洛迪諾通過解開偶然性的真實(shí)本性。以及導(dǎo)致我們誤判周遭世界的那些心理錯(cuò)覺。生動(dòng)地展示了什么是真正有意義的東西。而我們又如何才能在一個(gè)更深層次真理的基礎(chǔ)上。來(lái)進(jìn)行我們的決策。
《醉漢的腳步:隨機(jī)性如何主宰我們的生活》帶給你的。不僅是在隨機(jī)性、偶然性和概率中的一次漫游,還是一個(gè)看待世界的全新視角。它同時(shí)提醒著我們,生活中的許多事情。大致就如同剛在酒吧待了一夜的家伙那蹣跚的步履一般難以預(yù)測(cè)。
豆瓣短評(píng):
買了英文版,一直沒看。先看了中文版。由淺入深,由古到今,豐富的實(shí)例,不用一個(gè)公式,將概率論和數(shù)理統(tǒng)計(jì)的基本知識(shí)娓娓道來(lái)。當(dāng)年學(xué)隨機(jī)數(shù)學(xué)的時(shí)候能碰到這本書就好了。這本書應(yīng)該再版。
By 甲醇教授
《愛上統(tǒng)計(jì)學(xué)》
內(nèi)容簡(jiǎn)介:
在經(jīng)過不斷地摸索以及少量成功大量失敗的嘗試之后,我已經(jīng)學(xué)會(huì)了以某種方式教授統(tǒng)計(jì)學(xué),我和我的許多學(xué)生認(rèn)為這種方式不會(huì)讓人感到害怕,同時(shí)能夠傳遞大量的信息。
通過這本書可以了解基礎(chǔ)統(tǒng)計(jì)學(xué)的范圍并學(xué)習(xí)所有應(yīng)該掌握的信息,也可以了解整理和分析數(shù)據(jù)的基本思路和最常用的技術(shù)。本書理論部分有一些,但是很少,數(shù)學(xué)證明或特定數(shù)學(xué)程式的合理性討論也很少。
為什么《愛上統(tǒng)計(jì)學(xué)》這本書不增加更多理論內(nèi)容?很簡(jiǎn)單,初學(xué)者不需要。這并不是我認(rèn)為理論不重要,而是在學(xué)習(xí)的這個(gè)階段,我想提供的是我認(rèn)為通過一定程度的努力可以理解和掌握的資料,同時(shí)又不會(huì)讓你感到害怕而放棄將來(lái)選修更多的課程。我和其他老師都希望你能成功。
因此,如果你想詳細(xì)了解方差分析中F值的含義,可以從Sage出版社查找其他的好書(我愿意向你推薦書目)。但是如果你想了解統(tǒng)計(jì)學(xué)為什么以及如何為你所用,這本書很合適。這本書能幫助你理解在專業(yè)文章中看到的資料,解釋許多統(tǒng)計(jì)分析結(jié)果的意義,并且能教你運(yùn)用基本的統(tǒng)計(jì)過程。
豆瓣短評(píng):
很不錯(cuò)的統(tǒng)計(jì)學(xué)的入門書,簡(jiǎn)單入上手,尤其是課后習(xí)題,必須要一做,讀書不做題,純粹打醬油。 當(dāng)然,這本書也只是入門,里面的各種檢驗(yàn)的原理都沒有講。
By 平凡的老魚
《統(tǒng)計(jì)數(shù)據(jù)的真相》
內(nèi)容簡(jiǎn)介:
《統(tǒng)計(jì)數(shù)據(jù)的真相》讓讀者從另一個(gè)角度看待統(tǒng)計(jì)數(shù)據(jù)。自從本杰明·迪斯累里(Benjamin Disraelis)談及“世界上有三種謊言:謊言、該死的謊言,還有統(tǒng)計(jì)數(shù)據(jù)”之后,相關(guān)的俏皮話、諷刺語(yǔ)就不斷地落到可憐的統(tǒng)計(jì)學(xué)家頭上。這種批評(píng)、諷刺雖然“微不足道”,但在某種意義上卻是真實(shí)的。之所以說“微不足道”,是因?yàn)槿藗儾粌H可以使用,而且能夠?yàn)E用每一種統(tǒng)計(jì)工具,統(tǒng)計(jì)數(shù)據(jù)在這里肯定不是孤立無(wú)援的,而是具有許多相互關(guān)聯(lián)的因素。之所以說“真實(shí)”,是因?yàn)樗腥搜壑械氖澜缍际且晕覀兿矚g的方式看到的,而不是世界的客觀本來(lái)面目。
豆瓣短評(píng):
沒有看到長(zhǎng)篇大論的空談理論,全篇都以短小精煉的事例來(lái)展示統(tǒng)計(jì)學(xué)諸多的不合理應(yīng)用,閱讀起來(lái)一點(diǎn)不覺得枯燥。個(gè)人覺得,本書就是教人怎么把糟糕的統(tǒng)計(jì)數(shù)據(jù)做的好看,能把一個(gè)快倒閉的公司的銷售業(yè)績(jī)做成像一個(gè)成長(zhǎng)中的公司業(yè)績(jī),某種程度上還滿藝術(shù)的。
By 蒼紫色月光
《馴服偶然》
內(nèi)容簡(jiǎn)介:
20世紀(jì)的哲學(xué)家和科學(xué)家認(rèn)為宇宙是概率性的,因而偶然便是實(shí)在的。統(tǒng)計(jì)定律反映出宇宙的本質(zhì),雖然有的事物有其固有的不可預(yù)測(cè)的一面,但是統(tǒng)計(jì)規(guī)律的實(shí)在性最終被認(rèn)為是理性的。本書則通過曲折復(fù)雜的歷史佚事反映出統(tǒng)計(jì)規(guī)律是何以登堂入室的。內(nèi)容的豐富使作者的哲學(xué)思想難于把握,但正是奮爭(zhēng)在這撲朔迷離之中才是值得一試的。 本書從大尺度上描繪了觀念轉(zhuǎn)變的過程,彌補(bǔ)了科學(xué)社會(huì)學(xué)中案例研究和標(biāo)準(zhǔn)形式的識(shí)知研究的不足。有些論證值得商榷,尤其是哈金描述的“革命”,在我看來(lái),就從未在他所認(rèn)為的意義下發(fā)生過。但是哈金的思想過于復(fù)雜,很難被這些反駁意見所駁倒。關(guān)于涂爾干和高爾頓的寫作上,對(duì)很難說清的方面把握恰到好處,論證雄辯,這正是本書閃光之處。
豆瓣短評(píng):
一口氣看完。這本書是我偏愛的那種洋洋灑灑,內(nèi)容繁多的科普著作,從國(guó)家實(shí)力的判斷到自殺率統(tǒng)計(jì),非常有趣。不過這也是缺點(diǎn)之一,就是不大深入細(xì)致。翻譯工作非常貼心,和原著不同的是注解跟在每一章之后,比較方便隨時(shí)查閱。
統(tǒng)計(jì)學(xué)習(xí)方法一
拋出問題
我們使用感知機(jī)來(lái)模擬類似這樣的一個(gè)問題:
在一個(gè)圍棋棋盤上有許多散亂的棋子,其中有黑子也有白子。已知它們可以被很干凈利落的被分為兩部分,每部分都沒有別的顏色的棋子,這樣作為下棋者我們就可以很愉快的不用再挑棋子放進(jìn)盒子里了!作為一個(gè)強(qiáng)迫癥患者,你希望能直接用手一攬就把其中一部分棋子放入盒中,那么問題就是:手該如何放置才能使得這些棋子立馬被干凈利落的分為兩部分呢?
(這么2的問題可能只有我才想得出了…)
統(tǒng)計(jì)學(xué)習(xí)方法二
問題思考
那么我們就來(lái)思考這個(gè)問題。首先我們明確情況,在已有條件中,有一個(gè)苛刻以及理想化的條件需要注意:散落的棋子可以被很干凈利落的被分為兩份。這里的干凈利落是個(gè)不明確的表述,但是基本可以理解為我們可以用“一刀切”的方式把棋子分為兩部分。在數(shù)據(jù)科學(xué)里,我們把這個(gè)條件稱為數(shù)據(jù) 線性可分 。這是一個(gè)非常重要的前提條件。
其次,我們的問題是,我們需要把散落的棋子分為兩部分,那么我們可以認(rèn)為,這是一個(gè)典型的 二分類 問題。
用抽象一些的語(yǔ)言來(lái)描述就是,我們需要對(duì)整個(gè)問題建模,將棋子的散落情況整理成數(shù)據(jù)集D,我們的模型需要學(xué)習(xí)一個(gè)這樣的映射:
y^:R2→C
其中C={−1,+1},R2為數(shù)據(jù)集D的空間。
我們用+1和-1分別表示來(lái)過那種棋子的顏色。那么數(shù)據(jù)是什么呢?由于我們是對(duì)棋盤上的棋子根據(jù)他們現(xiàn)在的位置來(lái)分類,因此我們大可以將每顆棋子在棋盤上的坐標(biāo)作為采樣數(shù)據(jù)。對(duì)于每一個(gè)樣本,我們可以得到這樣的一個(gè)向量:
x=[x1,x2]
那么我們到底采用什么樣的模型呢?別急,我們?cè)賮?lái)看問題。
注意我們的關(guān)鍵詞——“一刀切”。一刀切我們可以理解為用一條直線把所有棋子構(gòu)成的整體分為兩個(gè)部分。那么,我們的模型只需要描述成一條直線即可。于是有這樣的模型:
y=w⋅x+b
那么直線的參數(shù)又該如何得到呢?我們?cè)賮?lái)看問題。
由于棋子有兩類,我們要做的是把棋盤上的棋子根據(jù)它們自身現(xiàn)在在棋盤上的位置把它們分為兩類。而我們的目標(biāo)是 保證每一類的棋子都為相同顏色 ,換句話說,我們希望被直線分割開的兩邊都沒有分錯(cuò)類的棋子。那么我們就可以得到我們的策略——模型采用的期望風(fēng)險(xiǎn)函數(shù):
Loss(y,y^)=1n∑in=1I(y,y^)
這里n為樣本總量,y^為預(yù)測(cè)類別,y為實(shí)際類別,I為指示函數(shù),若括號(hào)內(nèi)參數(shù)相等則值為0,反之為1。
這是0-1損失函數(shù)的經(jīng)驗(yàn)期望風(fēng)險(xiǎn)。
根據(jù)統(tǒng)計(jì)學(xué)習(xí)三要素,我們來(lái)看看我們現(xiàn)在問題的梳理情況:
我們有了模型,策略,我們還需要一個(gè)算法。
提前劇透一下,我們使用傳統(tǒng)的梯度下降來(lái)求解這個(gè)問題。至于具體的內(nèi)容還是先不詳細(xì)解釋。寫到這娛樂的部分也該結(jié)束了。讓我們回歸理論嚴(yán)肅的統(tǒng)計(jì)學(xué)習(xí)。
統(tǒng)計(jì)學(xué)習(xí)方法三
模型
我們用更正式的語(yǔ)言來(lái)表達(dá)這個(gè)問題。
不知讀者看到這里是否想到一個(gè)問題。模型使用上述寫的形式是否存在問題?
答案是,確實(shí)存在。我只是為了方便初學(xué)者從最簡(jiǎn)單的數(shù)學(xué)知識(shí)理解才寫成那樣的形式。那么我們來(lái)修正我們的模型:
先來(lái)看看問題出在哪兒。從指示函數(shù)考慮,我們?cè)诿看吻髶p失的時(shí)候,需要判斷當(dāng)前的實(shí)例被分為哪一類,然后再計(jì)算損失。
那么該如何判斷被分為了哪一類呢?我們都知道可以根據(jù)是在直線上方還是下方來(lái)劃分分類。假如我們指定將直線上方的實(shí)例分為+1,反之為-1。但是當(dāng)數(shù)據(jù)集中,恰好上方的實(shí)例都為-1,下方為+1時(shí),我們的數(shù)據(jù)將永遠(yuǎn)是誤分類。無(wú)論如何調(diào)整k都無(wú)法完美分類。因?yàn)閗只控制斜率,b控制截距。但是在考慮分類的時(shí)候,我們還有一個(gè)地方需要去確定,那就是分類的類標(biāo)簽。使用上述的直線方程無(wú)法表示類標(biāo)簽。
于是,我們的感知機(jī)實(shí)際上是這樣來(lái)考慮的(真正理論誕生的時(shí)候應(yīng)該是沒有這種問題的吧,應(yīng)該是直接提出了下面這個(gè)模型的):
我們使用一個(gè) 超平面 來(lái)劃分?jǐn)?shù)據(jù)空間。超平面是n維歐氏空間中余維度等于一的線性子空間。這是平面中的直線、空間中的平面之推廣。簡(jiǎn)單來(lái)說指的就是在數(shù)據(jù)空間中一個(gè)用w⋅x+b=0來(lái)表示的一個(gè)平面,其中w與x都是向量,且維數(shù)與數(shù)據(jù)空間相同。
學(xué)過立體集合的多知道,w其實(shí)就是超平面的法向量,由于是向量,它具有方向,它就可以解決二分類問題中的類標(biāo)簽的歸屬問題,并且可以很好的將問題推廣至N維情況。
當(dāng)然,在歷史上應(yīng)該并不是為了解決類標(biāo)簽問題才使用超平面的。其實(shí)對(duì)于一個(gè)N維的輸入空間使用一個(gè)超平面分割來(lái)考慮是一件非常自然的事。
統(tǒng)計(jì)學(xué)習(xí)方法四
策略
解決上面那個(gè)很不成樣子的問題時(shí),我們采用的損失函數(shù)為0-1損失函數(shù)。為什么使用0-1損失函數(shù)呢?因?yàn)橐粋€(gè)很簡(jiǎn)單也很符合題意的思路就是:既然要完美把兩部分棋子分開,那我們只要選取使得兩部分棋子中被誤分類的棋子個(gè)數(shù)為0不就好了嗎?
順理成章的想法,但是正因?yàn)楹?jiǎn)單,而產(chǎn)生了一個(gè)問題:我們?cè)趺窗巡呗院湍P蛥?shù)聯(lián)系起來(lái)呢?
如果使用0-1損失函數(shù),那么從公事上看我們很難對(duì)它做出優(yōu)化??赡苤荒苡靡粋€(gè)很暴力的辦法,就是設(shè)定一個(gè)初始的超平面位置,然后選定一個(gè)很小的角度變化量,按照變化量對(duì)超平面進(jìn)行旋轉(zhuǎn),每次都計(jì)算一次誤分類,直到找到使損失函數(shù)為0的位置為止。有時(shí)候甚至肯可能因?yàn)樽兓坎粔蛐?,而?dǎo)致沒法得到這個(gè)角度??上攵@個(gè)計(jì)算量非常大,而且整個(gè)計(jì)算過程也不易于優(yōu)化,但同時(shí)又有相當(dāng)多的冗余計(jì)算。
那么這時(shí),我們就需要換個(gè)思路——改變我們的損失函數(shù)。
由于我們定義用一個(gè)超平面來(lái)分割我們的數(shù)據(jù),那么我們就該利用好這些相關(guān)的性質(zhì)。很容易想到我們可以用誤分類的點(diǎn)的距離總和來(lái)作為損失函數(shù)。
空間中點(diǎn)到平面的距離:
d=1||w|||w⋅x+b|
其中||w||是L~2~范數(shù)(范數(shù)定義的是向量長(zhǎng)度的一種計(jì)算方式)。
考慮誤分類樣本(x,y),有下式:
−y(w⋅x+b)>0
因此得到距離:
d=1||w||y(w⋅x+b)
因此,得到損失函數(shù):
Loss(w,b)=−∑xi∈Myi(w⋅xi+b)
這里省略L~2~范數(shù),因?yàn)閷?duì)于同一模型它可以看做常數(shù)。這里的M為每次迭代被感知機(jī)誤分類的點(diǎn)的集合。
觀察損失函數(shù),我們可以看到損失函數(shù)是一個(gè)非負(fù)數(shù)。當(dāng)完美分類時(shí),損失函數(shù)值為0。且該函數(shù)可導(dǎo),因此我們就可以定一個(gè)優(yōu)化目標(biāo),用算法對(duì)它進(jìn)行優(yōu)化。
統(tǒng)計(jì)學(xué)習(xí)方法五
算法
這是一個(gè)很典型的優(yōu)化問題。通常我們采用梯度下降的辦法來(lái)解決這個(gè)問題。
所謂梯度下降,就是每次迭代模型參數(shù),我們都向著下降最快的方向進(jìn)行更新,以此來(lái)求解極小值。這樣我們可以快速進(jìn)行迭代、更新。貌似有個(gè)證明,證明梯度下降是一定能夠收斂的。
梯度下降有兩種,一種是批量梯度下降(batch gradient descent),另一種是隨機(jī)梯度下降(stochastic gradient decent)。這兩者在我之前發(fā)的關(guān)于FTRL的文章里有所介紹,也可以參照網(wǎng)上的資料自行查閱。
簡(jiǎn)單來(lái)說這兩者算法的區(qū)別就在于批量算法是每次迭代過程掃描所有樣本,在總體損失上進(jìn)行迭代。隨機(jī)梯度下降是每次只根據(jù)單個(gè)樣本的損失進(jìn)行更新。很明顯前者能在理論上收斂到全局最優(yōu),而后者雖然速度快,但是可能收斂于局部最優(yōu)。特別的,當(dāng)損失函數(shù)的極值分布比較變態(tài)的情況下,隨機(jī)梯度下降和批量梯度下降可能都不會(huì)有很好的結(jié)果。但是通常情況下,我個(gè)人更傾向于采用隨機(jī)梯度下降,因?yàn)樗容^快,且效果一般也并不比批量的差,而且對(duì)于收斂于局部極值的問題可以考慮通過增加一個(gè)逐漸衰減的沖量項(xiàng)使其越過局部極值。當(dāng)然具體使用哪種可以根據(jù)實(shí)際情況而定。
回到感知機(jī),我們確定采用隨機(jī)梯度下降來(lái)解這個(gè)問題。在這個(gè)過程中,我們計(jì)算整體損失函數(shù)的導(dǎo)數(shù),再 隨機(jī)選取一個(gè)樣本進(jìn)行參數(shù)更新。那么首先,我們需要計(jì)算出損失函數(shù)對(duì)參數(shù)的梯度,從而確定參數(shù)更新公式。對(duì)于一個(gè)隨機(jī)的樣本(x,y):
▽wLoss(w,b)=−∑x∈Myx
▽bLoss(w,b)=−∑x∈My
w=w+ηyx
b=b+ηy
這里η是學(xué)習(xí)步長(zhǎng)的參數(shù),又稱為學(xué)習(xí)率。在FTRL中我們對(duì)這個(gè)參數(shù)探討過它的取值問題,在這里無(wú)需關(guān)注。通常需要頻繁調(diào)試它來(lái)得到一個(gè)較好的學(xué)習(xí)結(jié)果。至于w,我們對(duì)它每一維的初值往往會(huì)設(shè)置隨機(jī)的較小值,這樣可以做到“破對(duì)稱”,防止每一維因?yàn)橄嗤钠鹗贾刀鴮?dǎo)致最后訓(xùn)練出相同的權(quán)值。