php爬蟲視頻教程，scripting生成出來的頁面的方法嗎？
當然有了！
爬蟲幾乎只要有網絡模塊的語言都能寫，其中的佼佼者就是Python，而Python有非常多的第三方庫支持，如果需要爬取js生成的頁面（比如單頁應用），就需要一些模擬瀏覽器的庫了。
Selenium 是一個項目的名稱,包含了很多工具和api和一些自動化測試工具,能模擬瀏覽器的運行和操作,也有人拿他用來當做爬蟲工具,因此也是很方便的
Webdriver 是Selenium里的一個支持瀏覽器自動化的工具。它包括一組為不同語言提供的類庫和“驅動”（drivers）可以使瀏覽器上的動作自動化。
WebDriver 還為很多語言提供類庫：Java，C#，Ruby，JavaScript，Python，PHP，Perl和一些其他語言。這樣方便的便利，不需要去學習WebDriver獨有的腳本語言，使用WebDriver就像在自己項目中使用一個第三方庫一樣。
PhantomJS 不需要GUI,可以直接命令行中進行處理,內核是WebKit引擎,非常適合爬蟲使用.
介紹完了先安裝:
pip install seleniumPhantomJS的下載需要去官網:http://phantomjs.org/download.html就要開始寫代碼了:
from selenium import webdriver
browser = webdriver.PhantomJS()
url = 'https://www.toutiao.com'
browser.get(url)
browser.implicitly_wait(2) # 等待2秒讓js直行完成
剩下的就需要你自己根據需求來編寫代碼了,還有selenium的中文文檔在這里:https://selenium-python-zh.readthedocs.io/en/latest/
初學者如何高效學習一門編程語言？
首先謝邀。既然是為初學者所寫，那么，我們首先需要進行的一個分辨是：TA是怎樣的初學者？沒有任何編程經驗？有其他語言方面的編程經驗，但沒有接觸過這門語言？針對不同類型的初學者，顯然其學習的途徑和側重點，還是會略有所不同的。這篇文章所針對的，主要是一些共性的方法和技巧。亮獨觀其大略
《魏略》記載，諸葛亮在荊州，與石廣元、徐元直、孟公威俱游學，“三人務于精熟，而亮獨觀其大略?！?p>簡簡單單的一句話，其實正是在學習方法上，諸葛亮比其他人的高明所在。那回到編程語言，什么又是編程語言的“大略”呢？我個人覺得，其核心就是：了解清楚這個語言“當前”的應用生態
一門語言能不能用在很多不同的領域？除了極少數專有化語言外，很多語言都可堪此任。
但“能不能用在”，和“是不是已經用在”，卻是兩個截然不同的問題。比如說，能不能用C++來寫機器學習中所需要用的各種程序（腳本）？答案當然是可以的，但業界是不是在大面積的用？情況并不樂觀，Python仍然是這個領域的“第一語言”。為什么？這其實就是一個生態的問題。在Python下，機器學習所需要的各種類庫，成熟而完整，因此，無論是學習者，還是應用者，可以快速的進入到狀態，并完成手頭的工作。甚至于，因為Python2所構建的這個生態太成熟了，從而導致了整個業界，從Python2切換到Python3的過程，痛苦而又漫長。所以，作為一個初學者，在學習的一開始，就去“打聽”一下（事實上，我覺得老師的作用，也應該在這里），你所要學習的這門語言，現在一般都拿來干什么，并且是不是和你想學習的方向（哪怕只有一個模糊的概念），在目標上高度契合，我覺得是最緊要和事半功倍的事情了，能為你的后期學習，節約太多的時間，從而少走很多的彎路。工欲善其事，必先利其器
人類似乎總是很欣賞那些在公眾中，表演用記事本，在沒有任何代碼提示情況下，“手寫”代碼的大神。
其實要實現這些并不難，萬事無他，唯手熟爾！哪怕你要用的那個函數，參變量再多，你這天天寫，總有熟到可以信手拈來的地步。但向觀眾，尤其是初學者表演，甚至是傳達這樣的理念，我覺得就是一種“罪惡”。恰恰相反，我覺得，作為一個經驗豐富的老手，我們最應該向初學者推薦的，應該是一款經過精心調教的“工具”。還是以Python和數據分析的學習為例，怎樣開始學習最好？上手就開始來學怎樣擼代碼？如果你問我，那我一定會告訴你：> 先去裝個Anaconda再說為什么？
省時省心啊
從此，近千個數據科學相關的開源包，你再也不用擔心你應該去哪里找到他們，并且是不是和你現在用的版本會有沖突，等等等等這樣一些聽上去很瑣碎，但絕對會浪費你大量時間的事情了，而是能專注于學習。
因為一切都已經在那里了！
實際上，在真正的軟件生產過程中，可以說絕大多數的開發，都是嚴重依賴于工具的，你想想，為什么類似Docker這樣的工具會盛行？拋開在虛擬化等方面的具體技術不談，這東西對于開發和運維人員而言，一個巨大的好處，其實不就在于它的：幾乎零配置么？
我要搭一個LAMP的Web的開發環境，我不需要自己勞心費力的去一個個的裝Apache + MySQL + PHP，還不能保證能不能裝上，一個image即可。編程學習也一樣，尤其是針對初學者而言，不要因為看到“大神”們，都是手寫代碼，就覺得：把時間分配在掌握一個好的IDE工具上，是在浪費時間！
實際上，這反而是能夠讓你學的更快的利器！
這里有一個小小的推薦，就是Visual Studio Code，微軟的這款產品，經過這幾年的大力發展，其擴展的豐富程度，真心足堪大任了，如果不是很特別的語言需求，基本上都可以在其應用商店中，找到對應的開發擴展。最后才是語言學習本身，但只40%
在充分了解了所需要學習的語言本身，現在主要拿來干什么，并且也用上了“高大上”的工具以后，整個學習的旅程，就算可以正式開始了。
這里，有一個小小的建議，叫“只40%”。我覺得，這是所有高效學習的關鍵所在！
什么意思？
舉一個例子，比如在很多語言中，提供了各種各樣的處理字符串的方法（或函數），以Python為例，哪怕比如就是一個簡簡單單的，從“Hello World!”中，截取相應的子字符串，也有很多的技巧，比如：林林總總，好吧，作為初學者，面對這些東西怎么辦？我就看到有很多的“大部頭”的號稱面向初學者的書，會洋洋灑灑的為此大書特書一番，好像，不把所有的可能性窮盡，初學者不算學完一樣。
但在我看來，這恰恰是最“糟糕”的一種寫法和學法了。兩個字：
沒用！因為有習慣和遺忘曲線的存在。
所以，即便是你當時花了大把的時間，去學習了這種種的技巧，今后，隨著你自己編程風格的形成，你還是會逐步趨向于用一種固定的方式，去處理問題，當然，我不是說這個例子，畢竟它太簡單了，簡單到這么多風格，完全可以讓人接受 :)，但我也不是沒有看到過，就是有人愿意在他/她的代碼的某個地方，先聲明一個類似這樣的函數：
為什么他/她要這么做？這不等于是為開發增加了一種“方言”么？其實無他，就是因為這可能是他/她在另外的語言環境（比如JavaScript）下，已經用熟了的一種方式而已，這是人的天性使然。
這也就提醒初學者，當你在學習一門計算機語言的過程中，下面的兩個“經驗”，可能能幫助到你，更為高效的進行學習，那就是：
1. 克制自己，不要試圖去了解這門語言的全部，只學自己當前需要和能明白的
比如說，你就是準備用Ren'Py做一個可視小說的游戲出來，里面只是需要一點點的Python知識，那你也捧一本大部頭，然后費勁吧啦的去看那些你根本用不上的函數的用法，并試圖去“深入”的理解OOP和函數式，這兩種不同的范式，在Python下的實現（這可能是很多教程非常引以為傲的“高級”貨），何苦來哉？
等你這一切都完成，人家可能早就做出來了好幾個游戲了，并且竟然發現：語法要求從來可能就沒超過大部分Python教程頂多第三章的要求（一般的教程，到第三章，從最基本的變量定義，到函數應用等等，一般都會寫完了）。
當然，我這樣講，不是在鼓吹說，深入系統的學習不重要，但我能保證，那絕不高效！
2. 在一開始，就要培養形成在線查閱文檔的能力
我們已經處在了網絡高度發達的時代，這是一個沒有辦法改變的事實！這個時代，最鮮明的特點之一是什么？我覺得就是：
知識開始也一定會經常以索引的形式存在！
當然，你也可以說成是人類的整體記憶能力在退化，但我個人不這樣認為，實際上，索引式的好處，反而是人類可以記住更多東西了。
回到編程的學習，最高效的方式也應該是這樣，學習的目標，應該從“完全記住”，轉變為在腦子里大概留個印象，然后可以在遇到問題時，能快速的根據這個印象，通過在線的文檔查找，迅速定位到問題的清晰的解決方案。
40%，足矣～
最后借此風水寶地，插播一個小廣告，本人正在準備著進行編程教育自媒體方面的創業中，當前主要的想法，是針對K12年齡階段，并主要和初等數學和物理，以及主流的一些算法等結合在一起，提供難易程度不同的，各種或好玩、或實用的編程教程和培訓，同時，也會逐步的開講一些整個計算機和軟件發展歷程中的故事，以及我自己的一些小小的思考，歡迎大家多多關注哈。學完了python能做什么工作？
發現大家對python了解不是特別多，因此總結了python的5大用處，幫助你python學習之后，能正確選擇方向。
1、Web開發
提到web開發，大家腦海中閃現的一定是當前主流的開發語言Java,但你可能想不到的是python也可以做web開發，他由于開發迅速、部署飛快，變更起容易，代碼量小深受開發者的喜愛，并且還有強大的框架來進行web開發。最經典的Django、Flask、Tornado，使程序員快速開發復雜的代碼和應用，開發高質量的web程序。我們的金主知乎、豆瓣、Google、YouTube等企業均將python作為主要的開發語言，怎么樣強大吧?。?！
2、自動化運維
隨著公司的發展、業務需求的持續并快速地增長，往往一個運維工程師通常要管理成百上千臺服務器，運維工作變得重復、繁雜。那么將運維工作自動化，把運維工程師從服務器的管理中解放出來，讓運維工作變得簡單、快速、準確，這是使用python來做的持續高效的事，那么為什么選擇Python呢，一來，大部分的開源運維工具都是由純Python編寫的，如Celery、ansible、Paramiko、airflow等，二來，Python與其他語言相比，更加優雅、明確和簡單。
3、數據分析/可視化
作為數據分析的一大利器--Python,除了自身語言簡潔高效易上手的優點，還有許多強大的功能。
支持非常多的庫用于分析需求：Pandas：一個強大的分析結構化數據的工具集，基礎是 Numpy（提供高性能的矩陣運算）；可以從各種文件格式比如 CSV、JSON、SQL、Microsoft Excel 導入數據；可以對各種數據進行運算操作，比如歸并、再成形、選擇，還有數據清洗和數據加工特征。NumPy(Numerical Python) 是 Python 語言的一個擴展程序庫，支持大量的維度數組與矩陣運算，此外也針對數組運算提供大量的數學函數庫。NumPy 是一個運行速度非?？斓臄祵W庫，主要用于數組計算，包含：一個強大的N維數組對象 ndarray；廣播功能函數；整合 C/C++/Fortran 代碼的工具；線性代數、傅里葉變換、隨機數生成等功能。Matplotlib 是 Python 的繪圖庫。 它可與 NumPy 一起使用，提供了一種有效的方法 MatLab 開源替代方案。 它也可以和圖形工具包一起使用，如 PyQt 和 wxPython。
4、網絡爬蟲
瀏覽網頁時，發現好多對我們有用的數據，但怎樣從互聯網上抓取對于我們有價值的信息呢，這個時候我們需要一款利器—python，比如：豆瓣的推薦電影列表、社區留言、音樂軟件評論等
5、機器學習
機器學習是一類算法的總稱，這些算法企圖從大量歷史數據中挖掘出其中隱含的規律，并用于預測或者分類，更具體地說，機器學習可以看作是尋找一個函數，輸入是樣本數據，輸出是期望的結果，只是這個函數過于復雜，以至于不太方便形式化表達，機器學習的算法包括神經網絡、深度學習、支持向量機及隨機森林，基本道理和上述相似，應用場景很多：例如推薦系統、人臉識別及語音識別等。
對于機器學習庫和Python框架，scikit-learn和TensorFlow算是兩個比較熱門的。下面是scikit-learn中文學習網站，大家可以訪問學習
怎么自學數據分析？
這是一份數據分析師的入門指南，它包含七周的內容，Excel、數據可視化、數據分析思維、數據庫、統計學、業務、以及Python。
每一周的內容，都有兩到三篇文章細致講解，幫助新人們快速掌握。這七周的內容剛好涵蓋了一位數據分析師需要掌握的基礎體系，也是一位新人從零邁入數據大門的知識手冊。
第一周：Excel
每一位數據分析師都脫離不開Excel。
它是日常工作中最常用的工具，如果不考慮性能和數據量，它可以應付絕大部分分析工作。雖然現在機器學習滿地走，Excel依舊是無可爭議的第一工具。
Excel的學習分為兩個部分。
掌握各類功能強大的函數，函數是一種負責輸入和輸出的神秘盒子。把各類數據輸入，經過計算和轉換輸出我們想要的結果。
在SQL，Python以及R中，函數依舊是主角。掌握Excel的函數有助于后續的學習，因為你幾乎在編程中能找到名字一樣或者相近的函數。
在「數據分析：常見的Excel函數全部涵蓋在這里了」中，介紹了常用的Excel函數。
清洗處理類：trim、concatenate、replace、substitute、left/right/mid、len/lenb、find、search、text
關聯匹配類：lookup、vlookup、index、match、row、column、offset
邏輯運算類：if、and、or、is系列
計算統計類：sum/sumif/sumifs、sumproduct、count/countif/countifs、max、min、rank、rand/randbetween、averagea、quartile、stdev、substotal、int/round
時間序列類：year、month、weekday、weeknum、day、date、now、today、datedif
搜索能力是掌握Excel的不二竅門，工作中的任何問題都是可以找到答案。
第二部分是Excel中的工具。
在「數據分析：Excel技巧大揭秘」教程，介紹了Excel最具性價比的幾個技巧。包括數據透視表、格式轉換、數組、條件格式、自定義下拉菜單等。正是這些工具，才讓Excel在分析領域經久不衰。
在大數據量的處理上，微軟提供了Power系列，它和Excel嵌套，能應付百萬級別的數據處理，彌補了Excel的不足。
Excel需要反復練習，實戰教程「數據分析：手把手教你Excel實戰」，它通過網絡上抓取的數據分析師薪資數據作為練習，總結各類函數的使用。
除了上述要點，下面是附加的知識點，鋪平數據分析師以后的道路。
了解單元格格式，數據分析師會和各種數據類型打交道，包括各類timestamp，date，string，int，bigint，char，factor，float等。
了解數組，以及相關應用（excel的數組挺難用），Python和R也會涉及到 list，是核心概念之一。
了解函數，深入理解各種參數的作用。它會在學習Python中幫助到你。
了解中文編碼，UTF8、GBK、ASCII，這是數據分析師的坑點之一。
第二周：數據可視化
數據分析界有一句經典名言，字不如表，表不如圖。
數據可視化是分析的常用技巧之一，不少數據分析師的工作就是通過圖表觀察和監控數據。首先了解常用的圖表：
Excel的圖表可以100%繪制上面的圖形，但這只是基礎。
在「數據可視化：你想知道的經典圖表全在這」中介紹了各類數據分析的經典圖表，除了趨勢圖、直方圖，還包括?；鶊D、空間圖、熱力圖等額外的類型。
數據可視化不是圖表的美化，而是呈現數據的邏輯之美，是揭示數據的內在關聯。了解圖表的維度和適用場景，比好看更重要。比如桑吉圖就是我一直推崇的圖表，它并不知名，但是它能清晰的揭露數據內在狀態的變化和流向。案例是用戶活躍狀態的趨勢。
Excel的圖表操作很傻瓜化，其依舊能打造出一份功能強大的可視化報表?！笖祿梢暬航棠愦蛟焐毤有降膱蟊怼菇探o大家常用的Excel繪圖技巧，包括配色選取，無用元素的剔除、輔助線的設立、復合圖表等方法。
Excel圖表的創造力是由人決定的，對數據的理解，觀察和認知，以及對可視化的應用，這是一條很長的道路。
圖表是單一的，當面板上繪制了多張圖表，并且互相間有關聯，我們常稱之為Dashboard儀表盤。
上圖就是用分析師薪資數據為數據源繪制的Dashboard，比單元格直觀不少。我們常常把繪制這類Dashboard的工具叫做BI。
BI（商業智能）主要有兩種用途。一種是利用BI制作自動化報表，數據類工作每天都會接觸大量數據，并且需要整理匯總，這是一塊很大的工作量。這部分工作完全可以交給BI自動化完成，從數據規整、建模到下載。
另外一種是使用其可視化功能進行分析，它提供比Excel更豐富的交互功能，操作簡單，而且美觀，如果大家每天作圖需要兩小時，BI能縮短大半。
在「數據可視化：手把手打造BI」教程中，以微軟的PowerBI舉例，教大家如何讀取數據，規整和清洗數據，繪制圖表以及建立Dashboard。最后的成果就是上文列舉的分析師案例。
BI還有幾個核心概念，包括OLAP，數據的聯動，鉆取，切片等，都是多維分析的技巧，也是分析的核心方法之一。
后續的進階可視化，將和編程配合。因為編程能夠提供更高效率和靈活的應用。而BI也是技術方向的工具，了解技術知識對應用大有幫助。
第三周：數據分析思維數據分析能力的高低，不以工具和技巧決定，而以分析思維決定。
在一場戰爭中，士兵裝備再好的武裝，進行再嚴苛的訓練，若是沖鋒的方向錯了，那么迎接他們的唯有一敗涂地。
分析思維決定一場「數據戰爭」中的沖鋒方向。只有先養成正確的分析思維，才能使用好數據。
既然是思維，它就傾向于思考的方式，Excel函數學會了就是學會，分析則不同。大多數人的思維方式都依賴于生活和經驗做出直覺性的判斷，以「我覺得我認為」展開，好的數據分析首先要有結構化的思維。
麥肯錫是其中領域的佼佼者，創建了一系列分析框架和思維工具。最典型地莫過于金字塔思維。
這篇文章簡述了該思維的應用，「快速掌握麥肯錫的分析思維」。你能學會結構化思考，MECE原則，假設先行，關鍵驅動等方法論。
除此以外，還有SMART、5W2H、SWOT、4P4C、六頂思考帽等，這些都是不同領域的框架?？蚣艿慕浀湓谟?，短時間內指導新人如何去思考，它未必是最好的，但一定是性價比最優的。數據分析思維，是分析思維的引申應用。再優秀的思考方式，都需要佐證和證明，數據就是派這個用處的，「不是我覺得，而是數據證明」。
現代管理學之父彼得·德魯克說過一句很經典的話：如果你不能衡量它，那么你就不能有效增長它。如果把它應用在數據領域，就是：如果你不能用指標描述業務，那么你就無法有效增長它。每一位數據分析師都要有指標體系的概念，報表也好，BI也好，即使機器學習，也是圍繞指標體系建立的。
下圖就是一個典型的指標體系，描述了用戶從關注產品、下載、乃至最后離開的整個環節。每一個環節，都有數據及指標以查詢監控。
不同業務背景需要的指標體系不同，但有幾個建立指標的通用準則。這篇文章深入介紹了「如何建立數據分析的思維框架」。你將區分什么是好指標、什么是壞指標、比率和比例、指標的結構、指標設立的維度等概念。
數據分析不是一個結果，而是一個過程。幾乎所有的分析，最終目的都是增長業務。所以比分析思維更重要的是驅動思維落地，把它轉化為成果。
數據分析思維是常年累月養成的習慣，一周時間很難訓練出來，但這里有一個縮短時間的日常習慣。以生活中的問題出發做練習。
這家商場的人流量是多少？怎么預估？
上海地區的共享單車投放量是多少？怎么預估？
街邊口的水果店，每天的銷量和利潤是多少？怎么預估？
這些開放性問題起源于咨詢公司的訓練方法，通過不斷地練習，肯定能有效提高分析思維。另外就是刷各種CaseBook。
優秀的數據分析師會拷問別人的數據，而他本身的分析也經得起拷問。
第四周：數據庫
Excel很容易遇到瓶頸，隨著業務的發展，分析師接觸的數據會越來越多。對大部分人的電腦，超過十萬條數據，已經會影響性能。何況大數據時代就是不缺數據，這時候就需要學習數據庫了。
即使非數據崗位，也有越來越多的產品和運營被要求使用SQL。
很多數據分析師戲稱自己是跑SQL的，這間接說明SQL在數據分析中有多核心。從Excel到SQL絕對是處理效率的一大進步。
教程內容以MySQL為主，這是互聯網行業的通用標準。其實語法差異不大的。
新手首先應該了解表的概念，表和Excel中的sheet類似。「寫給新人的數據庫指南」是一篇入門基礎文章，包括表、ID索引、以及數據庫的安裝，數據導入等簡單知識。
SQL的應用場景，均是圍繞select展開。增刪改、約束、索引、數據庫范式均可以跳過。新手在「SQL，從入門到熟練」教程會學習到最常見的幾個語法，select、where、group by、if、count/sum、having、order by、子查詢以及各種常用函數。
數據還是分析師薪資數據，它可以和Excel實戰篇結合看，不少原理都是相通的。
想要快速掌握，無非是大量的練習。大家可以在leetcode上做SQL相關的練習題，難度從簡單到困難都有。「SQL，從熟練到掌握」教程中將會帶領大家去刷一遍。
join對新手是一個很繞的概念，教程會從圖例講解，逐步提高難度。從一開始的join關聯，到條件關聯、空值匹配關聯、子查詢關聯等。最后完成leetcode中的hard模式。
如果想要更進一步，可以學習row_number，substr，convert，contact等函數。不同數據平臺的函數會有差異，例如Presto和phpMyAdmin。再想提高，就去了解Explain優化，了解SQL的工作原理，了解數據類型，了解IO。知道為什么union比or的效率快，這已經和不少程序員并駕齊驅。
第五周：統計學
很多數據分析師并不注重統計學基礎。
比如產品的AB測試，如果相關人員不清楚置信度的含義和概念，那么好的效果能意味著好么？如果看待顯著性？
比如運營一次活動，若不了解描述統計相關的概念，那么如何判別活動在數據上的效果？可別用平均數。
不了解統計學的數據分析師，往往是一個粗糙的分析師。如果你想要往機器學習發展，那么統計學更是需要掌握的基礎。
統計知識會教大家以另一個角度看待數據。如果大家了解過《統計數據會撒謊》，那么就知道很多數據分析的決策并不牢靠。
在第一篇教程「解鎖數據分析的正確姿勢：描述統計」，會教給大家描述統計中的諸多變量，比如平均數、中位數、眾數、分位數、標準差、方差。這些統計標準會讓新手分析師從平均數這個不靠譜的泥潭中出來。
箱線圖就是描述統計的大成者，好的分析師一定是慣用箱線圖的?？?。
第二篇「解鎖數據分析的正確姿勢：描述統計(2)」將會結合可視化，對數據的分布進行一個直觀的概念講解。很多特定的模型都有自有的數據分布圖，掌握這些分布圖對分析的益處不可同日而語。
直方圖和箱線圖一樣，將會是長久伴隨分析師的利器。
統計學的一大主要分支是概率論，概率是度量一件事發生的可能性，它是介于0到1之間的數值。很多事情，都可以用概率論解釋，「概率論的入門指南」和「讀了本文，你就懂了概率分布」都是對其的講解。
包括貝葉斯公式、二項概率、泊松概率、正態分布等理論。理論不應用現實，那是無根之木，教程中會以運營活動最常見的抽獎概率為講解，告訴大家怎么玩。
其實數據分析中，概率應用最廣泛和最全面的知識點，就是假設檢驗，大名鼎鼎的AB測試就是基于它的。俗話說得好，再優秀的產品經理也跑不過一半AB測試。
何為假設檢驗？假設檢驗是對預設條件的估計，通過樣本數據對假設的真偽進行判斷。
產品改版了，用戶究竟喜不喜歡？調研的評分下降了，這是用戶的評價降低了，還是正常的數據波動呢？這些都是可以做假設檢驗的。它可以說是兩面兩篇文章的回顧和應用。
「數據分析必須懂的假設檢驗」依舊以互聯網場景講解各種統計技巧的應用。假設檢驗并不難，通過Excel的幾個函數就能完成。它的難點在于諸多知識點和業務的結合使用，實際公式不需要掌握的多透徹，了解背后的意義更重要。
統計學是一個很廣闊的領域，包括方差分析，時間序列等，都有各自不同的應用。大家若感興趣，可以去閱讀各類教材，沒錯，教材是學習統計學最優的方式。我這類文章堪堪算入門罷了。
第六周：業務
對于數據分析師來說，業務的了解比數據方法論更重要。舉個例子，一家O2O配送公司發現在重慶地區，外賣員的送貨效率低于其他城市，導致用戶的好評率降低?？偛康臄祿治鰩熃⒘烁鱾€指標去分析原因，都沒有找出來問題。后來在訪談中發覺，因為重慶是山城，路面高低落差比較夸張，很多外賣人員的小電瓶上不了坡…所以導致送貨效率慢。這個案例中，我們只知道送貨員的送貨水平距離，根本不知道垂直距離。這是數據的局限，也是只會看數據的分析師和接地氣分析師的最大差異。業務形態千千萬萬，數據分析師往往難窺一二。我的公眾號業務部分也涉及了不少，大家可以通過這幾篇文章了解。
一篇文章讀懂活躍數據；深入淺出，用戶生命周期的運營；獲取新增用戶，運營都應該知道的事；運營的商業邏輯：CAC和CLV；從零開始，構建數據化運營體系；讀懂用戶運營體系：用戶分層和分群，這些都是互聯網運營相關的內容，或多或少涉及了不少業務方面的概念，數據分析人員可以選擇性的挑選部分內容。了解業務的數據分析師在職場發展上會更加順利。
而在「最用心的運營數據指標解讀」中，我嘗試總結了幾個泛互聯網領域的指標和業務模型，它們都是通用的框架。
產品運營模型：以移動端APP為主體，圍繞AARRR準則搭建起數據框架。包括Acquisition用戶獲取、Activation用戶活躍、Retention用戶留存、Revenue營收、Refer傳播，以及細分指標。
市場營銷模型：以傳統的市場營銷方法論為基底，圍繞用戶的生命周期建立框架。包括用戶生命周期，生命周期價值、用戶忠誠指數、用戶流失指數、用戶RFM價值等。
流量模型：從早期的網站分析發展而來，以互聯網的流量為核心。包括瀏覽量曝光率、病毒傳播周期、用戶分享率、停留時間、退出率跳出率等。
電商和消費模型：以商品的交易、零售、購買搭建而起。包括GMV、客單價、復購率、回購率、退貨率、購物籃大小、進銷存，也包含SKU、SPU等商品概念。
用戶行為模型：通過用戶在產品功能上的使用，獲得精細的人群維度，以此作為分析模型。包括用戶偏好、用戶興趣、用戶響應率、用戶畫像、用戶分層，還包含點贊評論瀏覽收藏等功能的相關指標。
除了上述的幾個常見模型，數據分析還有其他分支。比如SEO/SEM，雖然可以歸類到流量模型，但它并不簡單。比如財務分析，商業的各種成本支出也需要專人負責。
在業務知識外，業務層面的溝通也很重要。業務線足夠長的時候，溝通往往成為老大難的問題。
業務學習沒有捷徑，哪怕掌握了諸多模型，不同行業間的業務壁壘會是分析師們的門檻。金融的各類專有領域知識，電子商務不同產品的特性，這些都會影響到分析報告的質量。
在早期，新人最好選擇一到兩個領域深入了解其業務，然后以此拓展邊界。
第七周：Python/R
第七周是最后的學習環節。
是否具備編程能力，是初級數據分析和高級數據分析的風水嶺。數據挖掘、BI、爬蟲、可視化報表都需要用到編程。掌握一門優秀的編程語言，可以讓數據分析師升職加薪，迎娶白富美。數據分析領域最熱門的兩大語言是R和Python。R的優點是統計學家編寫的，缺點也是統計學家編寫。涉及各類統計函數和工具的調用，R無疑有優勢。但是大數據量的處理力有不逮，學習曲線比較陡峭。
Python則是萬能的膠水語言，適用性強，可以將分析的過程腳本化。Pandas、Numpy、SKLearn等包也是非常豐富。
這里的教程以Python為主。
「開始Python的新手教程」將會教大家搭建數據分析環境，Anaconda是功能強大的數據科學工具。Python建議安裝Python3+版本，不要選擇Python2了。
Python的語法相當簡潔，大家print出第一個hello world頂多半小時。就像在Excel上進行運算一樣方便。
「開始Python的數據結構」介紹給大家Python的三類數據結構，列表list，元組tuple，以及字典dict。萬變不離其宗，掌握這三種數據結構以及相對應的函數，足夠應付80%的分析場景。函數式編程為Python一大特色，Python自身就提供不少豐富的函數。很多都和Excel的函數相通，掌握起來非常迅速。另外還有控制流，for、while、if，通常配合函數組合使用。
「了解和掌握Python的函數」教大家如何自定義函數，豐富的函數雖然能偷懶，但是不少場景下，還是需要自己動手擼一個。
能夠調第三方包解決，就使用第三方的函數。如果是一個頻繁使用的場景，而第三方依靠不了，就自己編一個函數。如果是臨時性的場景，寫得粗糙點也無所謂。畢竟分析師的代碼能力不要求工程師那么嚴格，所以Python的學習盡量以應用為主，不用像分析師那么嚴格。
包、模塊和類的概念屬于進階知識，不學也不要緊。
「Python的數據分析: numpy和pandas入門」介紹了數據分析師賴以生存的兩個包，numpy和pandas，其他Python知識可以不扎實，這兩個最好認真掌握。它是往后很多技能樹的前置要求。
array，series，dataframe是numpy和pandas的三個數據結構，掌握它們，便算是入門了。后續的兩篇教程都是實戰。
「用pandas進行數據分析實戰」以分析師的薪資作為實戰數據。Excel、BI、SQL，一路走來，大家想必對它無比熟悉，這也是最后一次使用它了。教程通過Pandas的各類功能，繪制出一副詞云圖。
如何用php獲取網頁源碼？
1、使用file_get_contents獲得網頁源代碼。這個方法最常用，只需要兩行代碼即可，非常簡單方便。
2、使用fopen獲得網頁源代碼。這個方法用的人也不少，不過代碼有點多。
3、使用curl獲得網頁源代碼。使用curl獲得網頁源代碼的做法，往往是需要更高要求的人使用，例如當你需要在抓取網頁內容的同時，得到網頁header信息，還有ENCODING編碼的使，USERAGENT的使用等等。所謂的網頁代碼，就是指在網頁制作過程中需要用到的一些特殊的"語言"，設計人員通過對這些"語言"進行組織編排制作出網頁，然后由瀏覽器對代碼進行"翻譯"后才是我們最終看到的效果。制作網頁時常用的代碼有HTML，JavaScript，ASP，PHP，CGI等，其中超文本標記語言(標準通用標記語言下的一個應用、外語簡稱:HTML)是最基礎的網頁代碼。
以上就是關于php爬蟲視頻教程以及scripting生成出來的頁面的方法嗎的相關回答，有更多疑問可以加微。