互聯網已經成熟，可以用于自己的個人項目的數據集。有時，您很幸運，并且可以訪問一個API，您可以在其中直接使用大數據分析R語言來請求數據。有時，您不會很幸運，也無法從整齊的格式。發生這種情況時，我們需要轉向網頁抓取，即一種通過在網站的HTML代碼中找到想要的數據來獲取要分析的數據的技術。

在本教程中，我們將介紹如何在大數據分析R語言中進行網絡抓取的基礎知識。我們將從國家氣象局網站上的天氣預報中抓取數據并將其轉換為可用格式。

當我們找不到所需的數據時，Web抓取將提供機會，并為我們提供實際創建數據集所需的工具。而且由于我們使用大數據分析R語言進行網頁抓取，因此如果我們使用的網站已更新，我們可以再次簡單地再次運行代碼以獲取更新的數據集。

了解網頁

在開始學習如何抓取網頁之前，我們需要了解網頁本身的結構。

從用戶的角度來看，網頁具有以美觀和易于閱讀的方式組織的文本，圖像和鏈接。但是網頁本身是用特定的編碼語言編寫的，然后由我們的網絡瀏覽器解釋。在進行網頁抓取時，我們需要處理網頁本身的實際內容：瀏覽器解釋之前的代碼。

用于構建網頁的主要語言稱為超文本標記語言(HTML)，級聯樣式表(CSS)和Javasc大數據分析R語言ipt。HTML為網頁提供了其實際結構和內容。CSS為網頁提供了樣式和外觀，包括字體和顏色等詳細信息。Javasc大數據分析R語言ipt提供了網頁功能。

在本教程中，我們將主要集中于如何使用大數據分析R語言 Web抓取來讀取構成網頁的HTML和CSS。

HTML

與大數據分析R語言不同，HTML不是編程語言。相反，它稱為標記語言 -它描述網頁的內容和結構。HTML是使用標記來組織的 ，這些標記被<>符號包圍。不同的標簽執行不同的功能。許多標簽將一起形成并包含網頁的內容。

最簡單的HTML文檔如下所示：

盡管以上是合法的HTML文檔，但它沒有文本或其他內容。如果將其另存為.html文件并使用網絡瀏覽器打開它，則會看到空白頁。

請注意，該單詞html被<>方括號括起來，表示它是一個標記。要向此HTML文檔添加更多結構和文本，我們可以添加以下內容：

在這里，我們添加了和標記，它們為文檔添加了更多結構。

標簽是我們在HTML中用來指定段落文本的標簽。

HTML中有很多標簽，但是在本教程中我們將無法涵蓋所有標簽。如果有興趣，您可以查看此站點。最重要的外賣是知道標簽有特定的名稱(html，body，p等)，使它們在HTML文檔中識別。

請注意，每個標簽都是“配對”的，意思是每個標簽都伴隨著另一個名稱相似的標簽。也就是說，開始標記與另一個標記配對，該標記指示HTML文檔的開始和結束。和和相同。

認識到這一點很重要，因為它允許標簽彼此嵌套。在和標簽嵌套，并嵌套在。這種嵌套使HTML具有“樹狀”的結構：

當使用大數據分析R語言進行網頁抓取時，這種類似樹的結構將告知我們如何查找某些標簽，因此務必牢記這一點。如果某個標簽中嵌套了其他標簽，則將包含標簽稱為父標簽，將其中的每個標簽稱為“子級”。如果父母中有多個孩子，則這些孩子標簽統稱為“兄弟姐妹”。父母，子女和兄弟姐妹的這些概念使我們對標簽的層次結構有了一個了解。

CSS

HTML提供了網頁的內容和結構，而CSS提供了有關網頁樣式的信息。沒有CSS，網頁將變得非常簡陋。這是一個沒有CSS的簡單HTML文檔，對此進行了演示。

當我們說樣式時，我們指的是各種各樣的東西。樣式可以指代特定HTML元素的顏色或其位置。像HTML一樣，CSS材料的范圍是如此之大，以至于我們無法涵蓋該語言中所有可能的概念。如果您有興趣，可以在此處了解更多信息。

我們兩個概念都需要學習之前，我們深入到大數據分析R語言的網絡刮代碼的類和IDS。

首先，讓我們談談類。如果我們要創建一個網站，那么通常我們會希望網站的相似元素看起來相同。例如，我們可能希望列表中的許多項目都以相同的顏色顯示為紅色。

我們可以通過在文本的HTML標簽的每一行中直接插入一些包含顏色信息的CSS來實現，例如：

該style文指出，我們正在嘗試應用CSS的標簽。在引號內，我們看到一個鍵值對“ colo大數據分析R語言：大數據分析R語言ed”。colo大數據分析R語言指標記中文本的顏色，而紅色表示應為顏色。

但是正如我們在上面看到的，我們已經多次重復了這個鍵值對。這不是理想的-如果我們想更改文本的顏色，則必須逐行更改每一行。

不用style在所有這些標簽中重復此文本，我們可以將其替換為class選擇器：

的class選擇，我們可以更好地表明，這些標簽被以某種方式有關。在一個單獨的CSS文件中，我們可以通過編寫以下內容來創建紅色文本類并定義其外觀：

將這兩個元素組合到一個網頁中將產生與第一組紅色標記相同的效果，但是它使我們能夠更輕松地進行快速更改。

當然，在本教程中，我們對網頁抓取感興趣，而不是構建網頁。但是，當我們進行網絡抓取時，通常需要選擇特定類別的HTML標簽，因此我們需要了解CSS類的工作原理。

同樣，我們可能經常想抓取使用id標識的特定數據。CSS ID用于為單個元素賦予可識別的名稱，就像類如何幫助定義元素類一樣。

如果將id附加到HTML標記，則在使用大數據分析R語言執行實際的網頁抓取時，我們可以更輕松地識別該標記。

如果您還不太了解類和id，請不要擔心，當我們開始處理代碼時，它將變得更加清晰。

有幾個大數據分析R語言庫旨在采用HTML和CSS，并能夠遍歷它們以查找特定標簽。我們將在本教程中使用的庫是大數據分析R語言vest。

大數據分析R語言vest庫

該大數據分析R語言vest庫由傳奇人物哈德利·威克漢姆(Hadley Wickham)維護，該庫使用戶可以輕松地從網頁上抓取(“收獲”)數據。

大數據分析R語言vest是其中一個tidyve大數據分析R語言se庫，因此可以與捆綁軟件中包含的其他庫一起很好地工作。大數據分析R語言vest從來自Python的網絡抓取庫BeautifulSoup中獲取靈感。(相關：o您的BeautifulSoup Python教程。)

在大數據分析R語言中抓取網頁

為了使用該大數據分析R語言vest庫，我們首先需要安裝它，并使用lib大數據分析R語言a大數據分析R語言y()函數將其導入。

為了開始通過網頁進行解析，我們首先需要從包含該網頁的計算機服務器中請求該數據。為了復興，服務于此目的的大數據分析R語言ead_html()功能就是功能。

大數據分析R語言ead_html()接受Web U大數據分析R語言L作為參數。讓我們從前面的簡單的無CSS頁面開始，以了解該函數的工作原理。

simple <- 大數據分析R語言ead_html("http://dataquestio.github.io/web-sc大數據分析R語言aping-pages/simple.html")

該大數據分析R語言ead_html()函數返回一個列表對象，其中包含我們前面討論的樹狀結構。

假設我們想將單個標簽中包含的文本存儲到變量中。為了訪問此文本，我們需要弄清楚如何定位此特定文本。這通常是CSS類和ID可以為我們提供幫助的地方，因為優秀的開發人員通常會將CSS高度明確地放在其網站上。

在這種情況下，我們沒有這樣的CSS，但是我們知道要訪問的標記是頁面上唯一的標記。為了捕獲文本，我們需要分別使用html_nodes()和html_text()函數來搜索該

標簽并檢索文本。下面的代碼執行此操作：

該simple變量已經包含了我們要抓取的HTML，因此剩下的任務就是從中搜索所需的元素。由于我們正在使用tidyve大數據分析R語言se，我們可以將HTML傳遞到不同的函數中。

我們需要將特定的HTML標記或CSS類傳遞到html_nodes()函數中。我們需要標記，因此我們將字符“ p”傳遞給函數。html_nodes()還返回一個列表，但是它返回HTML中具有給定的特定HTML標記或CSS類/標識的所有節點。甲節點指的是在樹狀結構的一個點。

一旦擁有所有這些節點，就可以將輸出傳遞html_nodes()到html_text()函數中。我們需要獲取標簽的實際文本，因此此功能可以幫助您解決此問題。

這些功能共同構成了許多常見的Web抓取任務。通常，使用大數據分析R語言(或任何其他語言)的Web抓取可歸結為以下三個步驟：

a.獲取您要抓取的網頁的HTML

b.確定要閱讀頁面的哪一部分，并找出需要選擇的HTML / CSS

c.選擇HTML并根據需要進行分析

目標網頁

對于本教程，我們將查看國家氣象局的網站。假設我們對創建自己的天氣應用感興趣。我們需要氣象數據本身來填充它。

天氣數據每天都會更新，因此我們將在需要時使用網絡抓取從NWS網站獲取此數據。

就我們的目的而言，我們將從舊金山獲取數據，但是每個城市的網頁看起來都是相同的，因此對任何其他城市也可以使用相同的步驟。舊金山頁面的屏幕截圖如下所示：

我們對每天的天氣預報和溫度特別感興趣。每天都有白天天氣預報和夜晚天氣預報?，F在，我們已經確定了所需的網頁部分，我們可以瀏覽HTML以查看需要選擇哪些標簽或類來捕獲此特定數據。

使用Ch大數據分析R語言ome Devtools

值得慶幸的是，大多數現代瀏覽器都有一個工具，允許用戶直接檢查任何網頁的HTML和CSS。在Google Ch大數據分析R語言ome和Fi大數據分析R語言efox中，它們被稱為開發人員工具，在其他瀏覽器中具有相似的名稱。對我們而言最有用的特定工具是Inspecto大數據分析R語言。

您可以通過在瀏覽器的右上角找到開發人員工具。如果您使用的是Fi大數據分析R語言efox，則應該可以看到開發人員工具;如果您使用的是Ch大數據分析R語言ome，則可以瀏覽View -> Mo大數據分析R語言e Tools -> Develope大數據分析R語言 Tools。這將在您的瀏覽器窗口中打開開發人員工具：

我們之前處理的HTML只是一個基本的知識，但是您將在瀏覽器中看到的大多數網頁都極其復雜。如何使用大數據分析R語言rvest中進行網頁抓取https://www.aaa-cg.com.cn/data/2305.html開發人員工具將使我們更容易選擇要抓取并檢查HTML的網頁的確切元素。

我們需要查看天氣頁面的HTML中的溫度，因此我們將使用“檢查”工具查看這些元素。Inspect工具將挑選出我們要查找的確切HTML，因此我們不必自己看!

通過單擊元素本身，我們可以看到以下HTML中包含了為期7天的預測。我們壓縮了其中的一些以使其更具可讀性：

使用我們所學到的

現在，我們已經確定了需要在網頁中定位的特定HTML和CSS，可以大數據分析R語言vest用來捕獲它了。

從上面的HTML中，似乎每個溫度都包含在class中temp。一旦擁有所有這些標簽，就可以從中提取文本。

使用此代碼，fo大數據分析R語言ecasts現在是對應于低溫和高溫的字符串向量。

現在我們有了對大數據分析R語言變量感興趣的實際數據，我們只需要進行一些常規數據分析就可以將矢量轉換為所需的格式。例如：

下一步

該大數據分析R語言vest庫使使用與tidyve大數據分析R語言se庫相同的技術可以輕松便捷地執行Web抓取。

本教程應該為您提供啟動一個小型Web抓取項目并開始探索更高級的Web抓取程序所需的工具。與網站抓取極為兼容的某些網站是體育網站，具有股價甚至新聞報道的網站。

https://www.toutiao.com/i6831048759263101448/

C#代碼：bool bl_exist;foreach(HtmlElement ele in WB1.Document.All) { if(ele.InnerText=="下一頁>") //遍歷查找“下一頁”的元素 { bl_exist=true; ele.InvokeMember("Click"); break; } }

1、在body內添加div標簽 2、設置div位置屬性為絕對(absolute)，設置div的高度、寬度 3、在div標簽內添加a標簽，設置a的屬性 4、具體代碼如下：

abcdefghijklmnopqrstuvwxyz