Python程序員如何處理EXCEL文件？

在有關大數據分析Python API的本教程中，我們將學習如何從遠程網站檢索數據以進行數據科學項目。像baidu，Twitter和Facebook之類的網站都通過其應用程序編程接口(API)向程序員提供某些數據。要使用API，你需要向遠程Web服務器發出請求，然后檢索所需的數據。

但是，為什么要使用API而不是可以下載的靜態數據集呢?API在以下情況下很有用：

a.數據變化很快。股票價格數據就是一個例子。重新生成數據集并每分鐘下載一次并沒有實際意義-這會占用大量帶寬，而且速度很慢。

b.您需要一小部分更大的數據。Reddit評論就是一個例子。如果您只想在Reddit上發表自己的評論該怎么辦?下載整個Reddit數據庫，然后僅過濾您自己的注釋并沒有多大意義。

c.涉及重復計算。Spotify的API可以告訴您音樂的流派。從理論上講，您可以創建自己的分類器，并使用它對音樂進行分類，但您將永遠不會擁有Spotify所擁有的數據。

在上述情況下，API是正確的解決方案。對于本數據科學教程，我們將查詢一個簡單的API，以檢索有關國際空間站(ISS)的數據。使用API可以節省我們自己進行所有計算的時間和精力。

大數據分析Python中的API請求

API托管在Web服務器上。當您www.google.com在瀏覽器的地址欄中鍵入內容時，您的計算機實際上是在向www.google.com服務器詢問網頁，然后該網頁返回到您的瀏覽器。

API的工作方式幾乎相同，除了您的程序要求數據而不是您的Web瀏覽器詢問網頁之外。這些數據通常以JSON格式返回(有關更多信息，請參閱有關使用JSON數據的教程)。

為了獲取數據，我們向Web服務器發出請求。然后，服務器將回復我們的數據。在大數據分析Python中，我們將使用請求庫來執行此操作。在此大數據分析Python API教程中，我們將為所有示例使用大數據分析Python 3.4。

請求類型

有許多不同類型的請求。最常用的一個GET請求用于檢索數據。

我們可以使用一個簡單的GET請求從OpenNotify API 檢索信息。

OpenNotify具有多個API端點。端點是用于從API檢索不同數據的服務器路由。例如，/commentsReddit API上的端點可能會檢索有關注釋的信息，而/users端點可能會檢索有關用戶的數據。要訪問它們，您可以將端點添加到API 的基本URL中。

我們將在OpenNotify上看到的第一個端點是iss-now.json端點。該端點獲取國際空間站的當前緯度和經度。如您所見，檢索此數據不適用于數據集，因為它涉及服務器上的一些計算，并且變化很快。

您可以在此處查看OpenNotify上所有端點的列表。

OpenNotify API 的基本網址是http://api.open-notify.org，因此我們將其添加到所有端點的開頭。

狀態碼

我們剛剛發出的請求的狀態碼為200。向Web服務器發出的每個請求都返回狀態代碼。狀態代碼指示有關請求發生的情況的信息。以下是與GET請求相關的一些代碼：

a)200 -一切正常，結果已返回(如果有)

b)301—服務器正在將您重定向到其他端點。當公司切換域名或更改端點名稱時，可能會發生這種情況。

c)401-服務器認為您未通過身份驗證。當您沒有發送正確的憑據來訪問API時就會發生這種情況(我們將在以后的文章中討論身份驗證)。

d)400-服務器認為您提出了錯誤的請求。當您沒有正確發送數據時，可能會發生這種情況。

e)403 —您嘗試訪問的資源被禁止—您沒有正確的權限查看它。

f)404 -在服務器上找不到您嘗試訪問的資源。

現在http://api.open-notify.org/iss-pass，根據API文檔，向不存在的端點發出GET請求。

擊中正確的終點

iss-pass不是有效的端點，因此我們得到了一個404狀態碼作為相應。.json正如API文檔所述，我們忘記在最后添加。

現在，我們將向發出GET請求http://api.open-notify.org/iss-pass.json。

查詢參數

您將在上一個示例中看到，我們得到了一個400狀態碼，表示請求錯誤。如果您查看OpenNotify API的文檔，我們會發現ISS Pass端點需要兩個參數。

當ISS下次通過地球上的給定位置時，將返回ISS Pass端點。為了對此進行計算，我們需要將位置的坐標傳遞給API。為此，我們傳遞了兩個參數-緯度和經度。

為此，我們可以在params請求中添加可選的關鍵字參數。在這種情況下，我們需要傳遞兩個參數：

1)lat —我們想要的位置的緯度。

2)lon —我們想要的位置的經度。

我們可以使用這些參數制作字典，然后將它們傳遞給requests.get函數。

我們還可以通過將查詢參數添加到url中來直接做同樣的事情，如下所示：http://api.open-notify.org/iss-pass.json?lat=40.71&lon=-74。

將參數設置為字典幾乎總是可取的，因為requests它可以處理一些事情，例如正確設置查詢參數的格式。

我們將使用紐約市的坐標進行請求，然后查看得到的答復。

b'{n "message": "success", n "request": {n "altitude": 100, n "datetime": 1441417753, n "latitude": 40.71, n "longitude": -74.0, n "passes": 5n }, n "response": [n {n "duration": 330, n "risetime": 1441445639n }, n {n "duration": 629, n "risetime": 1441451226n }, n {n "duration": 606, n "risetime": 1441457027n }, n {n "duration": 542, n "risetime": 1441462894n }, n {n "duration": 565, n "risetime": 1441468731n }n ]n}'

b'{n "message": "success", n "request": {n "altitude": 100, n "datetime": 1441417753, n "latitude": 40.71, n "longitude": -74.0, n "passes": 5n }, n "response": [n {n "duration": 329, n "risetime": 1441445639n }, n {n "duration": 629, n "risetime": 1441451226n }, n {n "duration": 606, n "risetime": 1441457027n }, n {n "duration": 542, n "risetime": 1441462894n }, n {n "duration": 565, n "risetime": 1441468731n }n ]n}'

使用JSON數據

您可能已經注意到，響應的內容之前是a string(盡管它顯示為bytes對象，但是我們可以使用輕松地將內容轉換為字符串response.content.decode("utf-8"))。

字符串是我們將信息來回傳遞給API的方式，但是很難從字符串中獲取我們想要的信息。我們如何知道如何解碼返回的字符串并在大數據分析Python中使用它?我們如何altitude從字符串響應中找出ISS的含義?

幸運的是，有一種名為JavaScript Object Notation(JSON)的格式。JSON是一種將列表和字典之類的數據結構編碼為字符串的方法，以確保它們易于被機器讀取。JSON是將數據來回傳遞給API的主要格式，大多數API服務器將以JSON格式發送其響應。

json套件隨附大數據分析Python強大的JSON支持。該json軟件包是標準庫的一部分，因此我們無需安裝任何程序即可使用它。我們既可以將列表和字典轉換為JSON，也可以將字符串轉換為列表和字典。就我們的ISS Pass數據而言，它是一個字典，編碼為JSON格式的字符串。

json庫有兩種主要方法：

1)dumps —接收一個大數據分析Python對象，并將其轉換為字符串。

2)loads —接收JSON字符串，并將其轉換為大數據分析Python對象。

從API請求獲取JSON

通過使用.json()響應上的方法，您可以將響應的內容作為大數據分析Python對象獲取。

{'response': [{'risetime': 1441456672, 'duration': 369}, {'risetime': 1441462284, 'duration': 626}, {'risetime': 1441468104, 'duration': 581}, {'risetime': 1441474000, 'duration': 482}, {'risetime': 1441479853, 'duration': 509}], 'message': 'success', 'request': {'latitude': 37.78, 'passes': 5, 'longitude': -122.41, 'altitude': 100, 'datetime': 1441417753}}

內容類型

服務器不僅會在生成響應時發送狀態碼和數據。它還發送包含有關如何生成數據以及如何對其進行解碼的信息的元數據。這存儲在響應頭中。在大數據分析Python中，我們可以使用headers響應對象的屬性來訪問它。

標頭將顯示為字典。在標題中，content-type是目前最重要的鍵。它告訴我們響應的格式以及如何對其進行解碼。大數據分析Python API入門教程https://www.aaa-cg.com.cn/data/2308.html對于OpenNotify API，格式為JSON，這就是為什么我們可以json更早地使用包對其進行解碼的原因。

尋找太空中的人數

OpenNotify還有一個API端點astros.json。它告訴你當前有多少人在太空中。相應的格式可以在這里找到。

9

{'number': 9, 'people': [{'name': 'Gennady Padalka', 'craft': 'ISS'}, {'name': 'Mikhail Kornienko', 'craft': 'ISS'}, {'name': 'Scott Kelly', 'craft': 'ISS'}, {'name': 'Oleg Kononenko', 'craft': 'ISS'}, {'name': 'Kimiya Yui', 'craft': 'ISS'}, {'name': 'Kjell Lindgren', 'craft': 'ISS'}, {'name': 'Sergey Volkov', 'craft': 'ISS'}, {'name': 'Andreas Mogensen', 'craft': 'ISS'}, {'name': 'Aidyn Aimbetov', 'craft': 'ISS'}], 'message': 'success'}

大數據分析Python API數據科學教程：后續步驟

現在，您已經完成了大數據分析Python API教程，現在應該可以訪問簡單的API并發出get請求了。requests在我們的dataquest API和抓取課程中，還有其他幾種類型，您可以了解更多信息以及與API身份驗證一起使用。

建議的其他后續步驟是閱讀請求文檔，并使用Reddit API。有一個名為PRAW 的程序包，它使在大數據分析Python中使用Reddit API更加容易，但是建議requests首先使用它來了解一切的工作原理。

https://www.toutiao.com/i6832146415016215043/