什么情況會(huì)用到SqlServer的integration？

Microsoft Integration Services 是用于生成企業(yè)級(jí)數(shù)據(jù)集成和數(shù)據(jù)轉(zhuǎn)換解決方案的平臺(tái)。使用 Integration Services 可解決復(fù)雜的業(yè)務(wù)問(wèn)題，具體表現(xiàn)為：復(fù)制或下載文件，發(fā)送電子郵件以響應(yīng)事件，更新數(shù)據(jù)倉(cāng)庫(kù)，清除和挖掘數(shù)據(jù)以及管理 SQL Server 對(duì)象和數(shù)據(jù)。這些包可以獨(dú)立使用，也可以與其他包一起使用以滿足復(fù)雜的業(yè)務(wù)需求。Integration Services 可以提取和轉(zhuǎn)換來(lái)自多種源（如 XML 數(shù)據(jù)文件、平面文件和關(guān)系數(shù)據(jù)源）的數(shù)據(jù)，然后將這些數(shù)據(jù)加載到一個(gè)或多個(gè)目標(biāo)。

Integration Services 包含一組豐富的內(nèi)置任務(wù)和轉(zhuǎn)換、用于構(gòu)造包的工具以及用于運(yùn)行和管理包的 Integration Services 服務(wù)。可以使用 Integration Services 圖形工具來(lái)創(chuàng)建解決方案，而無(wú)需編寫(xiě)一行代碼；也可以對(duì)各種 Integration Services 對(duì)象模型進(jìn)行編程，通過(guò)編程方式創(chuàng)建包并編寫(xiě)自定義任務(wù)以及其他包對(duì)象的代碼。

Integration Services 提供一系列支持業(yè)務(wù)應(yīng)用程序開(kāi)發(fā)的內(nèi)置任務(wù)、容器、轉(zhuǎn)換和數(shù)據(jù)適配器。您無(wú)需編寫(xiě)一行代碼，就可以創(chuàng)建 SSIS 解決方案來(lái)使用 ETL 和商業(yè)智能解決復(fù)雜的業(yè)務(wù)問(wèn)題，管理 SQL Server 數(shù)據(jù)庫(kù)以及在 SQL Server 實(shí)例之間復(fù)制 SQL Server 對(duì)象。

下列情況說(shuō)明了 SSIS 包的典型用途。

合并來(lái)自異類(lèi)數(shù)據(jù)存儲(chǔ)區(qū)的數(shù)據(jù)

數(shù)據(jù)通常存儲(chǔ)在很多個(gè)不同的數(shù)據(jù)存儲(chǔ)系統(tǒng)中，從所有源中提取數(shù)據(jù)并將其合并到單個(gè)一致的數(shù)據(jù)集中確實(shí)有一定的難度。這種情況的出現(xiàn)有多個(gè)原因。例如：

許多單位要對(duì)存儲(chǔ)在早期數(shù)據(jù)存儲(chǔ)系統(tǒng)中的信息進(jìn)行歸檔。這些數(shù)據(jù)在日常操作中可能不重要，但對(duì)于需要收集過(guò)去很長(zhǎng)一段時(shí)間內(nèi)的數(shù)據(jù)的趨勢(shì)分析來(lái)說(shuō)很重要。

單位的各個(gè)部門(mén)可能會(huì)使用不同的數(shù)據(jù)存儲(chǔ)技術(shù)來(lái)存儲(chǔ)操作數(shù)據(jù)。包可能需要先從電子表格以及關(guān)系數(shù)據(jù)庫(kù)中提取數(shù)據(jù)，然后才能合并數(shù)據(jù)。

數(shù)據(jù)可能存儲(chǔ)在對(duì)相同數(shù)據(jù)使用不同架構(gòu)的數(shù)據(jù)庫(kù)中。包可能需要先更改列的數(shù)據(jù)類(lèi)型或?qū)⒍鄠€(gè)列的數(shù)據(jù)組合到一列中，然后才能合并數(shù)據(jù)。

Integration Services 可以連接到各種各樣的數(shù)據(jù)源，包括單個(gè)包中的多個(gè)源。包可以使用 .NET 和 OLE DB 訪問(wèn)接口連接到關(guān)系數(shù)據(jù)庫(kù)，還可以使用 ODBC 驅(qū)動(dòng)程序連接到多個(gè)早期數(shù)據(jù)庫(kù)。包還可以連接到平面文件、Excel 文件和 Analysis Services 項(xiàng)目。

Integration Services 包含一些源組件，這些組件負(fù)責(zé)從包所連接的數(shù)據(jù)源中的平面文件、Excel 電子表格、XML 文檔和關(guān)系數(shù)據(jù)庫(kù)中的表及視圖提取數(shù)據(jù)。

然后，通常要用 Integration Services 包含的轉(zhuǎn)換功能對(duì)數(shù)據(jù)進(jìn)行轉(zhuǎn)換。數(shù)據(jù)轉(zhuǎn)換為兼容格式后，就可以將其物理合并到一個(gè)數(shù)據(jù)集中。

數(shù)據(jù)在合并成功且應(yīng)用轉(zhuǎn)換后，通常會(huì)被加載到一個(gè)或多個(gè)目標(biāo)。Integration Services 包含將數(shù)據(jù)加載到平面文件、原始文件和關(guān)系數(shù)據(jù)庫(kù)時(shí)所用的目標(biāo)。數(shù)據(jù)也可以加載到內(nèi)存中的記錄集中，供其他包元素訪問(wèn)。

填充數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)集市

數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)集市中的數(shù)據(jù)通常會(huì)頻繁更新，因此數(shù)據(jù)加載量通常會(huì)很大。

Integration Services 包含一個(gè)可直接將數(shù)據(jù)從平面文件大容量加載到 SQL Server 表和視圖中的任務(wù)，還包含一個(gè)目標(biāo)組件，該組件可以在數(shù)據(jù)轉(zhuǎn)換過(guò)程的最后一步將數(shù)據(jù)大容量加載到 SQL Server 數(shù)據(jù)庫(kù)中。

SSIS 包可配置為可重新啟動(dòng)。這意味著可以從某個(gè)預(yù)先確定的檢查點(diǎn)（包中的某個(gè)任務(wù)或容器）重新運(yùn)行包。重新啟動(dòng)包這一功能可節(jié)省很多時(shí)間，尤其是包需要處理來(lái)自一大批源的數(shù)據(jù)時(shí)。

可以用 SSIS 包加載數(shù)據(jù)庫(kù)中的維度表和事實(shí)數(shù)據(jù)表。如果維度表的源數(shù)據(jù)存儲(chǔ)在多個(gè)數(shù)據(jù)源中，包可以將該數(shù)據(jù)合并到一個(gè)數(shù)據(jù)集中，并在單個(gè)進(jìn)程中加載維度表，而不是為每個(gè)數(shù)據(jù)源使用單獨(dú)的進(jìn)程。

更新數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)集市中的數(shù)據(jù)可能很復(fù)雜，因?yàn)檫@兩種類(lèi)型的數(shù)據(jù)存儲(chǔ)區(qū)通常都包含可能難以通過(guò)數(shù)據(jù)轉(zhuǎn)換過(guò)程管理的漸變維度。由于能夠動(dòng)態(tài)創(chuàng)建用于插入和更新記錄、更新相關(guān)記錄以及向表添加新列的 SQL 語(yǔ)句，因此，漸變維度向?qū)Э勺詣?dòng)支持漸變維度。

此外，Integration Services 包中的任務(wù)和轉(zhuǎn)換可以處理 Analysis Services 多維數(shù)據(jù)集和維度。包更新了建立多維數(shù)據(jù)集所基于的數(shù)據(jù)庫(kù)中的表后，您可以使用 Integration Services 任務(wù)和轉(zhuǎn)換來(lái)自動(dòng)處理多維數(shù)據(jù)集和維度。自動(dòng)處理多維數(shù)據(jù)集和維度有助于使以下兩種環(huán)境中的用戶始終獲得最新的數(shù)據(jù)：訪問(wèn)多維數(shù)據(jù)集和維度中信息的用戶和訪問(wèn)關(guān)系數(shù)據(jù)庫(kù)中數(shù)據(jù)的用戶。

Integration Services 還可以在數(shù)據(jù)加載到其目標(biāo)之前計(jì)算函數(shù)。如果數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)集市存儲(chǔ)了聚合信息，那么 SSIS 包可以計(jì)算 SUM、AVERAGE 和 COUNT 之類(lèi)的函數(shù)。SSIS 轉(zhuǎn)換還可以透視關(guān)系數(shù)據(jù)，并將其轉(zhuǎn)換為不太規(guī)范的格式，以便更好地與數(shù)據(jù)倉(cāng)庫(kù)中的表結(jié)構(gòu)相兼容。

清除數(shù)據(jù)和將數(shù)據(jù)標(biāo)準(zhǔn)化

無(wú)論數(shù)據(jù)是加載到聯(lián)機(jī)事務(wù)處理 (OLTP)、聯(lián)機(jī)分析處理 (OLAP) 數(shù)據(jù)庫(kù)、Excel 電子表格還是加載到文件，都需要在加載前將數(shù)據(jù)進(jìn)行清理和標(biāo)準(zhǔn)化。數(shù)據(jù)可能由于下列原因而需要更新：

數(shù)據(jù)由一個(gè)單位的多個(gè)部門(mén)提供，每個(gè)部門(mén)使用不同的約定和標(biāo)準(zhǔn)。可能需要對(duì)數(shù)據(jù)進(jìn)行不同的格式處理，然后才能使用這些數(shù)據(jù)。例如，可能需要將名和姓組合到一列中。

數(shù)據(jù)是租用或購(gòu)買(mǎi)的。可能需要將數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化和清理以滿足業(yè)務(wù)標(biāo)準(zhǔn)，然后才能使用這些數(shù)據(jù)。例如，單位需要驗(yàn)證所有記錄使用了相同的狀態(tài)縮寫(xiě)集或相同的產(chǎn)品名稱集。

數(shù)據(jù)是區(qū)域設(shè)置特定的。例如，數(shù)據(jù)可能使用不同的日期/時(shí)間和數(shù)值格式。如果要合并來(lái)自不同區(qū)域設(shè)置的數(shù)據(jù)，那么在加載數(shù)據(jù)前必須先將其轉(zhuǎn)換到同一區(qū)域設(shè)置以避免數(shù)據(jù)損壞。

Integration Services 包含一些內(nèi)置轉(zhuǎn)換，可將其添加到包中以清理數(shù)據(jù)和將數(shù)據(jù)標(biāo)準(zhǔn)化、更改數(shù)據(jù)的大小寫(xiě)、將數(shù)據(jù)轉(zhuǎn)換為不同類(lèi)型或格式或者根據(jù)表達(dá)式創(chuàng)建新列值。例如，包可將姓列和名列連接成單個(gè)全名列，然后將字符更改為大寫(xiě)。

Integration Services 包還可以使用精確查找或模糊查找來(lái)找到引用表中的值，通過(guò)將列中的值替換為引用表中的值來(lái)清理數(shù)據(jù)。通常，包首先使用精確查找，如果該查找方式失敗，再使用模糊查找。例如，包首先嘗試通過(guò)使用產(chǎn)品的主鍵值來(lái)查找引用表中的產(chǎn)品名。如果此搜索無(wú)法找到產(chǎn)品名，包再嘗試使用產(chǎn)品名模糊匹配方式進(jìn)行搜索。

另一種轉(zhuǎn)換通過(guò)將數(shù)據(jù)集中相似的值分組到一起來(lái)清理數(shù)據(jù)。有些記錄可能是重復(fù)的，所以不應(yīng)未經(jīng)進(jìn)一步計(jì)算就將其插入到數(shù)據(jù)庫(kù)中。這種轉(zhuǎn)換對(duì)識(shí)別此類(lèi)記錄很有用。例如，通過(guò)比較客戶記錄中的地址可以識(shí)別許多重復(fù)的客戶。

將商業(yè)智能置入數(shù)據(jù)轉(zhuǎn)換過(guò)程

數(shù)據(jù)轉(zhuǎn)換過(guò)程需要內(nèi)置邏輯來(lái)動(dòng)態(tài)響應(yīng)其訪問(wèn)和處理的數(shù)據(jù)。

可能需要根據(jù)數(shù)據(jù)值對(duì)數(shù)據(jù)進(jìn)行匯總、轉(zhuǎn)換和分發(fā)。根據(jù)對(duì)列值的評(píng)估，該過(guò)程甚至可能需要拒絕數(shù)據(jù)。

若要滿足此需求，SSIS 包中的邏輯可能需要執(zhí)行以下類(lèi)型的任務(wù)：

合并來(lái)自多個(gè)數(shù)據(jù)源的數(shù)據(jù)。

計(jì)算數(shù)據(jù)并應(yīng)用數(shù)據(jù)轉(zhuǎn)換。

根據(jù)數(shù)據(jù)值將一個(gè)數(shù)據(jù)集拆分為多個(gè)數(shù)據(jù)集。

將不同的聚合應(yīng)用到一個(gè)數(shù)據(jù)集的不同子集。

將數(shù)據(jù)的子集加載到不同目標(biāo)或多個(gè)目標(biāo)。

Integration Services 提供了用于將商業(yè)智能置入 SSIS 包的容器、任務(wù)和轉(zhuǎn)換。

容器通過(guò)枚舉文件或?qū)ο蠛陀?jì)算表達(dá)式來(lái)支持重復(fù)運(yùn)行工作流。包可以計(jì)算數(shù)據(jù)并根據(jù)結(jié)果重復(fù)運(yùn)行工作流。例如，如果日期在當(dāng)月，則包執(zhí)行某一組任務(wù)；如果不在，則包執(zhí)行另一組任務(wù)。

使用輸入?yún)?shù)的任務(wù)也可以將商業(yè)智能置入包中。例如，輸入?yún)?shù)的值可以篩選任務(wù)檢索的數(shù)據(jù)。

轉(zhuǎn)換可以計(jì)算表達(dá)式，然后根據(jù)結(jié)果將數(shù)據(jù)集中的行發(fā)送到不同的目標(biāo)。數(shù)據(jù)劃分完成后，包可以對(duì)數(shù)據(jù)集的每個(gè)子集應(yīng)用不同的轉(zhuǎn)換。例如，表達(dá)式可以計(jì)算日期列，添加相應(yīng)期間的銷(xiāo)售數(shù)據(jù)，然后僅存儲(chǔ)摘要信息。

還可以將一個(gè)數(shù)據(jù)集發(fā)送到多個(gè)目標(biāo)，然后對(duì)此相同數(shù)據(jù)應(yīng)用不同的轉(zhuǎn)換集。例如，一組轉(zhuǎn)換可以匯總此數(shù)據(jù)，而另一組轉(zhuǎn)換通過(guò)查找引用表中的值并添加其他源的數(shù)據(jù)來(lái)擴(kuò)展此數(shù)據(jù)。

使管理功能和數(shù)據(jù)加載自動(dòng)化

管理員經(jīng)常希望將管理功能自動(dòng)化，例如備份和還原數(shù)據(jù)庫(kù)、復(fù)制 SQL Server 數(shù)據(jù)庫(kù)及其包含的對(duì)象、復(fù)制 SQL Server 對(duì)象和加載數(shù)據(jù)。Integration Services 包可以執(zhí)行這些功能。

Integration Services 包含專為以下目的設(shè)計(jì)的任務(wù)：復(fù)制 SQL Server 數(shù)據(jù)庫(kù)對(duì)象，例如表、視圖和存儲(chǔ)過(guò)程；復(fù)制 SQL Server 對(duì)象，例如數(shù)據(jù)庫(kù)、登錄和統(tǒng)計(jì)信息；使用 Transact-SQL 語(yǔ)句添加、更改和刪除 SQL Server 對(duì)象和數(shù)據(jù)。

OLTP 或 OLAP 數(shù)據(jù)庫(kù)環(huán)境的管理通常包括數(shù)據(jù)的加載。Integration Services 包含幾個(gè)使數(shù)據(jù)大容量加載更加便利的任務(wù)。可以使用某個(gè)任務(wù)將文本文件中的數(shù)據(jù)直接加載到 SQL Server 表和視圖中，還可以在對(duì)列數(shù)據(jù)應(yīng)用轉(zhuǎn)換后使用目標(biāo)組件將數(shù)據(jù)加載到 SQL Server 表和視圖。

Integration Services 包可運(yùn)行其他的包。包含多個(gè)管理功能的數(shù)據(jù)轉(zhuǎn)換解決方案可分為多個(gè)包，使管理和重用包更為容易。

如果需要在不同的服務(wù)器上執(zhí)行相同的管理功能，可以使用包。包可以使用循環(huán)對(duì)服務(wù)器進(jìn)行枚舉并在多臺(tái)計(jì)算機(jī)上執(zhí)行相同的功能。為了支持 SQL Server 的管理，Integration Services 提供了可以遍歷 SQL Server 管理對(duì)象 (SMO) 的對(duì)象的枚舉器。例如，包可使用 SMO 枚舉器對(duì)某個(gè) SQL Server 安裝中的 Jobs 集合中的每個(gè)作業(yè)執(zhí)行相同的管理功能。

另外，還可以使用 SQL Server 代理作業(yè)來(lái)安排 SSIS 包。