對于兩個數據集和。若存在矩陣和，使得，可以通過經過若干次線性變換得到，這表明了中的信息完全蘊含在中。此時，相對于，中的信息是冗余的。這種冗余既可以體現在維度上，即中的樣本分布在一個高維空間中的低維流形上，也可以體現在樣本上，即中存在一些非常相似的樣本。矩陣和分別在樣本層面和特征層面使與對齊。同樣的，若存在矩陣和，使得，則表明中的信息完全蘊含在中。但是對于一般的兩個數據集和，不太可能會出現中信息完全蘊含于或中信息完全蘊含于的情況。因此可以通過考慮兩個數據集在線性變換下的信息損失來度量兩個數據集的差異（相似度）。具體的，可以考慮求解以下優化問題：優化過程也是使兩個數據集在樣本層面和特征層面對齊的過程，求解優化問題得到的結果可以作為兩個數據集的差異度量。若想得到范圍內的相似性度量，對差異度量做以下變換即可。