1.chucksize太小了。
2.注意數(shù)值類型,一看你就是交易數(shù)據(jù)。數(shù)值類型會極大影響速度。
3.必要時(shí)可以直接numpy,pandas本身依賴于numpy。
4.大數(shù)據(jù)盡量矢量化操作
百萬級別數(shù)據(jù)其實(shí)一次讀完都可以。
1.chucksize太小了。
2.注意數(shù)值類型,一看你就是交易數(shù)據(jù)。數(shù)值類型會極大影響速度。
3.必要時(shí)可以直接numpy,pandas本身依賴于numpy。
4.大數(shù)據(jù)盡量矢量化操作
百萬級別數(shù)據(jù)其實(shí)一次讀完都可以。