sqlserver 海量數據導入的最快方法

2024-07-21 02:23:42

字體：大中小

來源：轉載

供稿：網友

最近做某項目的數據庫分析，要實現對海量數據的導入問題，就是最多把200萬條數據一次導入sqlserver中，如果使用普通的insert語句進行寫出的話，恐怕沒個把小時完不成任務，先是考慮使用bcp，但這是基于命令行的，對用戶來說友好性太差，實際不大可能使用；最后決定使用bulk insert語句實現，bulk insert也可以實現大數據量的導入，而且可以通過編程實現，界面可以做的非常友好，它的速度也很高：導入100萬條數據不到20秒中，在速度上恐怕無出其右者。
但是使用這種方式也有它的幾個缺點：
1.需要獨占接受數據的表
2.會產生大量的日志
3.從中取數據的文件有格式限制
但相對于它的速度來說，這些缺點都是可以克服的，而且你如果愿意犧牲一點速度的話，還可以做更精確的控制，甚至可以控制每一行的插入。
對與產生占用大量空間的日志的情況，我們可以采取在導入前動態更改數據庫的日志方式為大容量日志記錄恢復模式，這樣就不會記錄日志了，導入結束后再恢復原來的數據庫日志記錄方式。
具體的一個語句我們可以這樣寫：
alter database taxi
set recovery bulk_logged

bulk insert taxi..detail from 'e:/out.txt'
with (
?? datafiletype = 'char',
?? fieldterminator = ',',
?? rowterminator = '/n',
?tablock
)

alter database taxi
set recovery full

這個語句將從e:/out.txt導出數據文件到數據庫taxi的detail表中。

上一篇：注冊表中存儲數據庫鏈接字符串

下一篇：DataList和DataRepeater分頁