在.net1.1中無論是對于批量插入整個datatable中的所有數據到數據庫中,還是進行不同數據源之間的遷移,都不是很方便。而在.net2.0中,sqlclient命名空間下增加了幾個新類幫助我們通過datatable或datareader批量遷移數據。數據源可以來自關系數據庫或者xml文件,甚至webservice返回結果。其中最重要的一個類就是sqlbulkcopy類,使用它可以很方便的幫助我們把數據源的數據遷移到目標數據庫中。
下面我們先通過一個簡單的例子說明這個類的使用:
datetime starttime;
protected void button1_click(object sender, eventargs e)
{
starttime = datetime.now;
string srcconstring;
string desconstring;
sqlconnection srccon = new sqlconnection();
sqlconnection descon = new sqlconnection();
sqlcommand srccom = new sqlcommand();
sqldataadapter srcadapter = new sqldataadapter();
datatable dt = new datatable();
srcconstring =
configurationmanager.connectionstrings["srcdbconnectionstring"].connectionstring;
desconstring =
configurationmanager.connectionstrings["desdbconnectionstring"].connectionstring;
srccon.connectionstring = srcconstring;
srccom.connection = srccon;
srccom.commandtext = " select * from [srctable]";
srccom.commandtype = commandtype.text;
srccom.connection.open();
srcadapter.selectcommand = srccom;
srcadapter.fill(dt);
sqlbulkcopy desbulkop;
desbulkop = new sqlbulkcopy(desconstring,
sqlbulkcopyoptions.useinternaltransaction);
desbulkop.bulkcopytimeout = 500000000;
desbulkop.sqlrowscopied +=
new sqlrowscopiedeventhandler(onrowscopied);
desbulkop.notifyafter = dt.rows.count;
try
{
desbulkop.destinationtablename = "srctable";
desbulkop.writetoserver(dt);
}
catch (exception ex)
{
lblresult.text = ex.message;
}
finally
{
srccon.close();
descon.close();
}
}
private void onrowscopied(object sender, sqlrowscopiedeventargs args)
{
lblcounter.text += args.rowscopied.tostring() + " rows are copied<br>";
timespan copytime = datetime.now - starttime;
lblcounter.text += "copy time:" + copytime.seconds.tostring() + "." + copytime.milliseconds.tostring() + " seconds";
}
接著具體分析這幾行代碼:
sqlbulkcopy desbulkop;
desbulkop = new sqlbulkcopy(desconstring, sqlbulkcopyoptions.useinternaltransaction);先生成sqlbulkcopy 實例,構造函數指定了目標數據庫,使用sqlbulkcopyoptions.useinternaltransaction是指遷移動作指定在一個transaction當中,如果數據遷移中產生錯誤或異常將發生回滾。其他選項請參考msdn。
desbulkop.bulkcopytimeout = 500000000;
指定操作完成的timeout時間
desbulkop.sqlrowscopied += new sqlrowscopiedeventhandler(onrowscopied);
desbulkop.notifyafter = dt.rows.count;
try
{
desbulkop.destinationtablename = "srctable";
desbulkop.writetoserver(dt);
}
notifyafter屬性指定通知通知事件前處理的數據行數,在這里指定為表的行數,并添加sqlrowscopied事件輸出整個遷移過程的時間。writetoserver方法就是將數據源拷備到目標數據庫。在使用writetoserver方法之前必須先指定destinationtablename屬性,也就是目標數據庫的表名,
我們還可以自己定義一個transaction,例如:
sqltransaction transaction;
transaction =
srccom.connection.begintransaction();
sqlbulkcopy desbulkop;
desbulkop = new sqlbulkcopy(new sqlconnection(desconstring),
sqlbulkcopyoptions.default,
transaction);
try
{
//..
}
catch{}
finally
{
transaction.commit();
}
另外還有一個sqlbulkcopycolumnmapping類,可以讓數據源字段映射到目標數據中命名不同的字段上。也就是說如果目標數據和源數據的列名不同時,可以用這個類進行映射:
sqlbulkcopycolumnmapping colmap = new sqlbulkcopycolumnmapping("srccol", "descol");
desbulkop.columnmappings.add(colmap);
或者可以直接添加映射:
desbulkop.columnmappings.add("srccol", "descol");
性能問題:
我使用上面的例子測試,遷移了2萬條左右的記錄,花的時間不到一秒,應改說性能還是不錯的。另外,使用sql profile監視遷移事件,可以看見請求記錄非常少,只有幾條而已。據說使用sqlbulkcopy可以大大減少數據遷移的時間。
|
新聞熱點
疑難解答
圖片精選