infobright 是基于mysql的,但不裝mysql亦可,因?yàn)樗旧砭妥詭Я艘粋€(gè),mysql可以粗分為邏輯層和物理存儲(chǔ)引擎,infobright主要實(shí)現(xiàn)的就是一個(gè)存儲(chǔ)引擎,但因?yàn)樗陨泶鎯?chǔ)邏輯跟關(guān)系型數(shù)據(jù)庫根本不同,所以,它不能像InnoDB那樣直接作為插件掛接到mysql,它的邏輯層是mysql的邏輯 層加上它自身的優(yōu)化器.

一,導(dǎo)入數(shù)據(jù)

1，IEE也支持mysqlloader和insert語句

2，默認(rèn)Loader

ICE僅支持IB lorder,IEE默認(rèn)使用的是是mysql loader,它能更多的容錯(cuò),但速度稍慢,為了最快的導(dǎo)入,使用IB loader,做以下環(huán)境的設(shè)置:

1. Mysql> 
2.  
3. set @bh_dataformat = ‘txt_variable’; 
4.  
5. –使用IB loader來導(dǎo)入CSV格式的變量定長文本 
6.  
7. set @bh_dataformat = ‘binary’; 
8.  
9. –二進(jìn)制文件 
10.  
11. set @bh_dataformat = ‘mysql’; 
12.  
13. –使用mysql loader 

3，IB loader語法

IB僅支持load data infile,其他的mysql導(dǎo)入方式不支持,代碼如下:

1. LOAD DATA INFILE ‘/full_path/file_name’ 
2.  
3. INTO TABLE tbl_name 
4.  
5. [FIELDS 
6.  
7. [TERMINATED BY 'char'] 
8.  
9. [ENCLOSED BY 'char'] 
10.  
11. [ESCAPED BY 'char'] 
12.  
13. ]; 

導(dǎo)入前關(guān)閉:set AUTOCOMMIT=0;

完成后:COMMIT;set AUTOCOMMIT=1;

4，區(qū)域分隔符

.區(qū)域分隔符是可選的,默認(rèn)設(shè)置為如下代碼:

1. CLAUSE DEFAULT VALUE 
2.  
3. FIELDS TERMINATED BY ‘;’ (semicolon) 
4.  
5. FIELDS ENCLOSED BY ‘”‘ (double quote) 
6.  //Vevb.com
7. FIELDS ESCAPED BY ” (none) 

5，導(dǎo)入經(jīng)驗(yàn)

a.當(dāng)導(dǎo)入表格列數(shù)很多時(shí),修改brighthouse.ini中LoaderMainHeapSize.

b使用并發(fā)導(dǎo)入.

c容忍性排序?yàn)閠xt_variables<binary<mysql

d bh_loader不支持多分隔符

e 大量數(shù)據(jù)時(shí)，DLP是必要選擇

二，導(dǎo)入數(shù)據(jù)避免特殊字符問題

在用的是社區(qū)版的infobright,不支持DML功能,只能用LOAD DATA方式導(dǎo)入數(shù)據(jù),如果元數(shù)據(jù)中有特殊控制字符,導(dǎo)入過程中經(jīng)常會(huì)報(bào)錯(cuò),很是惱火,應(yīng)對策略有兩種方法:

1.設(shè)置Reject File導(dǎo)入之前,設(shè)定 @BH_REJECT_FILE_PATH 和 @BH_ABORT_ON_COUNT 就可以忽略多少條導(dǎo)入失敗的記錄,并且將這些記錄保存在指定文件,代碼如下:

set @BH_REJECT_FILE_PATH = '/tmp/reject_file';

set @BH_ABORT_ON_COUNT = 10;

BH_ABORT_ON_COUNT 設(shè)定為 -1 的話,表示永不忽略,也可以設(shè)置 BH_ABORT_ON_THRESHOLD 選項(xiàng),該選項(xiàng)表示有最多多少百分比的數(shù)據(jù)允許被忽略,因此該選項(xiàng)的值是小數(shù)格式,例如 BH_ABORT_ON_THRESHOLD = 0.03（表示3%）.

2.導(dǎo)出時(shí)指定結(jié)束符此外,還可以在導(dǎo)出數(shù)據(jù)時(shí)制定結(jié)束符,并且設(shè)定忽略哪些轉(zhuǎn)義字符（、”、’ 等字符）,例如:

select fields_list... into outfile '/tmp/outfile.csv' fields terminated by '||' ESCAPED BY '/' lines terminated by 'rn' from mytable;1.或者，將行間隔符設(shè)定為其他特殊標(biāo)識(shí)，例如：select fields_list… into outfile ‘/tmp/outfile.csv’ fields terminated by ‘||’ ESCAPED BY ‘/’ lines terminated by ‘$$$$$rn’ from mytable;當(dāng)然了,這種情況下,實(shí)際數(shù)據(jù)行中就不能存在 “$$$$$rn” 這個(gè)值了,否則會(huì)被當(dāng)成換行標(biāo)識(shí).