Sybase IQ如何将大文件数据迅速加载到数据库

　　试想一下，如果一个文件5G、10G甚至更大。如何将它迅速地加载到数据库指定的表呢？我们看看Sybase IQ是如何迅速地将表的数据加载到数据库的。

数据文件格式：

1440,2011-01-09 00:00:00,1,珠海,1,C网,8612345678222,221943,1,12175,1,12,14426467,1191632,9,
1440,2011-01-09 00:00:00,1,珠海,1,C网,8612345678222,968852,1,82077,1,7,2430696,134921,5,
1440,2011-01-09 00:00:00,1,珠海,1,C网,8612345678222,936862,3,10847,1,5,4585323,362630,5,
1440,2011-01-09 00:00:00,1,珠海,1,C网,8612345678222,308796,2,5614,2,12,14401931,1202200,11,
1440,2011-01-09 00:00:00,1,珠海,2,固网,861234567000,11058523,6,984391,3,19,12789576,1113565,19,

据以“,”分割。并以“,”结尾。

commit;

lock table iqloadtest in write mode wait '00:05:00';

Set temporary option conversion_error='off';

Set temporary option escape_character='on';

Set temporary option load_memory_mb=256;
Set temporary option timestamp_format='YYYY-MM-DD HH:mm:ss';--解决时间格式问题

LOAD TABLE iqloadtest

(

  col1  ',',

  col2 ',',

  col3  ',',

  col4 ',',

  col5     ',',

  col6   ',',

  col7        ',',

  col8  ',',

  col9 ',',

  col10  ',',

  col11     ',',

  col12 ',',

  col13  ',',

  col14 ',',

  col15    ',\x0a',--最后一个字段顺便过滤掉换行符0a
　filler(1)--在此例子中加了此条语句最后一行数据不被加载

)

 FROM '/home/test/test.load'

 ESCAPES OFF

 QUOTES OFF

 IGNORE CONSTRAINT ALL 0

 MESSAGE LOG '/home/test/iqMsg.log'

 ROW LOG '/home/test/iqRow.log'

  ONLY LOG ALL

 Notify 50000

 WITH CHECKPOINT ON;

 commit;

结论：如果行结束符后面带了分隔符的话必须用此种方式。否则无法加载。
如果行结束符后面不带分隔符的话可以用filler(1)这种方式

IQLoad 会遇到的问题。
1、 ODBC 与 JDBC 的默认设置不一样。 JDBC 需要加上
Set temporary option escape_character='on';

2、当数据中存在null时的解决方法

commit;

lock table iqloadtest in write mode wait '00:05:00';

Set temporary option conversion_error='off';

Set temporary option escape_character='on';

Set temporary option load_memory_mb=256;

Set temporary option timestamp_format='YYYY-MM-DD HH:mm:ss';

LOAD TABLE iqloadtest

(

字段1 '分隔符' null('NULL'),

字段2 '分隔符' null('NULL'),

col15 '分隔符\x0a' null('NULL'),

　filler(1)--在此例子中加了此条语句最后一行数据不被加载

)

 FROM '/home/test/test.load'

 ESCAPES OFF

 QUOTES OFF

 IGNORE CONSTRAINT ALL 0

 MESSAGE LOG '/home/test/iqMsg.log'

 ROW LOG '/home/test/iqRow.log'

  ONLY LOG ALL

 Notify 50000

 WITH CHECKPOINT ON;

 commit;

巴特西

Sybase IQ如何将大文件数据迅速加载到数据库

最新文章

热门文章