试想一下,如果一个文件5G、10G甚至更大。如何将它迅速地加载到数据库指定的表呢?我们看看Sybase IQ是如何迅速地将表的数据加载到数据库的。

数据文件格式:

1440,2011-01-09 00:00:00,1,珠海,1,C网,8612345678222,221943,1,12175,1,12,14426467,1191632,9,
1440,2011-01-09 00:00:00,1,珠海,1,C网,8612345678222,968852,1,82077,1,7,2430696,134921,5,
1440,2011-01-09 00:00:00,1,珠海,1,C网,8612345678222,936862,3,10847,1,5,4585323,362630,5,
1440,2011-01-09 00:00:00,1,珠海,1,C网,8612345678222,308796,2,5614,2,12,14401931,1202200,11,
1440,2011-01-09 00:00:00,1,珠海,2,固网,861234567000,11058523,6,984391,3,19,12789576,1113565,19,

据以“,”分割。并以“,”结尾。

commit;
lock table iqloadtest in write mode wait '00:05:00';
Set temporary option conversion_error='off';
Set temporary option escape_character='on';
Set temporary option load_memory_mb=256;
Set temporary option timestamp_format='YYYY-MM-DD HH:mm:ss';--解决时间格式问题
LOAD TABLE iqloadtest
(
col1 ',',
col2 ',',
col3 ',',
col4 ',',
col5 ',',
col6 ',',
col7 ',',
col8 ',',
col9 ',',
col10 ',',
col11 ',',
col12 ',',
col13 ',',
col14 ',',
col15 ',\x0a',--最后一个字段顺便过滤掉换行符0a
 filler(1)--在此例子中加了此条语句最后一行数据不被加载
)
FROM '/home/test/test.load'
ESCAPES OFF
QUOTES OFF
IGNORE CONSTRAINT ALL 0
MESSAGE LOG '/home/test/iqMsg.log'
ROW LOG '/home/test/iqRow.log'
ONLY LOG ALL
Notify 50000
WITH CHECKPOINT ON;
commit;

结论:如果行结束符后面带了分隔符的话必须用此种方式。否则无法加载。
如果行结束符后面不带分隔符的话可以用filler(1)这种方式

IQLoad 会遇到的问题。
1、 ODBC 与 JDBC 的默认设置不一样。 JDBC 需要加上
Set temporary option escape_character='on';

2、当数据中存在null时的解决方法

commit;
lock table iqloadtest in write mode wait '00:05:00';
Set temporary option conversion_error='off';
Set temporary option escape_character='on';
Set temporary option load_memory_mb=256;
Set temporary option timestamp_format='YYYY-MM-DD HH:mm:ss';
LOAD TABLE iqloadtest
(
字段1 '分隔符' null('NULL'),
字段2 '分隔符' null('NULL'),
col15 '分隔符\x0a' null('NULL'),
 filler(1)--在此例子中加了此条语句最后一行数据不被加载
)
FROM '/home/test/test.load'
ESCAPES OFF
QUOTES OFF
IGNORE CONSTRAINT ALL 0
MESSAGE LOG '/home/test/iqMsg.log'
ROW LOG '/home/test/iqRow.log'
ONLY LOG ALL
Notify 50000
WITH CHECKPOINT ON;
commit;

最新文章

  1. 从2G到5G, 基站天线过去与未来
  2. 跟着9张思维导图学习Javascript
  3. [NOIP2011]观光公交 题解
  4. [Codeforces626F] Group Projects (DP)
  5. Css杂谈
  6. 【Cardboard】 体验 - Google Cardboard DIY及完成后简单体验
  7. 如何在线缩小jpg图片的大小
  8. a href="#"与a href="####"的区别是什么
  9. Oracle SQL ANY和ALL语句
  10. json格式字符串与java.util.Map的互转(借助于jackson.jar)
  11. Matlab强迫症产生的图像
  12. Linux之文件权限属性设置
  13. 最新升级的火狐38.0.6识别ajax调用返回的""空值可能有异常。
  14. iOS arc下控制某一文件为非arc
  15. JAVA课设--五子棋--团队博客
  16. Oracle 11g Articles
  17. Python2.0 与 3.0 的区别
  18. 添加PROPAGATION_REQUIRES_NEW 事务没有产生作用
  19. SpringMVC Mybatis Spring
  20. ORA-01000: maximum open cursors exceeded

热门文章

  1. CXF 自定义拦截器
  2. C#中async/await中的异常处理
  3. bzoj 3172 后缀数组|AC自动机
  4. javaScript基础练习题-下拉框制作
  5. Xcode 6以上版本如何创建一个空的工程(Empty Application)
  6. cowboy-高性能简洁的erlang版web框架
  7. Codeforce#331 (Div. 2) A. Wilbur and Swimming Pool(谨以此题来纪念我的愚蠢)
  8. easyui datagrid 获取 title
  9. 工匠若水 Android应用开发编译框架流程与IDE及Gradle概要
  10. Apache配置默认首页