MySql Load

mysql-load: 使用MySql客户端导入本地数据
导入方式是同步导入。
```
LOAD DATA
[LOCAL]
INFILE 'file_name'
INTO TABLE tbl_name
[PARTITION (partition_name [, partition_name] ...)]
[COLUMNS TERMINATED BY 'string']
[LINES TERMINATED BY 'string']
[IGNORE number {LINES | ROWS}]
[(col_name_or_user_var [, col_name_or_user_var] ...)]
[SET (col_name={expr | DEFAULT} [, col_name={expr | DEFAULT}] ...)]
[PROPERTIES (key1 = value1 [, key2=value2]) ]
```

该语句用于向指定的 table 导入数据，与普通Load区别是，这种导入方式是同步导入。

这种导入方式仍然能够保证一批导入任务的原子性，要么全部数据导入成功，要么全部失败。

1. MySQL Load以语法`LOAD DATA`开头, 无须指定LABEL
2. 指定`LOCAL`表示读取客户端文件.不指定表示读取FE服务端本地文件. 导入FE本地文件的功能默认是关闭的, 需要在FE节点上设置`mysql_load_server_secure_path`来指定安全路径, 才能打开该功能.
3. `INFILE`内填写本地文件路径, 可以是相对路径, 也可以是绝对路径.目前只支持单个文件, 不支持多个文件
4. `INTO TABLE`的表名可以指定数据库名, 如案例所示. 也可以省略, 则会使用当前用户所在的数据库.
5. `PARTITION`语法支持指定分区导入
6. `COLUMNS TERMINATED BY`指定列分隔符
7. `LINES TERMINATED BY`指定行分隔符
8. `IGNORE num LINES`用户跳过CSV的表头, 可以跳过任意行数. 该语法也可以用`IGNORE num ROWS`代替
9. 列映射语法, 具体参数详见[导入的数据转换](../../../../data-operate/import/import-way/mysql-load-manual.md) 的列映射章节
10. `PROPERTIES`参数配置
            max_filter_ratio(0-1)：最大容忍可过滤（数据不规范等原因）的数据比例。默认零容忍。
            timeout: 指定导入的超时时间。单位秒。默认是 600 秒。可设置范围为 1 秒 ~ 259200 秒。
            strict_mode: 用户指定此次导入是否开启严格模式，默认为关闭。
            timezone: 指定本次导入所使用的时区。默认为东八区。该参数会影响所有导入涉及的和时区有关的函数结果。
            exec_mem_limit: 导入内存限制。默认为 2GB。单位为字节。
            trim_double_quotes: 布尔类型，默认值为 false，为 true 时表示裁剪掉导入文件每个字段最外层的双引号。
            enclose: 包围符。当csv数据字段中含有行分隔符或列分隔符时，为防止意外截断，可指定单字节字符作为包围符起到保护作用。例如列分隔符为","，包围符为"'"，数据为"a,'b,c'",则"b,c"会被解析为一个字段。
            escape: 转义符。用于转义在csv字段中出现的与包围符相同的字符。例如数据为"a,'b,'c'"，包围符为"'"，希望"b,'c被作为一个字段解析，则需要指定单字节转义符，例如"\"，然后将数据修改为"a,'b,\'c'"。	

1.1示例

1. 建表
        CREATE TABLE IF NOT EXISTS load_local_file_test
        (
        id INT,
        age TINYINT,
        name VARCHAR(50)
        )
        unique key(id)
        DISTRIBUTED BY HASH(id) BUCKETS 3;

2. 生成测试数据
        vim a.txt
        1,23,'zs'
        2,34,'ww'
        ...

3. 在 fe 端服务器上执行导入命令
mysql --local-infile -h cdh004 -P 9930 -uroot 
mysql> load data local  infile '/opt/apache-doris-2.0.3-bin-x64/a.txt' into table load_local_file_test COLUMNS TERMINATED BY ',' LINES TERMINATED BY '\n' ;
Query OK, 2 rows affected (0.05 sec)
Records: 2  Deleted: 0  Skipped: 0  Warnings: 0

注意 :
	 MySQL 客户端需要添加 '--local-infile' 参数,否则会报 ERROR 2027 (HY000): Malformed packet 错误;
	 执行 load data local  命令时文件中字段分隔符不是 '\t' 时需要添加 'COLUMNS TERMINATED BY ','' 否则会报 ERROR 1105 (HY000): errCode = 2, detailMessage = [INTERNAL_ERROR]too many filtered rows 错误;

4. 不在 fe 端服务器上执行导入命令
修改 fe.conf 配置文件,添加 mysql_load_server_secure_path='在 fe 服务器上文件所在目录'
 mysql -h cdh003 -u root -p root
 MySQL [test]> load data   infile '/opt/apache-doris-2.0.3-bin-x64/a.txt' into table load_local_file_test COLUMNS TERMINATED BY ',' LINES TERMINATED BY '\n' ;
Query OK, 2 rows affected (3.699 sec)
Records: 2  Deleted: 0  Skipped: 0  Warnings: 0

注意	:
	MySQL 客户端不需要添加 '--local-infile' 参数;
	执行 load data 命令时后面添加 local 是导入当前客户端,infile 指定目录下的文件,不添加 local 是导入服务器端 infile 指定目录下的文件;
  文件中字段分隔符不是 '\t' 时需要添加 'COLUMNS TERMINATED BY ','';
	

导入服务端本地文件的语法和导入客户端语法的唯一区别是LOAD DATA关键词后面是否加入LOCAL关键字.
FE为多节点部署, 导入服务端文件功能只能够导入客户端连接的FE节点, 无法导入其他FE节点本地的文件.
服务端导入默认是关闭, 通过设置FE的配置mysql_load_server_secure_path开启, 导入文件的必须在该目录下.

1.2 配置项

mysql_load_thread_pool 控制单个FE中MySQL Load并发执行线程个数, 默认为4. 线程池的排队队列大小为mysql_load_thread_pool的5倍, 因此默认情况下, 可以并发提交的任务为 4 + 4*5 = 24个. 如果并发个数超过24时, 可以调大该配置项.
mysql_load_server_secure_path 服务端导入的安全路径, 默认为空, 即不允许服务端导入. 如需开启这个功能, 建议在DORIS_HOME目录下创建一个local_import_data目录, 用于导入数据.
mysql_load_in_memory_record 失败的任务记录个数, 该记录会保留在内存中, 默认只会保留最近的20. 如果有需要可以调大该配置. 在内存中的记录, 有效期为1天, 异步清理线程会固定一天清理一次过期数据.

Stream Load

Stream Load 用于将本地文件导入到 Doris 中。
Stream Load 是通过 HTTP 协议与 Doris 进行连接交互的。
导入方式是同步导入。
curl 命令导入本地文件：
		 curl --location-trusted -u root: -H "label:load_local_file_test" -H "column_separator:," -T /opt/apache-doris-2.0.3-bin-x64/a.txt http://cdh004:8840/api/test/load_local_file_test/_stream_load

{"k1":1, "k2":2, "k3":"hello"}，其中k1，k2，k3是列名字。

    [
     {"k1" : 1, "v1" : 2},
     {"k1" : 3, "v1" : 4}
    ]
    当strip_outer_array为true，最后导入到doris中会生成两行数据。

hidden_columns: __DORIS_DELETE_SIGN__,__DORIS_SEQUENCE_COL__
系统会使用用户指定的数据导入数据。在上述用例中，导入数据中最后一列数据为__DORIS_SEQUENCE_COL__。