百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 编程字典 > 正文

关于信创之数据库改造的那些事(信创国产化数据库)

toyiye 2024-06-30 09:47 21 浏览 0 评论

最近有个项目要进行信创改造,其中有一块就是数据库的改造。大致的过程就是金仓派了一个技术人员在给定的测试服务器上安装数据库,然后我方技术人员将数据从原有的数据库将库,表,数据,函数过程等迁入金仓的库,后续我们自行操作系统,哪里报错就改哪里。其中遇到问题要么自行网上找资料,或者询问该技术人员解决。这其中的坑还是踩了不少,特记录之。

项目原来使用的是mysql 版本为 5.7.10-log 改造后使用的数据库为金仓 版本为V8R6

第一步就是数据的迁移。最开始以为从MySQL导出,然后借助金仓的工具(用的KStudio)再执行一遍就可以了。当兴奋的将原有mysql脚本导入黏贴到Kstudio查询编辑器时执行时,报错了。此路不通,后续通过网上资料寻找,找到了金仓有这么个工具KDTS。该工具实际就是通过JDBC分别建立源库,目标库的链接 ,基于两端的规则对应(自行设置,比如字段类型对应等),再通过多线程进行迁移。这里迁移有个注意点,目标库有个兼容模式,目前用到的模式有oracle和pg两种。我们刚开始基于oracle迁移的,后来因为遇到个工作流A ctivity的问题,就 基于pg再迁移了一次。在迁移的过程中,如果就表这些迁移还是挺快的,若有外键索引 过程这些就慢 尤其是外键。 当然过程这些一般很难一次性成功的,有语法错误 这是后话。

第二步就是根据项目中发现的错误,挨个进行修复转化。下面记录一下遇到的一些改动。

2.1 项目采用Java语言编写,少不了驱动Jar的变更。由原有驱动Jar的pom坐标

<dependency>

<groupId>mysql</groupId>

<artifactId>mysql-connector-java</artifactId>

</dependency>

改成了 <dependency>

<groupId>com.kingbase8.jdbc</groupId>

<artifactId>kingbase8</artifactId>

<version>8.6.0</version>

</dependency>

2.2 反单引号的修改。因为使用了orm框架mybatis的自动创建功能,很多字段都自动给加上了反单引号(tab键盘上那个)。金仓不支持这个,需要改成双引号。举例 `name`改成”name”。这里需要注意下 比如关键字 也得加””,不然在金仓下就会报错。后面金仓的人说可以对关键字进行设置。另外,比如字段取别名,我们以前采取的是驼峰命名,到金仓这全变了小写,这里也通过加双引号的方式保持字段原状大写。例如 select count(1) AS 'listedItemCounts'改成了select count(1) AS "listedItemCounts"

2.3函数的不兼容修改。

比如field函数 在MySQL里是这样写

order by FIELD(business_status,3,2,11,1,4,5), create_date desc

在金仓里就得换成

order by

(case when business_status=3 then 1

when business_status=2 then 2

when business_status=11 then 3

when business_status=1 then 4

when business_status=4 then 5

when business_status=5 then 6

end

) , create_date desc

比如date_format函数,金仓压根没这个函数,只能用to_char。例如 AND date_format(approval_time, '%Y-%m-%d') >= #{startDate}改成了AND to_char(approval_time, '%Y-%m-%d') >= #{startDate}

比如判空的ifnull函数改成了coalesce函数

比如TRUNCATE函数改成用TAUNC函数

2.4groupby的问题 在mysql中groupby中的列与查询的列不一定要完全相同,但是在金仓下不行,必须查询的列出现在groupby中或者聚合函数里,其实这个改动还挺坑的,这么一改,有的查询结果都变了。后面咨询金仓的人,说也可以不改 但是要修改他们的系统参数sql_mode=’’就是了,好家伙,害我白改一堆得groupby。

2.5日期函数的问题 好多日期函数没得,这里通过安装扩展解决

create extension kdb_date_function;

2.6空字符串的问题,金仓会把空字符串存储为null 。这个真是够坑的,在工作流 activity下因为这个解决了好久。Col is null or col=’’硬是没查出数据。后面咨询金仓的人才知道

他们有个ora_input_emptystr_isnull 参数,而且这个参数的修改对已有的数据并不会起作用,也就是说 你最开始写的’’就给你转成了null但是你根据null去查询却查不到记录,让你一头雾水。这个参数最好一开始在迁移之前就确定好,后续等数据迁移了那就麻烦了。

2.7数据库概念的问题。mysql使用的是库,表 但是金仓不一样他中间还有个模式的东西,如果不做特殊处理 表的使用都得前面加个模式 。这里的做法就是建个和模式同名的用户即可。

2.8 金仓的表名 不允许以数字开头,我们系统中有分区的表 比如2023_summary 直接这么写报错,加个双引号就没事了。

第三步就是过程函数的迁移。这个其实也痛苦的, 一遍迁移下来 总共五个函数和15个过程,没一个是对的。这其中用到金仓的一个工具KDMS,这个可以帮你进行初步的转化,但是别高兴太早,在这里面转化后没错后然后复制出来丢到Kstudio里执行,各种语法错误让你茫然失措。在这很感谢金仓这个技术小哥,他帮了很大的忙,基本都是他改的,谁叫我们也不懂金仓的语法呢,其实mysql的语法也只懂那么多,毕竟我们是应用层 Java的crud工程师啊。后面在他的帮助下 也学会了用Kstudio进行过程 函数的调试。这里得吐槽下KStudio这个工具 ,花了半天的时间也没搞出那个函数过程的调试窗口,最后把安装目录下的一些文件删除了重建才好。这个工具Kstudio是金仓的人用eclipse改的,感觉也是个坑,难用得很。

下面说一下遇到的一些怪问题。

1. 金仓的数据库基于PG改的 他们的驱动jar也是 那个序列的start_value等居然是字符串类型的,搞的Java这层硬是不能将字符串转为long 后面按金仓的人指定重写了方言代码才完事

public class KingbaseDialect extends org.hibernate.dialect.Kingbase8Dialect {


@Override

public String getQuerySequencesString() {

String sql="select sequence_catalog, sequence_schema,sequence_name,data_type,"+

"numeric_precision,numeric_precision_radix,numeric_scale,"+" start_value::bigint,minimum_value::bigint,maximum_value::bigint,increment::bigint,"

+"cycle_option from information_schema.sequences";

System.out.println("sql:"+sql);

return sql;

}


}


谁叫国产的也有生态的问题呢 哎。

2修改后的sql在kstudio下执行没问题,但是应用中有问题 ,报语法错误。这个主要是我们系统使用了druid的wall拦截所致,也不想多做深究,干脆去掉了这个wall完事。说实在话阿里搞的这个wall还是真的很强大

3工作流Activity的问题 这个本来就是国外的 用mysql这个没事,但是换金仓的就不行,要么自行扩展代码支持,还有个就是用金仓提供的PG形态的驱动jar.

<dependency>

<groupId>com.postgresql.jdbc</groupId>

<artifactId>pg4229</artifactId>

<version>42.2.9</version>

</dependency>

代码原有的搞法

@Bean

public SpringProcessEngineConfiguration springProcessEngineConfiguration(){

SpringProcessEngineConfiguration spec = new SpringProcessEngineConfiguration();

spec.setDataSource(myRoutingDataSource);

spec.setTransactionManager(platformTransactionManager);

spec.setDatabaseType("mysql");

spec.setDatabaseSchemaUpdate("true");

spec.setLabelFontName("宋体");

return spec;

}

后面的搞法:

@Value("${spring.datasource.driverClassName}")

private String driverClassName;


@Value("${spring.datasource.url}")

private String url;


@Value("${spring.datasource.username}")

private String username;


@Value("${spring.datasource.password}")

private String password;


@Bean

public SpringProcessEngineConfiguration springProcessEngineConfiguration(){

SpringProcessEngineConfiguration spec = new SpringProcessEngineConfiguration();

spec.setJdbcDriver(driverClassName);

spec.setJdbcUrl(url);

spec.setJdbcUsername(username);

spec.setJdbcPassword(password);

spec.setDataSource(myRoutingDataSource);

spec.setTransactionManager(platformTransactionManager);

spec.setDatabaseType("postgres");

spec.setDatabaseSchemaUpdate("true");

spec.setLabelFontName("宋体");

return spec;

}


另外这个里面就是要注意下null和空字符串’’的问题 有些sql是Activity自动生成的,我们没法修改。


最后说下吧,信创这个真的很费劲,尤其换数据库这种。据说金仓也出了兼容mysql模式的这个迁移,但是他们的技术人员也不敢给我们使,也许坑太多了吧 哈哈。

相关推荐

为何越来越多的编程语言使用JSON(为什么编程)

JSON是JavascriptObjectNotation的缩写,意思是Javascript对象表示法,是一种易于人类阅读和对编程友好的文本数据传递方法,是JavaScript语言规范定义的一个子...

何时在数据库中使用 JSON(数据库用json格式存储)

在本文中,您将了解何时应考虑将JSON数据类型添加到表中以及何时应避免使用它们。每天?分享?最新?软件?开发?,Devops,敏捷?,测试?以及?项目?管理?最新?,最热门?的?文章?,每天?花?...

MySQL 从零开始:05 数据类型(mysql数据类型有哪些,并举例)

前面的讲解中已经接触到了表的创建,表的创建是对字段的声明,比如:上述语句声明了字段的名称、类型、所占空间、默认值和是否可以为空等信息。其中的int、varchar、char和decimal都...

JSON对象花样进阶(json格式对象)

一、引言在现代Web开发中,JSON(JavaScriptObjectNotation)已经成为数据交换的标准格式。无论是从前端向后端发送数据,还是从后端接收数据,JSON都是不可或缺的一部分。...

深入理解 JSON 和 Form-data(json和formdata提交区别)

在讨论现代网络开发与API设计的语境下,理解客户端和服务器间如何有效且可靠地交换数据变得尤为关键。这里,特别值得关注的是两种主流数据格式:...

JSON 语法(json 语法 priority)

JSON语法是JavaScript语法的子集。JSON语法规则JSON语法是JavaScript对象表示法语法的子集。数据在名称/值对中数据由逗号分隔花括号保存对象方括号保存数组JS...

JSON语法详解(json的语法规则)

JSON语法规则JSON语法是JavaScript对象表示法语法的子集。数据在名称/值对中数据由逗号分隔大括号保存对象中括号保存数组注意:json的key是字符串,且必须是双引号,不能是单引号...

MySQL JSON数据类型操作(mysql的json)

概述mysql自5.7.8版本开始,就支持了json结构的数据存储和查询,这表明了mysql也在不断的学习和增加nosql数据库的有点。但mysql毕竟是关系型数据库,在处理json这种非结构化的数据...

JSON的数据模式(json数据格式示例)

像XML模式一样,JSON数据格式也有Schema,这是一个基于JSON格式的规范。JSON模式也以JSON格式编写。它用于验证JSON数据。JSON模式示例以下代码显示了基本的JSON模式。{"...

前端学习——JSON格式详解(后端json格式)

JSON(JavaScriptObjectNotation)是一种轻量级的数据交换格式。易于人阅读和编写。同时也易于机器解析和生成。它基于JavaScriptProgrammingLa...

什么是 JSON:详解 JSON 及其优势(什么叫json)

现在程序员还有谁不知道JSON吗?无论对于前端还是后端,JSON都是一种常见的数据格式。那么JSON到底是什么呢?JSON的定义...

PostgreSQL JSON 类型:处理结构化数据

PostgreSQL提供JSON类型,以存储结构化数据。JSON是一种开放的数据格式,可用于存储各种类型的值。什么是JSON类型?JSON类型表示JSON(JavaScriptO...

JavaScript:JSON、三种包装类(javascript 包)

JOSN:我们希望可以将一个对象在不同的语言中进行传递,以达到通信的目的,最佳方式就是将一个对象转换为字符串的形式JSON(JavaScriptObjectNotation)-JS的对象表示法...

Python数据分析 只要1分钟 教你玩转JSON 全程干货

Json简介:Json,全名JavaScriptObjectNotation,JSON(JavaScriptObjectNotation(记号、标记))是一种轻量级的数据交换格式。它基于J...

比较一下JSON与XML两种数据格式?(json和xml哪个好)

JSON(JavaScriptObjectNotation)和XML(eXtensibleMarkupLanguage)是在日常开发中比较常用的两种数据格式,它们主要的作用就是用来进行数据的传...

取消回复欢迎 发表评论:

请填写验证码