决战数据库-spring batch(4)数据库到数据库

决战数据库-springbatch(4)数据库到数据库tags:springbatch文章目录决战数据库-springbatch(4)数据库到数据库1.引言2.开发环境3.开发流程3.1创建目标数据库3.2配置多数据源3.3添加读数据组件`JdbcCursorItemReader`3.4自定义处理组件`Db2DbItemProcessor`3.5添加写数据组件`JdbcBatchItemWrite...

决战数据库-spring batch(4)数据库到数据库
决战数据库-spring batch(4)数据库到数据库

tags:springbatch

1.引言

上一篇文章《快速使用组件-spring batch(3)读文件数据到数据库》对Spring Batch的读、处理、写组件进行了介绍,并且以实际案例使用了FlatFileItemReader读文本文件,并把每行数据映射为实体,然后使用JdbcBatchItemWriter把实体对象数据存储到MySQL中。但在数据集成的实际应用中,更多的工作是从A数据库到B数据库,数据库之间是异构的,数据与数据的字段定义是不尽相同的,因此,在数据同步、数据抽取时,需要从源数据库读取数据,经过校验、转换,过滤、清洗,然后把数据再写到目标数据库。本文将在上一篇的基础上,实现数据库到数据库的数据同步。简单来说,只需要把从文件读数据改为从数据库读即可。可下载完整示例工程代码参考

数据库到数据库

2.开发环境
  • JDK: jdk1.8
  • Spring Boot: 2.1.4.RELEASE
  • Spring Batch:4.1.2.RELEASE
  • 开发IDE: IDEA
  • 构建工具Maven: 3.3.9
  • 日志组件logback:1.2.3
  • lombok:1.18.6
3.开发流程

上一篇文章中,已经把User数据存储在mytest数据库中,本文将以mytest数据库中的test_user表为源数据,使用Spring Batch把数据同步到目标数据库my_test1,实现MySQL到MySQL的同步。注,若是不同的数据库,在配置多数据源时可更改数据库驱动和连接信息即可。关键代码如下所示:

关键代码

3.1 创建目标数据库

在MySQL中创建my_test1数据库作为目标数据库,执行示例工程中的sql/my_test1.sql创建用户表,为简单起见,目标数据表与源数据表数据表结构一样。创建后如下:

目标数据库

3.2 配置多数据源

至此,我们的程序涉及三个数据库,分别是:

  • 用于Spring Batch数据存储的my_spring_batch为
  • 源数据库mytest
  • 目标数据库my_test1

因此,需要先配置多数据源,配置方法跟之前一样,配置properties文件的数据库连接信息和使用注解进行配置即可。如下:

application.properties

# spring batch dbspring.datasource.jdbc-url=jdbc:mysql://localhost:3310/my_spring_batch?serverTimezone=GMT+8&useUnicode=true&characterEncoding=utf8&useSSL=falsespring.datasource.username=rootspring.datasource.password=111111# origin dbspring.origin-datasource.jdbc-url=jdbc:mysql://localhost:3310/mytest?serverTimezone=GMT+8&useUnicode=true&characterEncoding=utf8&useSSL=falsespring.origin-datasource.username=rootspring.origin-datasource.password=111111# target dbspring.target-datasource.jdbc-url=jdbc:mysql://localhost:3310/my_test1?serverTimezone=GMT+8&useUnicode=true&characterEncoding=utf8&useSSL=falsespring.target-datasource.username=rootspring.target-datasource.password=111111

然后使用注解注入多数据源,如下:

DataSourceConfig.java

@Bean("datasource")@ConfigurationProperties(prefix="spring.datasource")@Primarypublic DataSource batchDatasource() { return DataSourceBuilder.create().build();}@Bean("originDatasource")@ConfigurationProperties(prefix="spring.origin-datasource")public DataSource originDatasource() { return DataSourceBuilder.create().build();}@Bean("targetDatasource")@ConfigurationProperties(prefix="spring.target-datasource")public DataSource targetDatasource() { return DataSourceBuilder.create().build();}
3.3 添加读数据组件JdbcCursorItemReader

从数据库中读取数据,Spring Batch提供了组件JdbcCursorItemReader,通过它,可以把数据库的数据读取出来,然后映射为实体User,以供后续开发。创建方法如下:

@Beanpublic ItemReader db2DbItemReader(@Qualifier("originDatasource") DataSource originDatasource) { String readSql = " select * from test_user"; return new JdbcCursorItemReaderBuilder<User>().dataSource(originDatasource).sql(readSql).verifyCursorPosition(false).rowMapper(new UserRowMapper()).build();}

说明:

  • 使用@Qualifier("originDatasource")标识源数据库
  • JdbcCursorItemReaderBuilder用于构建JdbcCursorItemReader
  • 读数据的sql语句根据实际情况编写即可,此处是读取整个表数据。
  • 需要把数据库映射为实体User,使用UserRowMapper,此mapper实现RowMapper接口,把从数据库读取的ResultSet映射为User的字段。
3.4 自定义处理组件Db2DbItemProcessor

读取到数据后,当前的处理是针对title字段,不为null的则转为大写即可。如下:

if(Objects.nonNull(title)){ user.setTitle(title.toUpperCase());}
3.5 添加写数据组件JdbcBatchItemWriter

写入数据,同样使用JdbcBatchItemWriter组合,编写插入sql语句,把实体User数据插入到数据库即可,如下:

@Beanpublic ItemWriter db2DbWriter(@Qualifier("targetDatasource") DataSource targetDatasource) { String inserSql ="INSERT INTO test_user(id,name,phone,title,email,gender,date_of_birth,sys_create_time,sys_create_user,sys_update_time,sys_update_user) "  "VALUES (:id,:name,:phone,:title,:email,:gender,:dateOfBirth,:sysCreateTime,:sysCreateUser,:sysUpdateTime,:sysUpdateUser)"; return new JdbcBatchItemWriterBuilder<User>().itemSqlParameterSourceProvider(new BeanPropertyItemSqlParameterSourceProvider<>()).sql(inserSql).dataSource(targetDatasource).build();}

说明:

  • 使用JdbcBatchItemWriterBuilder进行JdbcBatchItemWriter的创建,设置插入数据库的sql语句,同时指定数据源即可。
  • @Qualifier("targetDatasource") DataSource datasource用于指定数据源
  • 使用BeanPropertyItemSqlParameterSourceProvider可以直接把读取的数据实体的属性数据作为参数填充到sql语句中,从而实现数据插入操作。
3.6 组装完整任务

经过上面的操作,可以使用一个java配置,把读、写、处理组装成完整的step和job,如下所示(详细可见示例工程文件):

@Beanpublic Job db2DbJob(Step db2DbStep,JobExecutionListener db2DbListener){ String funcName = Thread.currentThread().getStackTrace()[1].getMethodName(); return jobBuilderFactory.get(funcName).listener(db2DbListener).flow(db2DbStep).end().build();}@Beanpublic Step db2DbStep(ItemReader db2DbItemReader ,ItemProcessor db2DbProcessor  ,ItemWriter db2DbWriter){ String funcName = Thread.currentThread().getStackTrace()[1].getMethodName(); return stepBuilderFactory.get(funcName).<User,User>chunk(10).reader(db2DbItemReader).processor(db2DbProcessor).writer(db2DbWriter).build();}
3.7 测试

参考上一文章的File2DbJobTest,编写Db2DbJobTest文件即可。如下:

@Testpublic void testDb2DbJob() throws JobParametersInvalidException, JobExecutionAlreadyRunningException, JobRestartException, JobInstanceAlreadyCompleteException { //构建job参数 JobParameters jobParameters = JobUtil.makeJobParameters(); //运行job Map<String, Object> stringObjectMap = jobLauncherService.startJob(db2DbJob, jobParameters); //测试结果 Assert.assertEquals(ExitStatus.COMPLETED,stringObjectMap.get(SyncConstants.STR_RETURN_EXITSTATUS));}

经过此测试,可查看到源数据库mytest中的test_user表中的数据,已全部同步到目标库my_test1中的test_user中。完成数据库到数据库的数据同步。

4.总结

本文通过简单的示例,从源数据库中读取表数据,经过处理,写入到目标数据库,具体一定的通用性。希望让大家更深入的了解Spring Batch,并能用到实践中。

源文地址:https://www.guoxiongfei.cn/csdn/4897.html