基于spring+quartz的分布式定時任務框架實現

2019-11-26 13:16:01

字體：大中小

來源：轉載

供稿：網友

問題背景

我公司是一個快速發展的創業公司，目前有200人，主要業務是旅游和酒店相關的，應用迭代更新周期比較快，因此，開發人員花費了更多的時間去更=跟上迭代的步伐，而缺乏了對整個系統的把控

沒有集群之前，公司定時任務的實現方式

在初期應用的訪問量并不是那么大，一臺服務器完全滿足使用，應用中有很多定時任務需要執行

有了集群之后，公司定時任務實現的方式

隨著用戶的增加，訪問量也就隨之增加，一臺服務器滿足不了高并發的要求，因此公司把應用給部署到集群中，前端通過nginx代理（應用服務器ip可能是用防火墻進行了隔離，避免了直接使用ip+端口+應用名訪問的方式）。

在集群環境中，同樣的定時任務，在集群中的每臺機器都會執行，這樣定時任務就會重復執行，不但會增加服務器的負擔，還會因為定時任務重復執行造成額外的不可預期的錯誤，因此公司的解決方案是：根據集群的數量，來把定時任務中的任務平均分到集群中的每臺機器上（這里的平均分是指以前一個定時任務本來是在一臺機器上運行，先在人為的把這個任務分成幾部分，讓所有的機器都去執行這個人去）

目前集群中定時任務實現方式的缺陷

目前公司在集群中處理定時任務的方式不是正真的分布式處理方式，而是一種偽分布式（公司內部俗稱土方法），這種方式存在一個明顯的缺陷就是當集群中機器宕機，那么整個定時任務就會掛掉或者不能一次性跑完，會對業務產生嚴重的影響

針對缺陷的解決方案(本文的重點之處)

利用spring+quartz構建一套真正的分布式定時任務系統，經過查閱相關資料得知：quartz框架是原生就支持分布式定時任務的

開發IDE：Intellij IDEA

JDK版本：1.8

Spring版本：4.2.6

Quartz版本：2.2.1

Spring與Quartz集成配置

<?xml version="1.0" encoding="UTF-8"?><beans xmlns="http://www.springframework.org/schema/beans"    xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:context="http://www.springframework.org/schema/context"    xsi:schemaLocation="http://www.springframework.org/schema/beans      http://www.springframework.org/schema/beans/spring-beans-4.0.xsd http://www.springframework.org/schema/context http://www.springframework.org/schema/context/spring-context.xsd">  <context:component-scan base-package="com.aaron.clusterquartz.job"/>  <bean name="dataSource" class="org.springframework.jndi.JndiObjectFactoryBean">    <!-- tomcat -->    <!--<property name="jndiName" value="java:comp/env/jndi/mysql/quartz"/>-->    <!-- jboss -->    <property name="jndiName" value="jdbc/quartz"/>  </bean>  <!-- 分布式事務配置 start -->  <!-- 配置線程池-->  <bean name="executor" class="org.springframework.scheduling.concurrent.ThreadPoolTaskExecutor">    <property name="corePoolSize" value="15"/>    <property name="maxPoolSize" value="25"/>    <property name="queueCapacity" value="100"/>  </bean>  <bean name="transactionManager" class="org.springframework.jdbc.datasource.DataSourceTransactionManager">    <property name="dataSource" ref="dataSource"/>  </bean>  <!-- 配置調度任務-->  <bean name="quartzScheduler" class="org.springframework.scheduling.quartz.SchedulerFactoryBean">    <property name="configLocation" value="classpath:quartz.properties"/>    <property name="dataSource" ref="dataSource"/>    <property name="transactionManager" ref="transactionManager"/>    <!-- 任務唯一的名稱，將會持久化到數據庫-->    <property name="schedulerName" value="baseScheduler"/>    <!-- 每臺集群機器部署應用的時候會更新觸發器-->    <property name="overwriteExistingJobs" value="true"/>    <property name="applicationContextSchedulerContextKey" value="appli"/>    <property name="jobFactory">      <bean class="com.aaron.clusterquartz.autowired.AutowiringSpringBeanJobFactory"/>    </property>    <property name="triggers">      <list>        <ref bean="printCurrentTimeScheduler"/>      </list>    </property>    <property name="jobDetails">      <list>        <ref bean="printCurrentTimeJobs"/>      </list>    </property>    <property name="taskExecutor" ref="executor"/>  </bean>  <!-- 配置Job詳情 -->  <bean name="printCurrentTimeJobs" class="org.springframework.scheduling.quartz.JobDetailFactoryBean">    <property name="jobClass" value="com.aaron.clusterquartz.job.PrintCurrentTimeJobs"/>　　　　<!--因為我使用了spring的注解，所以這里可以不用配置scheduler的屬性-->    <!--<property name="jobDataAsMap">      <map>        <entry key="clusterQuartz" value="com.aaron.framework.clusterquartz.job.ClusterQuartz"/>      </map>    </property>-->    <property name="durability" value="true"/>    <property name="requestsRecovery" value="false"/>  </bean>  <!-- 配置觸發時間 -->  <bean name="printCurrentTimeScheduler" class="com.aaron.clusterquartz.cron.PersistableCronTriggerFactoryBean">    <property name="jobDetail" ref="printCurrentTimeJobs"/>    <property name="cronExpression">      <value>0/10 * * * * ?</value>    </property>    <property name="timeZone">      <value>GMT+8:00</value>    </property>  </bean>  <!-- 分布式事務配置 end --></beans>

quartz屬性文件

#============================================================================# Configure JobStore# Using Spring datasource in quartzJobsConfig.xml# Spring uses LocalDataSourceJobStore extension of JobStoreCMT#============================================================================org.quartz.jobStore.useProperties=trueorg.quartz.jobStore.tablePrefix = QRTZ_org.quartz.jobStore.isClustered = trueorg.quartz.jobStore.clusterCheckinInterval = 5000org.quartz.jobStore.misfireThreshold = 60000org.quartz.jobStore.txIsolationLevelReadCommitted = true# Change this to match your DB vendororg.quartz.jobStore.class = org.quartz.impl.jdbcjobstore.JobStoreTXorg.quartz.jobStore.driverDelegateClass = org.quartz.impl.jdbcjobstore.StdJDBCDelegate#============================================================================# Configure Main Scheduler Properties# Needed to manage cluster instances#============================================================================org.quartz.scheduler.instanceId=AUTOorg.quartz.scheduler.instanceName=MY_CLUSTERED_JOB_SCHEDULERorg.quartz.scheduler.rmi.export = falseorg.quartz.scheduler.rmi.proxy = false#============================================================================# Configure ThreadPool#============================================================================org.quartz.threadPool.class = org.quartz.simpl.SimpleThreadPoolorg.quartz.threadPool.threadCount = 10org.quartz.threadPool.threadPriority = 5org.quartz.threadPool.threadsInheritContextClassLoaderOfInitializingThread = true

相關類說明

AutowiringSpringBeanJobFactory類是為了可以在scheduler中使用spring注解，如果不使用注解，可以不適用該類，而直接使用
SpringBeanJobFactory

package com.aaron.clusterquartz.autowired;import org.quartz.spi.TriggerFiredBundle;import org.springframework.beans.BeansException;import org.springframework.beans.factory.config.AutowireCapableBeanFactory;import org.springframework.context.ApplicationContext;import org.springframework.context.ApplicationContextAware;import org.springframework.scheduling.quartz.SpringBeanJobFactory;/** * @author  * @description 使job類支持spring的自動注入 * @date 2016-05-27 */public class AutowiringSpringBeanJobFactory extends SpringBeanJobFactory implements ApplicationContextAware{  private transient AutowireCapableBeanFactory beanFactory;  public void setApplicationContext(ApplicationContext applicationContext) throws BeansException  {    beanFactory = applicationContext.getAutowireCapableBeanFactory();  }  @Override  protected Object createJobInstance(TriggerFiredBundle bundle) throws Exception  {    Object job = super.createJobInstance(bundle);    beanFactory.autowireBean(job);    return job;  }}

package com.aaron.clusterquartz.job;import com.arron.util.DateUtils;import org.apache.commons.logging.Log;import org.apache.commons.logging.LogFactory;import org.quartz.JobExecutionContext;import org.quartz.JobExecutionException;import org.springframework.beans.factory.annotation.Autowired;import org.springframework.scheduling.quartz.QuartzJobBean;import java.util.Date;/** * @author  * @description 一句話描述該文件的用途 * @date 2016-05-23 */public class PrintCurrentTimeJobs extends QuartzJobBean{  private static final Log LOG_RECORD = LogFactory.getLog(PrintCurrentTimeJobs.class);　　//這里就是因為有上文中的AutowiringSpringBeanJobFactory才可以使用@Autowired注解，否則只能在配置文件中設置這屬性的值  @Autowired  private ClusterQuartz clusterQuartz;  protected void executeInternal(JobExecutionContext jobExecutionContext) throws JobExecutionException  {    LOG_RECORD.info("begin to execute task," + DateUtils.dateToString(new Date()));    clusterQuartz.printUserInfo();    LOG_RECORD.info("end to execute task," + DateUtils.dateToString(new Date()));  }}

測試結果：

由于只有一臺電腦，所有我開了8080和8888兩個端口來測試的，上面的定時任務我設置了每10秒運行一次。

當只我啟動8080端口時，可以看到控制臺每隔10秒打印一條語句