Laravel中使用Queue队列技巧

laravel
laravel
发布日期:   2019-08-27
文章字数:   1.9k

Laravel 队列为不同的后台队列服务提供统一的 API，例如 Beanstalk，Amazon SQS，Redis，甚至其他基于关系型数据库的队列。队列的目的是将耗时的任务延时处理，比如发送邮件，从而大幅度缩短 Web 请求和相应的时间。

队列配置文件存放在 config/queue.php 。每一种队列驱动的配置都可以在该文件中找到，包括数据库，Beanstalkd ，Amazon SQS，Redis，以及同步（本地使用）驱动。其中还包含了一个 null 队列驱动用于那些放弃队列的任务

为什么使用队列？

一般来说使用队列是为了：

异步
重试

也许你还有其他的理由使用队列，但是这应该是最基本的两个原因。

什么情况使用队列？

了解了为什么使用队列，那么一般有这么几类任务使用队列：

耗时比较久的，比如上传一个文件后进行一些格式的转化等。
需要保证送达率的，比如发送短信，因为要调用别人的 api，总会有几率失败，那么为了保证送达，重试就必不可少了。
使用队列的时候一定要想明白一个问题，这个任务到底是不是可以异步，如果因为异步会导致问题，那么就要放弃使用队列。

驱动的必要设置

database.php

在 database.php 配置文件中对 redis 数据库部分进行配置，默认有一个 default 连接，就用这个好了:)

根据这个默认连接中需要的配置项，编辑 .env 配置文件，将其中的 REDIS_HOST、REDIS_PASSWORD、REDIS_PORT 填写成自己服务器中 Redis 的相应值。

queue.php

首先需要去 .env 中配置 QUEUE_DRIVER，因为现在打算用 Redis，所以配置成 redis。

接着配置 queue.php 里 connections 部分的 redis 连接，其中 connection 对应的值就是 database.php 中 redis 的那个 default 连接。

数据库

要使用 database 这个队列驱动的话，你需要创建一个数据表来存储任务。你可以用 queue:table 这个 Artisan 

php artisan queue:table

处理失败的任务

有时候你队列中的任务会失败。不要担心，本来事情就不会一帆风顺。

Laravel 内置了一个方便的方式来指定任务重试的最大次数。当任务超出这个重试次数后，它就会被插入到 failed_jobs 数据表里面。要创建 failed_jobs 表的迁移文件，你可以用 queue:failed-table 命令，接着使用 migrate Artisan 命令生成 failed_jobs 表：

php artisan queue:failed-table

命令来创建这个数据表的迁移。当迁移创建好以后，就可以用 migrate 这条命令来创建数据表：

php artisan migrate

执行命令讲解

php artisan queue:work --daemon --quiet --queue=default --delay=3 --sleep=3 --tries=3

--daemon

The queue:work Artisan command includes a —daemon option for forcing the queue worker to continue processing jobs without ever re-booting the framework. This results in a significant reduction of CPU usage when compared to the queue:listen command

总体来说，在 supervisor 中一般要加这个 option，可以节省 CPU 使用。

--quiet

不输出任何内容

--delay=3

一个任务失败后，延迟多长时间后再重试，单位是秒。这个值的设定我个人建议不要太短，因为一个任务失败（比如网络原因），重试时间太短可能会出现连续失败的情况。

--sleep=3

去 Redis 中拿任务的时候，发现没有任务，休息多长时间，单位是秒。这个值的设定要看你的任务是否紧急，如果是那种非常紧急的任务，不能等待太长时间。

--tries=3

定义失败任务最多重试次数。这个值的设定根据任务的重要程度来确定，一般 3 次比较适合。

创建任务

生成任务类

在你的应用程序中，队列的任务类都默认放在 app/Jobs 目录下。如果这个目录不存在，那当你运行 make:job Artisan 命令时目录就会被自动创建。你可以用以下的 Artisan 命令来生成一个新的队列任务：

php artisan make:job Demo

生成的类实现了 Illuminate\Contracts\Queue\ShouldQueue 接口，这意味着这个任务将会被推送到队列中，而不是同步执行。

<?php

namespace App\Jobs;

use Illuminate\Bus\Queueable;
use Illuminate\Queue\SerializesModels;
use Illuminate\Queue\InteractsWithQueue;
use Illuminate\Contracts\Queue\ShouldQueue;
use Illuminate\Foundation\Bus\Dispatchable;
use Illuminate\Support\Facades\Log;

class Demo implements ShouldQueue
{
    use Dispatchable, InteractsWithQueue, Queueable, SerializesModels;

    public $param;
    /**
     * Create a new job instance.
     *
     * @return void
     */
    public function __construct($param = '')
    {
        $this->param = $param;
    }

    /**
     * Execute the job.
     *
     * @return void
     */
    public function handle()
    {
        Log::info('Hello, '.$this->param);
    }
}

控制器代码

public function queue_demo()
{
    $num = rand(1,999999999);
    // 这个任务将被分发到默认队列...
    DemoJob::dispatch($num);
}

开启队列

php artisan queue:work --queue=default

由于是本地，需要打开监听，当访问到接口时，就会触发队列中的任务

线上的话需要用到supervisor的配置

Supervisor 配置

安装 Supervisor

Supervisor 是一个 Linux 操作系统上的进程监控软件，它会在 queue:listen 或 queue:work 命令发生失败后自动重启它们。在 Ubuntu 安装 Supervisor，可以用以下命令：

sudo apt-get install supervisor

{tip} 如果自己手动配置 Supervisor 听起来有点难以应付，可以考虑使用 Laravel Forge，它能给你的 Laravel 项目自动安装与配置 Supervisor。

配置 Supervisor

Supervisor 的配置文件一般是放在 /etc/supervisor/conf.d 目录下。在这个目录中你可以创建任意数量的配置文件来要求 Supervisor 怎样监控你的进程。例如我们创建一个 laravel-worker.conf 来启动与监控一个 queue:work 进程：

[program:laravel-worker]
process_name=%(program_name)s_%(process_num)02d
command=php /home/forge/app.com/artisan queue:work sqs --sleep=3 --tries=3
autostart=true
autorestart=true
user=forge
numprocs=8
redirect_stderr=true
stdout_logfile=/home/forge/app.com/worker.log

这个例子里的 numprocs 命令会要求 Supervisor 运行并监控 8 个 queue:work 进程，并且在它们运行失败后重新启动。当然，你必须更改 command 命令的 queue:work sqs ，以显示你所选择的队列驱动。

启动 Supervisor
当这个配置文件被创建后，你需要更新 Supervisor 的配置，并用以下命令来启动该进程：

sudo supervisorctl reread

sudo supervisorctl update

sudo supervisorctl start laravel-worker:*

使用supervisor进程管理命令之前先启动supervisord，否则程序报错。
使用命令supervisord -c /etc/supervisord.conf启动。

有关 Supervisor 的设置与使用，请参考 Supervisor 官方文档

常见问题

  1. unix:///var/run/supervisor.sock no such file

    问题描述：安装好supervisor没有开启服务直接使用supervisorctl报的错

    解决办法：supervisord -c /etc/supervisord.conf

  2. command中指定的进程已经起来，但supervisor还不断重启

    问题描述：command中启动方式为后台启动，导致识别不到pid，然后不断重启，这里使用的是elasticsearch，command指定的是$path/bin/elasticsearch -d

    解决办法：supervisor无法检测后台启动进程的pid，而supervisor本身就是后台启动守护进程，因此不用担心这个

  3. 启动了多个supervisord服务，导致无法正常关闭服务

    问题描述：在运行supervisord -c /etc/supervisord.conf之前，直接运行过supervisord -c /etc/supervisord.d/xx.conf导致有些进程被多个superviord管理，无法正常关闭进程。

    解决办法：使用ps -fe | grep supervisord查看所有启动过的supervisord服务，kill相关的进程。

具体示例代码参考github仓库

文章作者: WXiangQian
文章链接: https://wxiangqian.github.io/2019/08/27/laravel/Laravel%E4%B8%AD%E4%BD%BF%E7%94%A8Queue%E9%98%9F%E5%88%97%E6%8A%80%E5%B7%A7/
版权声明: 本博客所有文章除特別声明外，均采用 CC BY 4.0 许可协议。转载请注明来源 WXiangQian !
laravel
赏
 上一篇
composer如何更新指定的依赖包 composer如何更新指定的依赖包
composer如何更新指定的依赖包Composer 是 PHP 用来管理依赖（dependency）关系的工具。你可以在自己的项目中声明所依赖的外部工具库（libraries），Composer 会帮你安装这些依赖的库文件。 compos
2019-09-02 composer
composer
下一篇 
laravel-admin新手快速入门以及遇到的那些坑 laravel-admin新手快速入门以及遇到的那些坑
laravel-admin 是一个用于为Laravel提供后台界面的构建器 仅仅通过数行代码，就可以帮助我们构建CRUD后台。 laravel-admin不需要写前端页面，在控制器controller中渲染即可为了方便大家使用，下面部分代
2019-08-22 laravel
laravel
  目录