在unity中使用FFmpeg

一、FFmpeg简介

其官网上是这样介绍的：

FFmpeg能够实现对视频音频编码、解码、转码、流传输等等一系列功能。它包含有libavcodec, libavutil, libavformat, libavfilter, libavdevice, libswscale，libswresample 库。其中:

libavcodec      是一个包含用于音频/视频编解码器的解码器和编码器的库。
libavutil       是一个包含简化编程功能的库，包括随机数生成器，数据结构，数学例程，核心多媒体实用程序等等。
libavformat     是一个包含多媒体容器格式的解复用器和复用器的库。
libavdevice     是一个包含输入和输出设备的库，用于从许多常见的多媒体输入/输出软件框架中获取和呈现，包括Video4Linux，Video4Linux2，VfW和ALSA。
libavfilter     是一个包含媒体过滤器的库。
libswscale      是一个执行高度优化的图像缩放和色彩空间/像素格式转换操作的库。
libswresample   是一个执行高度优化的音频重采样，重新矩阵化和样本格式转换操作的库。

二、下载FFmpeg

下载地址：http://www.ffmpeg.org/download.html

我们找到Windows对应的下载链接，官网提供了三种文件：1.下载编译成可执行的程序；2.下载编译好的库；3.开发版的库和头文件。

①Static里面只有3个应用程序：ffmpeg.exe，ffplay.exe，ffprobe.exe，每个exe的体积都很大，相关的Dll已经被编译到exe里面去了。

②Shared里面除了3个应用程序之外，还有一些Dll，比如说avcodec-54.dll之类的。Shared里面的exe体积很小，他们在运行的时候，到相应的Dll中调用功能。

③Dev版本是用于开发的，里面包含了库文件xxx.lib以及头文件xxx.h，这个版本不包含exe文件。

我们在unity中使用FFmpeg时一般是使用ffmpeg.exe，把该exe放到固定位置然后再使用相应的参数命令控制ffmpeg执行对应功能。

三、FFmpeg常用参数及命令

1、命令的格式：

ffmpeg [global_options] {[input_file_options] -i input_url} ... {[output_file_options] output_url} ...

示例：
ffmpeg -f dshow -i video="screen-capture-recorder" -f dshow -i audio="virtual-audio-capturer" -y -preset ultrafast -c:v libx264 -b:v 1500k -r 24 -s 1280x720 -y D:Records/output.mp4

2、常用参数：

-f ：格式
gdigrab ：ffmpeg内置的用于抓取Windows桌面的方法，支持抓取指定名称的窗口
dshow ：依赖于第三方软件Screen Capture Recorder（后面简称SCR，下载地址在下面）
补充 ：-f也可以用于指定输出视频地格式，例如-f flv；gdigrab和dshow可以混用，分别捕获视频和音频
-i ：输入源
title ：要录制的窗口的名称，仅用于gdigrab方式
video ：视频播放硬件名称或者"screen-capture-recorder"，后者依赖SCR
audio ：音频播放硬件名称或者"virtual-audio-capturer"，后者依赖SCR
-preset ultrafast ：以最快的速度进行编码，实时录制过程中如果编码速度慢会丢帧
-c:v ：视频编码方式
-c:a ：音频编码方式
-b:v ：视频比特率
-r ：视频帧率
-s ：视频分辨率
-y ：输出文件覆盖已有文件不提示

3、常用命令

（1）将视频的帧速率改为24

ffmpeg -i input.avi -r 24 output.avi

（2）视频格式转换，将avi转成mp4

ffmpeg -i input.avi output.mp4

（3）从视频中提取音频

ffmpeg -i test.mp4 -acodec libmp3lame output.mp3

（4）视频剪切

ffmpeg -ss 00:00:15 -t 00:00:05 -i input.mp4 -vcodec copy -acodec copy output.mp4

（5）将100张图片合成视频，并为其添加背景音频（注意：图片要放在同一个文件夹下，并将图片按001--100的格式命名）

ffmpeg -i 001.mp3 -i %3d.jpg -s 1024x768 -author fy -vcodec mpeg4 darkdoor.avi

（6）官方文档：http://www.ffmpeg.org/ffmpeg.html

四、FFmpeg在Unity 3D中的使用

1、如果需要使用dshow的方式录屏需要提前在电脑上安装Screen Capture Recorder

https://github.com/rdp/screen-capture-recorder-to-video-windows-free

2、命令行调用FFmpeg的核心代码如下：

using System;
using System.Collections;
using System.Diagnostics;
using System.Runtime.InteropServices;
using UnityEngine;

[ExecuteInEditMode]
public class FFRecorder : MonoBehaviour
{
    #region 模拟控制台信号需要使用的DLL
    [DllImport("kernel32.dll")]
    static extern bool GenerateConsoleCtrlEvent(int dwCtrlEvent, int dwProcessGroupId);
    [DllImport("kernel32.dll")]
    static extern bool SetConsoleCtrlHandler(IntPtr handlerRoutine, bool add);
    [DllImport("kernel32.dll")]
    static extern bool AttachConsole(int dwProcessId);
    [DllImport("kernel32.dll")]
    static extern bool FreeConsole();
    #endregion

    #region 设置菜单
    public enum RecordType
    {
        GDIGRAB,
        DSHOW
    }
    public enum Bitrate
    {
        _1000k,
        _1500k,
        _2000k,
        _2500k,
        _3000k,
        _3500k,
        _4000k,
        _5000k,
        _8000k
    }
    public enum Framerate
    {
        _14,
        _24,
        _30,
        _45,
        _60
    }
    public enum Resolution
    {
        _1280x720,
        _1920x1080,
        _Auto
    }
    public enum OutputPath
    {
        Desktop,
        StreamingAsset,
        DataPath,
        Custom
    }
    #endregion

    #region 成员
    [Tooltip("启用Debug则显示CMD窗口，否则不显示。")]
    [SerializeField]
    private bool _debug = false;

    [Tooltip("DSHOW - 录制全屏 \nGUIGRAB - 录制游戏窗口（仅用于发布版）")]
    public RecordType recordType = RecordType.DSHOW;
    public Resolution resolution = Resolution._1280x720;
    public Framerate framerate = Framerate._24;
    public Bitrate bitrate = Bitrate._1500k;
    public OutputPath outputPath = OutputPath.Desktop;
    public string customOutputPath = @"D:/Records";
    public bool IsRecording { get { return _isRecording; } }

    /** ffmpeg参数说明
     * -f ：格式
     *     gdigrab ：ffmpeg内置的用于抓取Windows桌面的方法，支持抓取指定名称的窗口
     *     dshow ：依赖于第三方软件Screen Capture Recorder（后面简称SCR）
     * -i ：输入源
     *     title ：要录制的窗口的名称，仅用于GDIGRAB方式
     *     video ：视频播放硬件名称或者"screen-capture-recorder"，后者依赖SCR
     *     audio ：音频播放硬件名称或者"virtual-audio-capturer"，后者依赖SCR
     * -preset ultrafast ：以最快的速度进行编码，生成的视频文件大
     * -c:v ：视频编码方式
     * -c:a ：音频编码方式
     * -b:v ：视频比特率
     * -r ：视频帧率
     * -s ：视频分辨率
     * -y ：输出文件覆盖已有文件不提示
     * 
     * FFMPEG官方文档：http://ffmpeg.org/ffmpeg-all.html
     * Screen Capture Recorder主页：https://github.com/rdp/screen-capture-recorder-to-video-windows-free
     */

    // 参数：窗口名称 -b比特率 -r帧率 -s分辨率 文件路径 文件名
    private const string FFARGS_GDIGRAB = "-f gdigrab -i title={0} -f dshow -i audio=\"virtual-audio-capturer\" -y -preset ultrafast -rtbufsize 3500k -b:v {1} -r {2} -s {3} {4}/{5}.mp4";
    // 参数：-b比特率 -r帧率 -s分辨率 文件路径 文件名
    private const string FFARGS_DSHOW = "-f dshow -i video=\"screen-capture-recorder\" -f dshow -i audio=\"virtual-audio-capturer\" -y -preset ultrafast -rtbufsize 3500k -b:v {0} -r {1} -s {2} {3}/{4}.mp4";

    private string _ffpath;
    private string _ffargs;

    private int _pid;
    private bool _isRecording = false;
    #endregion

#if !UNITY_EDITOR && !DEVELOPMENT_BUILD
    private void Start()
    {
        _debug = false;
    }
#endif

#if UNITY_EDITOR || DEVELOPMENT_BUILD
    private void OnGUI()
    {
        if (GUILayout.Button("Start")) StartRecording();
        if (GUILayout.Button("Stop")) StopRecording(() => { UnityEngine.Debug.Log("结束录制。"); });
    }
#endif

#if UNITY_EDITOR
    private void OnValidate()
    {
        if (_debug) UnityEngine.Debug.Log("FFRecorder - CMD窗口已启用。");
        else UnityEngine.Debug.Log("FFRecorder - CMD窗口已禁用。");

        if (recordType == RecordType.GDIGRAB)
        {
            UnityEngine.Debug.Log("FFRecorder - 使用【GDIGRAB】模式录制当前窗口。");
            UnityEngine.Debug.LogError("FFRecorder - 【GDIGRAB】模式在编辑器中不可用。");
        }
        else if (recordType == RecordType.DSHOW)
        {
            UnityEngine.Debug.Log("FFRecorder - 使用【DSHOW】模式录制全屏。");
        }
    }
#endif

    public void StartRecording()
    {
        if (_isRecording)
        {
            UnityEngine.Debug.LogError("FFRecorder::StartRecording - 当前已有录制进程。");
            return;
        }

        // 杀死已有的ffmpeg进程，不要加.exe后缀
        Process[] goDie = Process.GetProcessesByName("ffmpeg");
        foreach (Process p in goDie) p.Kill();

        // 解析设置，如果设置正确，则开始录制
        bool validSettings = ParseSettings();
        if (validSettings)
        {
            UnityEngine.Debug.Log("FFRecorder::StartRecording - 执行命令：" + _ffpath + " " + _ffargs);
            StartCoroutine(IERecording());
        }
        else
        {
            UnityEngine.Debug.LogError("FFRecorder::StartRecording - 设置不当，录制取消，请检查控制台输出。");
        }
    }

    public void StopRecording(Action _OnStopRecording)
    {
        if (!_isRecording)
        {
            UnityEngine.Debug.LogError("FFRecorder::StopRecording - 当前没有录制进程，已取消操作。");
            return;
        }

        StartCoroutine(IEExitCmd(_OnStopRecording));
    }

    private bool ParseSettings()
    {
        _ffpath = Application.streamingAssetsPath + @"/ffmpeg/ffmpeg.exe";
        string name = Application.productName + "_" + DateTime.Now.ToString("yyyy-MM-dd-HH-mm-ss");

        // 分辨率
        string s;
        if (resolution == Resolution._1280x720)
        {
            int w = 1280;
            int h = 720;
            if (Screen.width < w)
            {
                w = Screen.width;
                UnityEngine.Debug.LogWarning(string.Format("录制水平分辨率大于屏幕水平分辨率，已自动缩小为{0}。", w));
            }
            if (Screen.height < h)
            {
                h = Screen.height;
                UnityEngine.Debug.LogWarning(string.Format("录制垂直分辨率大于屏幕垂直分辨率，已自动缩小为{0}。", h));
            }
            s = w.ToString() + "x" + h.ToString();
        }
        else if (resolution == Resolution._1920x1080)
        {
            int w = 1920;
            int h = 1080;
            if (Screen.width < w)
            {
                w = Screen.width;
                UnityEngine.Debug.LogWarning(string.Format("录制水平分辨率大于屏幕水平分辨率，已自动缩小为{0}。", w));
            }
            if (Screen.height < h)
            {
                h = Screen.height;
                UnityEngine.Debug.LogWarning(string.Format("录制垂直分辨率大于屏幕垂直分辨率，已自动缩小为{0}。", h));
            }
            s = w.ToString() + "x" + h.ToString();
        }
        else  /*(resolution == Resolution._Auto)*/
        {
            s = Screen.width.ToString() + "x" + Screen.height.ToString();
        }
        // 帧率
        string r = framerate.ToString().Remove(0, 1);
        // 比特率
        string b = bitrate.ToString().Remove(0, 1);

        // 输出位置
        string output;
        if (outputPath == OutputPath.Desktop) output = Environment.GetFolderPath(Environment.SpecialFolder.DesktopDirectory) + "/" + Application.productName + "_Records";
        else if (outputPath == OutputPath.DataPath) output = Application.dataPath + "/" + Application.productName + "_Records";
        else if (outputPath == OutputPath.StreamingAsset) output = Application.streamingAssetsPath + "/" + Application.productName + "_Records";
        else /*(outputPath == OutputPath.Custom)*/ output = customOutputPath;

        // 命令行参数
        if (recordType == RecordType.GDIGRAB)
        {
            _ffargs = string.Format(FFARGS_GDIGRAB, Application.productName, b, r, s, output, name);
        }
        else /*(recordType == RecordType.DSHOW)*/
        {
            _ffargs = string.Format(FFARGS_DSHOW, b, r, s, output, name);
        }

        // 创建输出文件夹
        if (!System.IO.Directory.Exists(output))
        {
            try
            {
                System.IO.Directory.CreateDirectory(output);
            }
            catch (Exception e)
            {
                UnityEngine.Debug.LogError("FFRecorder::ParseSettings - " + e.Message);
                return false;
            }
        }

        return true;
    }

    // 不一定要用协程
    private IEnumerator IERecording()
    {
        yield return null;

        Process ffp = new Process();
        ffp.StartInfo.FileName = _ffpath;                   // 进程可执行文件位置
        ffp.StartInfo.Arguments = _ffargs;                  // 传给可执行文件的命令行参数
        ffp.StartInfo.CreateNoWindow = !_debug;             // 是否显示控制台窗口
        ffp.StartInfo.UseShellExecute = _debug;             // 是否使用操作系统Shell程序启动进程
        ffp.Start();                                        // 开始进程

        _pid = ffp.Id;
        _isRecording = true;
    }

    private IEnumerator IEExitCmd(Action _OnStopRecording)
    {
        // 将当前进程附加到pid进程的控制台
        AttachConsole(_pid);
        // 将控制台事件的处理句柄设为Zero，即当前进程不响应控制台事件
        // 避免在向控制台发送【Ctrl C】指令时连带当前进程一起结束
        SetConsoleCtrlHandler(IntPtr.Zero, true);
        // 向控制台发送 【Ctrl C】结束指令
        // ffmpeg会收到该指令停止录制
        GenerateConsoleCtrlEvent(0, 0);

        // ffmpeg不能立即停止，等待一会，否则视频无法播放
        yield return new WaitForSeconds(3.0f);

        // 卸载控制台事件的处理句柄，不然之后的ffmpeg调用无法正常停止
        SetConsoleCtrlHandler(IntPtr.Zero, false);
        // 剥离已附加的控制台
        FreeConsole();

        _isRecording = false;

        if (_OnStopRecording != null)
        {
            _OnStopRecording();
        }
    }

    // 程序结束时要杀掉后台的录制进程，但这样会导致输出文件无法播放
    private void OnDestroy()
    {
        if (_isRecording)
        {
            try
            {
                UnityEngine.Debug.LogError("FFRecorder::OnDestroy - 录制进程非正常结束，输出文件可能无法播放。");
                Process.GetProcessById(_pid).Kill();
            }
            catch (Exception e)
            {
                UnityEngine.Debug.LogError("FFRecorder::OnDestroy - " + e.Message);
            }
        }
    }
}

3、推流服务

需要安装配置了rtmp模块的nginx。

参考资料：
https://zhuanlan.zhihu.com/p/93525011
https://blog.csdn.net/mazaiting/article/details/79709753
https://blog.csdn.net/qq_21397217/article/details/80537263

五、补充说明 2022.11.03

1.解决Windows中录屏不能使用默认播放器播放，ffmpeg编码视频时采用了 yuv444，而windows 对yuv444 应该支持不够，需要增加-pix_fmt yuv420p。

./ffmpeg.exe -f gdigrab -i desktop  -f dshow -i audio="virtual-audio-capturer" -vcodec libx264 -pix_fmt yuv420p -acodec aac test.mp4

2.解决需要额外安装Screen Capture Recorder。

ffmpeg只使用了SCR的部分功能，不需要全部安装，只需要把其中两个dll注册即可。

注册dll一般是在dll目录下打开有管理员权限的命令行，直接输入regsvr32+xxx.dll注册，注意一定要是管理员权限，dll可以放在任何文件夹。
1.注册录屏dll regsvr32 screen-capture-recorder-x64.dll
2.注册录音dll regsvr32 audio_sniffer-x64.dll

注册dll 需要用到regsvr32命令，其用法为：
"regsvr32 [/s] [/n] [/u] [/i[:cmdline]] dllname”。其中dllname为dll文件名
参数有如下意义：
/u——反注册控件
/s——不管注册成功与否，均不显示提示框
/c——控制台输出
/i——跳过控件的选项进行安装(与注册不同)
/n——不注册控件，此选项必须与/i选项一起使用

3.使用代码进行dll注册。

private bool RegisterDll()
{
    bool result = true;
    try
    {
        string dllPath = Path.Combine(AppDomain.CurrentDomain.BaseDirectory, "XXX.dll");//获得要注册的dll的物理路径
        if (!File.Exists(dllPath))
        {
            Console.Write(string.Format("“{0}”目录下无“XXX.dll”文件！", AppDomain.CurrentDomain.BaseDirectory));
            return false;
        }
        //拼接命令参数
        string startArgs = string.Format("/s \"{0}\"", dllPath);
 
        Process p = new Process();//创建一个新进程，以执行注册动作
        p.StartInfo.FileName = "regsvr32";
        p.StartInfo.Arguments = startArgs;
 
        //以管理员权限注册dll文件
        WindowsIdentity winIdentity = WindowsIdentity.GetCurrent(); //引用命名空间 System.Security.Principal
        WindowsPrincipal winPrincipal = new WindowsPrincipal(winIdentity);
        if (!winPrincipal.IsInRole(WindowsBuiltInRole.Administrator))
        {
            p.StartInfo.Verb = "runas";//管理员权限运行
        }
        p.Start();
        p.WaitForExit();
        p.Close();
        p.Dispose();
    }
    catch (Exception ex)
    {
        result = false;　　　　　　　　  //记录日志，抛出异常
    }
 
    return result;
}