花灰资源网

花灰资源网

Opus音频编解码在arm上的移植

yuhuahui 0 14 次浏览 未分类

一、简介

现在有个需求，在局域网内实现实时语音，传输层协议使用UDP协议，如果直接使用ALSA进行录制音频流并发送到另一端进行播放，音质会非常差，而且断断续续，原因如下：

采样频率： fm = 44.1KHz

量化位数：16bit

声道配置：2(双声道)

那么，码率 V = 44.1K 16 2 = 1411.2 Kbps = 176.4KBps，即每秒传输速率大概176.4KB，

若音频帧时间为20ms，每个音频数据包大小为 size = 176.4KBps * 0.02s = 3.528KB，

一般情况下，我们每次读取一个音频帧的数据，可以取整为3600Byte，

所以 每秒大概发送 176.4/3.6=49 个数据包，每个数据包大小为3.6KB。

如果再考虑到数据报头，实测每秒发送约45个数据包，每秒传输速率大概180KB。

由于一般都是使用手机连接Wifi，这就要求网络质量和硬件设备必须很好，而且信道干扰较弱，并且链接的设备不能过多。只要稍微信号不好，就会导致丢包率特别高，而且延时十分大，根本无法满足通信的需要。在这种情况下，我们就需要进行语音压缩、降噪等处理。

二、局域网语音配置

如果传输的仅仅是语音信息，那么不需要很高的采样频率，可以使用8KHz进行采样，单通道即可。

int DEFAULT_SAMPLERATEINHZ = 8000;                              // 采样频率
int DEFAULT_AUDIOFORMAT = AudioFormat.ENCODING_PCM_16BIT;       // 数据格式
int DEFAULT_STREAMTYPE = AudioManager.STREAM_MUSIC;             // 音频类型
int DEFAULT_CHANNELCONFIG_OUT = AudioFormat.CHANNEL_OUT_MONO;   // 声道配置
int DEFAULT_CHANNELCONFIG_IN = AudioFormat.CHANNEL_IN_MONO;     // 声道配置
int DEFAULT_AUDIOSOURCE = AudioSource.MIC;                      // 音频来源
  • 采样频率：8KHz，可以采集比较完整的语音信息。当然，对于高频的信息无能为力；
  • 数据格式：16bit，可以较为详细的表示声音的幅度；
  • 声道配置：单声道输入和输出，能够适配所有的机型，少部分手机不支持双声道(立体声)，如果设置立体声会只出现左耳机有声音的情况；
  • 音频类型：音乐流
  • 输出模式：音频流
  • 音频来源：麦克风

三、opus在arm的嵌入式平台上的移植和开发

网站：
https://opus-codec.org/downloads/ 把最新的稳定的opus源码opus-1.3.1.tar.gz下载 或者在github上下载

$ git clone https://git.xiph.org/opus.git
$ cd opus

到本地linux：解压缩之后，在根目录下执行：

./configure CFLAGS="-O3 -mfpu=neon -mfloat-abi=softfp" --enable-fixed-point --disable-float-api --enable-intrinsics --host=arm-linux
// configure后面的参数是指定优化选项，和编译器.
//启用定点数运算，禁用浮点数运算
make
make install

　　opus的接口声明在include/opus.h中.

　　这里面，其实还有很多例子可以研究，在test目录下有每个函数的详细测试，可以查看函数怎么使用，以及每种模式的性能怎么样，都可以测出来。

  • 使用动态码率？

编码器默认使用动态码率，因此需要记录每一个帧编码之后的大小。我的demo使用2字节的头来记录每一块opus数据的大小，具体请看我的demo。

静态码率需要设置编码器的初始化参数如下，编码后产生固定的大小的opus块。

opus_encoder_ctl(_encoder, OPUS_SET_VBR(0));  // 0固定码率CBR，1动态码率VBR
  • 指定码率？

你可以指定opus编码的码率大小，比特率从 6kb/s 到 510 kb/s，想要压缩比大一些就设置码率小一点，但是相应的也会使声音失真多一些。

#define BITRATE 16000 
opus_encoder_ctl(_encoder, OPUS_SET_BITRATE(BITRATE));
  • 语音信号优化？

如果你用于语音而不是音乐，那你完全可以设置如下，以使编码器针对语音模式做优化处理。

opus_encoder_ctl(_encoder, OPUS_SET_APPLICATION(OPUS_APPLICATION_VOIP));
opus_encoder_ctl(_encoder, OPUS_SET_SIGNAL(OPUS_SIGNAL_VOICE));

四、解码流程

//1.创建opus解码器
OpusDecoder *opus_decoder_create(
  opus_int32 Fs,//采样率，可以设置的大小为8000, 12000, 16000, 24000, 48000.
  int channels,//声道数，网络中实时音频一般为单声道
  int *error//是否创建失败,返回0表示创建成功
  );

//2.解码
int opus_decode(
    OpusDecoder *st,          //上一步的返回值
    const unsigned char *data,//要解码的数据
    opus_int32 len,           //编码一帧时的数据长度
    opus_int16 *pcm,          //解码后的数据,注意是一个以16bit为基本单位的数组
    int frame_size,           //每个声道有效采样个数的大小
    int decode_fec            //是否需要fec,设置0为不需要，1为需要
);

//3.把解码数据放入字符数组中
//注：frameSize是上一步的返回值，即每个声道返回的以2字节为单位的数组长度
//pcm是解码后的数据，即上一步的参数4
char *pcmData = new char[frameSize * channels * sizeof(opus_int16)];
for (int i = 0; i < channels framesize i pcmdatai 2='pcm[i]' 0xff pcmdatai 2 1='(pcm[i]'>> 8) & 0xFF;
}
//4.释放解码器
void opus_decoder_destroy(OpusDecoder *st);

五、编码流程

//1.创建并初始化编码器
OpusEncoder *opus_encoder_create(
    opus_int32 Fs,//采样率，可以设置的大小为8000, 12000, 16000, 24000, 48000.
    int channels,//声道数，网络中实时音频一般为单声道
    int application,
    int *error //是否创建失败,返回0表示创建成功
);

//2.编码数据
opus_int32 opus_encode(
    OpusEncoder *st,        //上一步的返回值
    const opus_int16 *pcm,  //将要编码的pcm原始数据,opus_int16格式的音频数据
    int frame_size,         //抽样的每一帧x时间占用的字节大小(每个通道)
    unsigned char *data,    //压缩后的编码写入的字节数组
    opus_int32 max_data_bytes //输出data的最大空间
);

//3.释放编码器
void opus_encoder_destroy(OpusEncoder *st);

//4.编码控制
int opus_encoder_ctl(OpusEncoder *st, int request, ...)

opus_encode() 或者 opus_encode_float() 在调用的时候必须使用的是恰好的一帧(2.5，5，10，20，40，60毫秒)音频数据。

参数

参数类型

入参或出参

解释

st

OpusEncoder*

in

编码器对象

pcm

const opus_int16*

in

输入信号(双声道则为交错模式)，长度为frame_size × channels × sizeof(opus_int16)，即采样个数 × 声道数 × 16。

frame_size

int

in

输入的音频信号的每个声道的采样数量，这一定是一个Opus框架编码器采样率的大小。例如，当采样率为48KHz的时候，采样数量允许的数值为120、240、480、960、1920和2880。传递一个持续时间少于10 ms的音频数据(480个样本48 kHz)，编码器将不会使用LPC或混合模式。

data

unsigned char*

out

输出编码结果，至少包含max_data_bytes个字节数。

max_data_bytes

opus_int32

in

为了输出编码结果分配的内存，它可能用于控制一个即时比特率的上线，但是不应该作为唯一的比特率控制。

关于采样率和采样数量的关系，上文已经提到过，opus_encode() 或者 opus_encode_float() 在调用的时候必须使用的是恰好的一帧(2.5，5，10，20，40，60毫秒)音频数据，如果采样频率为48KHz，那么：

∵ 采样频率 Fm = 48KHz

∴ 采样间隔 T = 1/Fm = 1/48000 s = 1/48 ms

∴ 当T0 = 2.5 ms 时，N = T0/T = 2.5/(1/48) = 120，

当T0 = 5.0 ms 时，N = T0/T = 2.5/(1/48) = 240，

当T0 = 10 ms 时，N = T0/T = 2.5/(1/48) = 480，

当T0 = 20 ms 时，N = T0/T = 2.5/(1/48) = 960，

当T0 = 40 ms 时，N = T0/T = 2.5/(1/48) = 1920，

当T0 = 60 ms 时，N = T0/T = 2.5/(1/48) = 2880，

即，当Fm = 48KHz时：

采样时间(ms)

2.5

5

10

20

40

60

采样个数

120

240

480

960

1920

2880

六、重采样

主流的就是几个开源算法，Speex / Opus / ffmpeg / sox

Opus里面重采样只支持 8K/12K/16K/24K/48K 和 8K/12K/16K 之间的互转，如果是从MP3的44.1K转到48K，Opus建议使用Speex的算法.


经过测试8k8bit经过编码转换后数据量变大，因为Opus存储的是SL16数据，8bit数据手动转换为16bit有符号数据再传输到opus编码器，导致数据量变大。立体声编码测试也没多大问题，压缩后声音质量肯定会有所损失，但用于网络语音传输完全足够了。

原文链接：，转发请注明来源！
花灰资源网 › 未分类 › Opus音频编解码在arm上的移植