NDK学习笔记：JNI调用Java层方法创建Native的AudioTrack播放PCM

 题目有点复杂，不过确实就是那么回事。这章想记录的内容比较多，先列出来：

1. native static 与 native的参数列表 区别
2. JNI 调用 Java的方法（相关API、方法签名的获取）
3. native使用java对象 常用实用技巧。 

废话不说，直接撸码

public class ZzrFFPlayer {

    public native int playMusic(String media_input_str);

    /**
     * 创建一个AudioTrac对象，用于播放
     * @param sampleRateInHz 采样率
     * @param nb_channels 声道数
     * @return AudioTrack_obj
     * // 使用流程
     * AudioTrack audioTrack = new AudioTrack
     * audioTrack.play();
     * audioTrack.write(audioData, offsetInBytes, sizeInBytes);
     */
    public AudioTrack createAudioTrack(int sampleRateInHz, int nb_channels){
        //固定格式的音频码流
        int audioFormat = AudioFormat.ENCODING_PCM_16BIT;
        //声道布局
        int channelConfig;
        if(nb_channels == 1){
            channelConfig = android.media.AudioFormat.CHANNEL_OUT_MONO;
        } else {
            channelConfig = android.media.AudioFormat.CHANNEL_OUT_STEREO;
        }

        int bufferSizeInBytes = AudioTrack.getMinBufferSize(sampleRateInHz, channelConfig, audioFormat);

        AudioTrack audioTrack = new AudioTrack(
                AudioManager.STREAM_MUSIC,
                sampleRateInHz, channelConfig,
                audioFormat,
                bufferSizeInBytes, AudioTrack.MODE_STREAM);

        return audioTrack;
    }
    // ...
}

我们在ZzrFFPlayer新建两个函数，native的playMusic 和 java方法createAudioTrack。用于创建AudioTrack对象。注意native方法不带static，是一个成员方法。

audio_track_fields audioTrackCtx; // 自定义全局变量

JNIEXPORT jint JNICALL
Java_org_zzrblog_mp_ZzrFFPlayer_playMusic(JNIEnv *env, jobject instance, jstring media_input_jstr) 
{
    // 模板代码，参考上篇文章内容
    // ... ...
    //16bit 44100 PCM 数据的实际内存空间。
    uint8_t *out_buffer = (uint8_t *)av_malloc(MAX_AUDIO_FARME_SIZE);
    //根据声道布局 获取 输出的声道个数
    int out_channel_nb = av_get_channel_layout_nb_channels(out_ch_layout);
    // 调用java创建AudioTrack
    createAudioTrackContext(env, instance, out_sample_rate, out_channel_nb);
    // AudioTrack.play
    (*env)->CallVoidMethod(env, audioTrackCtx.audio_track, audioTrackCtx.audio_track_play_mid);

    int ret;
    while(av_read_frame(pFormatContext, packet) >= 0)
    {
        if(packet->stream_index == audio_stream_idx)
        {
            ret = avcodec_send_packet(pCodecContext, packet);
            if(ret < 0) {
                LOGE("avcodec_send_packet：%d\n", ret);
                continue;
            }
            while(ret >= 0) {
                ret = avcodec_receive_frame(pCodecContext, frame);
                if (ret == AVERROR(EAGAIN) || ret == AVERROR_EOF) {
                    LOGD("avcodec_receive_frame：%d\n", ret);
                    break;
                } else if (ret < 0) {
                    LOGW("avcodec_receive_frame：%d\n", AVERROR(ret));
                    goto end;  //end处进行资源释放等善后处理
                }
                if (ret >= 0)
                {
                    swr_convert(swrCtx, &out_buffer, MAX_AUDIO_FARME_SIZE, (const uint8_t **) frame->data, frame->nb_samples);
                    //获取sample的size
                    int out_buffer_size = av_samples_get_buffer_size(NULL, out_channel_nb,
                                                                     frame->nb_samples, out_sample_fmt, 1);
                    // 进入Android.AudioTrack播放PCM的流程
                    //AudioTrack.write(byte[] int int) 
                    //需要byte数组,把out_buffer缓冲区数据转成byte数组,对应jni的jbyteArray 
                    jbyteArray audio_data_byteArray = (*env)->NewByteArray(env, out_buffer_size);
                    jbyte* fp_AudioDataArray = (*env)->GetByteArrayElements(env, audio_data_byteArray, NULL);
                    memcpy(fp_AudioDataArray, out_buffer, (size_t) out_buffer_size);
                    (*env)->ReleaseByteArrayElements(env, audio_data_byteArray, fp_AudioDataArray,0);
                    // AudioTrack.write PCM数据
                    (*env)->CallIntMethod(env,audioTrackCtx.audio_track,audioTrackCtx.audio_track_write_mid,
                                          audio_data_byteArray, 0, out_buffer_size);
                    //！！！释放局部引用，要不然会局部引用溢出
                    (*env)->DeleteLocalRef(env,audio_data_byteArray);
                    usleep(1000 * 16);
                }
            }
        }
        av_packet_unref(packet);
    }
    LOGD("媒体文件.PCM结束\n");
    // ... ...
}

playMusic的实现与上篇文章内容一样，我们直接到关键部分。

首先回答第一个问题：native static 与 native的参数列表区别就在于jni传入的第二个参数。static代表的是类方法，所以第二个参数传入的 jclass 类型的，是说明调用 此方法的类 类型。对应java的 java.lang.Class ;  而非static方法就是传统的成员方法，第二个传入的参数是jobject，代表的是当前调用的对象。 我们通过jobject 通过API 获取 jclass。

接下来我们开始分析第二个关键点：JNI 调用 Java的方法生成java对象。

typedef struct {
    jobject    audio_track;
    jmethodID   audio_track_play_mid;
    jmethodID   audio_track_write_mid;
} audio_track_fields;

audio_track_fields audioTrackCtx;

int createAudioTrackContext(JNIEnv *env, jobject instance, int out_sample_rate, int out_channel_nb)
{
    jclass player_class = (*env)->GetObjectClass(env, instance);
    //java.AudioTrack对象
    jmethodID create_audio_track_mid = (*env)->GetMethodID(env,player_class,"createAudioTrack","(II)Landroid/media/AudioTrack;");
    jobject audio_track = (*env)->CallObjectMethod(env, instance, create_audio_track_mid, out_sample_rate, out_channel_nb);
    if(audio_track!=NULL) {
        audioTrackCtx.audio_track = audio_track;
    } else {
        return -1;
    }

    //java.AudioTrack.play方法
    jclass audio_track_class = (*env)->GetObjectClass(env,audio_track);
    jmethodID audio_track_play_mid = (*env)->GetMethodID(env,audio_track_class,"play","()V");
    //(*env)->CallVoidMethod(env,audio_track,audio_track_play_mid);
    if(audio_track_play_mid!=NULL) {
        audioTrackCtx.audio_track_play_mid = audio_track_play_mid;
    } else {
        return -2;
    }

    //java.AudioTrack.write方法
    jmethodID audio_track_write_mid = (*env)->GetMethodID(env,audio_track_class,"write","([BII)I");
    //(*env)->CallIntMethod(env,audio_track,audio_track_write_mid, audioData, offsetInBytes, sizeInBytes);
    if(audio_track_write_mid!=NULL) {
        audioTrackCtx.audio_track_write_mid = audio_track_write_mid;
    } else {
        return -3;
    }
    return 0;
}

很多传统的Java程序员，即使他们懂C++，可能都会对JNI这个中间人充满恐惧，感觉无法掌握NDK开发的正确姿势。回归正题，JNI 调用 Java的方法其实并不难，需要把握以下几个关键点：

1、搞清楚持有者的类型。即jclass，或者是从 jobject 得到 jclass。这一点不难理解。对象.方法，有了对象才有方法。

2、找到调用的方法。这一步可能就让很多人懵逼了。方法还需要找？一个点，编译器就会给出提示了啊。AS针对Android的开发者为了提高效率，它已经提前帮大家找全并全部展示给开发者。在NDK的开发中我们要怎么去找到方法呢？根据方法的名字和参数列表的签名。方法名字很好理解，那么这里的签名要怎么搞了。通过上方的实例代码，大家可能很难理解，所以我们需要结合下方表格。

数据类型	签名字符	特殊说明
void	V	一般用于表示方法的返回值
boolean	Z
byte	B
char	C
short	S
int	I
long	J
float	F
double	D
数组	[	以[开头，几个[表示几维数组，配合其他签名字符，表示对应数据类型的数组，例如byte数组 => [B
对象引用类型	L全类名;	以L开头、;结尾，中间是引用类型的全类名

 

亦可以使用javasdk的命令
1、javap -s packagename.classname 
2、javap -s -p packagename.classname 
-s表示打印签名信息 
-p表示打印所有函数和成员的签名信息，默认只打印public的签名信息。

上述两条命令需要在class文件的目录下执行。如在AS中就需要先进入app\build\intermediates\classes\{buildTypes}(如：debug、release等) 

 

 

 

 

 

先看几个简单的例子模拟方法签名：

public void test1(){}                    ()V
public void test2(String str)       (Ljava/lang/String;)V
public String str test3(String str){}      (Ljava/lang/String;)Ljava/lang/String;

在回头看看我们自己写的java方法 AudioTrack createAudioTrack(int sampleRateInHz, int nb_channels)；参数两个int，返回的是Andoird系统定义的AudioTrack，所以我们先写两个参数  (II)   然后紧接着就是返回值的签名 Landroid/media/AudioTrack;  最终得出完整的签名 =>    (II)Landroid/media/AudioTrack;  

搞清楚签名之后我们调用GetMethodID( JNIEnv*, jclass, const char*, const char* )从 对象的类 中获取到对应方法的 方法ID。

有方法ID之后，我们就可以针对某个对象调用其方法了，借助Call<type>Method(JNIEnv*, jobject, jmethodID, ...); 系列的API。其中的<type>就是返回的类型，当返回是void的时候对应CallVoidMethod，返回是int的时候对应CallIntMethod，这里我们返回的是AudioTrack是一个对象，所以对应调用的是CallObjectMethod。 至此我们就得到了JNI中使用的AudioTrack对象。

 

但是在实际开发中，经常会用一个结构体代表一组与类对象相关连的方法签名，如下所示：

typedef struct {
    jobject    audio_track;
    jmethodID   audio_track_play_mid;
    jmethodID   audio_track_write_mid;
} audio_track_fields;

audio_track_fields audioTrackCtx;

在这里因为play方法和write方法都是在其他地方调用的，所以暂时把方法签名缓存到结构体当中。

 

 

既然获取到了AudioTrack这个jobject了，就可以去播放PCM的音频数据了。我们直接到解码的while内部的代码：

if (ret >= 0)
{
    swr_convert(swrCtx, &out_buffer, MAX_AUDIO_FARME_SIZE, (const uint8_t **) frame->data, frame->nb_samples);
    //获取sample的size
    int out_buffer_size = av_samples_get_buffer_size(NULL, out_channel_nb,frame->nb_samples, out_sample_fmt, 1);
    //AudioTrack.write(byte[] int int) 需要byte数组,对应jni的jbyteArray
    //需要把out_buffer缓冲区数据转成byte数组
    jbyteArray audio_data_byteArray = (*env)->NewByteArray(env, out_buffer_size);
    jbyte* fp_AudioDataArray = (*env)->GetByteArrayElements(env, audio_data_byteArray, NULL);
    memcpy(fp_AudioDataArray, out_buffer, (size_t) out_buffer_size);
    (*env)->ReleaseByteArrayElements(env, audio_data_byteArray, fp_AudioDataArray,0);
    // AudioTrack.write PCM数据
    (*env)->CallIntMethod(env,audioTrackCtx.audio_track,audioTrackCtx.audio_track_write_mid,
                          audio_data_byteArray, 0, out_buffer_size);
    //！！！释放局部引用，要不然会局部引用溢出
    (*env)->DeleteLocalRef(env,audio_data_byteArray);
    usleep(1000 * 16);
}

明显这个while内部就是调用AudioTrack.write(byte[] int int)的地方，我们一个个把所需的参数找出来。第一个参数是pcm的byte[]数组，第二个参数是数组首地址的偏移，第三个是数组大小。

byte数组对应jni的jbyteArray，然后解码得出的pcm数据在out_buffer缓冲区，我们需要把out_buffer缓冲区数据转成byte数组。怎么做？首先肯定是要new一个jbyteArray（NewByteArray），然后获取jbyteArray这个对象的首地址jbyte*（GetByteArrayElements），然后利用标准c函数memcpy把out_buffer开始的out_buffer_size大小的内存数据 拷贝 到jbyte*首地址所指向的内存区（jbyteArray），复制了还没完工，需要调用ReleaseByteArrayElements告诉jbyteArray对象已经对首地址操作完毕了，赶紧同步一下数据。

现在我们可以调用AudioTrack.write写入PCM数据(*env)->CallIntMethod(env,audioTrackCtx.audio_track,audioTrackCtx.audio_track_write_mid, audio_data_byteArray, 0, out_buffer_size);  注意AudioTrack.write是有返回值int的。然后CallIntMethod（env，jobject，methorid，...）前三个固定值之后就是传入可变参数列表，这个列表就是对应write的(byte[] int int)的三个参数。

还没完！JNI 是属于NDK的一部分，NDK的内存是不归GC管理的。所以NewByteArray出来的jbyteArray要记得DeleteLocalRef，要不然就会出现（local reference overflow）局部引用溢出。

 

项目github地址：https://github.com/MrZhaozhirong/BlogApp