是否要增加MultiResolutionSTFTLoss

[yingfenging]

你好：
我在代码train_lpcnet.py中，有这样的一句代码aux_criteon = MultiResolutionSTFTLoss().cuda()。我想问一下，在训练时尝试过增加STFTLoss吗？如何增加？
我想通过增加STFT Loss来改善LPCnet的效果，但是不知道如何去增加，因为LPCnet网络输出的是概率密度，不是一个具体的采样点值，需要通过采样才能得到具体的采样值

谢谢。期待你的回复。

@BridgetteSong 的答复如下：

1. 我确实尝试通过增加STFT Loss来改善效果，但是我发现对于交叉熵Loss没有改善(训练的交叉熵loss并没有减少)，而且最终的音质也没有什么改善，所以后来就去掉了
2. 因为我本来是想要使用Gaussian分布替换Softmax分布的，所以加入了这个Loss，但是Gaussian的效果不好，于是在交叉熵Loss中也想着加入这个是不是也可以改善。
3. 想要加入STFT，首先需要从SoftMax分布中采样来得到激励信号out_exc的8bit ulaw预测值，然后使用ulaw2lin()转为16bit的float值，再计算ulaw2lin(predict) +ulaw2lin(out_exc)来得到音频的16bit预测样点值，同时输入数据需要增加原始语音输入，就可以计算STFT Loss了
4. 由于原作者实现的LPCNet的一些限制，使用辅助Loss会比较麻烦，一是在提取特征时不能重复读入才可以确保特征长度和原始音频一致，二是我不确定作者的噪声注入是不是会影响辅助Loss，所以我去掉了噪声注入部分
5. 原作者提取特征时就直接使用ulaw，所以当使用辅助Loss时再使用ulaw2lin转化有可能带来ulaw还原误差
6. 我建议当使用交叉熵loss还是不要使用辅助Loss，如果使用其他Loss还是可以尝试的，如Gaussian Loss

[yingfenging]

@BridgetteSong 对于第3条，我觉得可以尝试采用softmax 分布的argmax，看看是否有改善，我觉得交叉熵loss的目的就是让概率密度的最大值的位置出现在目标值上，若是采用sample_from_pdf，则会引入一定的随机性，你觉得呢？

[BridgetteSong]

我初步尝试的版本就是使用的argmax；个人觉得引入随机采样的影响并不大，因为inference就是随机采样，我觉得两者最终的结果差距应该不大

[sundekai]

请问 我做了下面这些操作后
cd 16k-LP7
sh /path/to/concat.sh
./dump_data -train input.s16 features.f32 data.u8
得到的数据如下：
data.u8 shape：(3200000000,)
features.f32 shape：(180000000,)

开始训练后会报错：
Traceback (most recent call last):
File "/Users/bytedance/PycharmProject/BunchedLPCnet-master/training_torch/train_lpcnet.py", line 193, in
main()
File "/Users/bytedance/PycharmProject/BunchedLPCnet-master/training_torch/train_lpcnet.py", line 189, in main
train(args, hparams)
File "/Users/bytedance/PycharmProject/BunchedLPCnet-master/training_torch/train_lpcnet.py", line 139, in train
train_loader, val_loader, test_loader = prepare_dataloaders(hparams)
File "/Users/bytedance/PycharmProject/BunchedLPCnet-master/training_torch/train_lpcnet.py", line 31, in prepare_dataloaders
hparams.bfcc_band, hparams.nb_features, hparams.pitch_idx, hparams.n_samples_per_step, hparams.checkpoint_path)
File "/Users/bytedance/PycharmProject/BunchedLPCnet-master/training_torch/data_utils.py", line 21, in init
self.in_data, self.features, self.periods, self.out_exc = self.process_feature_pcm(self.features, self.pcm, self.n_samples_per_step, self.checkpoint_path)
File "/Users/bytedance/PycharmProject/BunchedLPCnet-master/training_torch/data_utils.py", line 41, in process_feature_pcm
features = np.reshape(features, (nb_frames * feature_chunk_size, nb_features))
File "<array_function internals>", line 6, in reshape
File "/Users/bytedance/opt/anaconda3/envs/lpcnet/lib/python3.7/site-packages/numpy/core/fromnumeric.py", line 298, in reshape
return _wrapfunc(a, 'reshape', newshape, order=order)
File "/Users/bytedance/opt/anaconda3/envs/lpcnet/lib/python3.7/site-packages/numpy/core/fromnumeric.py", line 57, in _wrapfunc
return bound(*args, **kwds)
ValueError: cannot reshape array of size 180000000 into shape (4999995,55)

[sundekai]

期待您的回复 再次感谢

[BridgetteSong]

期待您的回复 再次感谢

1. 这个项目我已经好久没更新了。建议你先尝试官方的LPCNet，如果觉得速度慢，再考虑我的这个方案，如果觉得官方的效果差，那就不要再尝试我的这个项目了。
2. 请确定你的dump_data来源，如果你用的是作者最新的项目，由于作者改动了dump_data的逻辑，和我这个无法匹配(这可能是导致你报错的原因)。如果你能编译的通我的项目，用我的dump_data。
3. 我现在可以确认的是，作者最新的LPCNet速度已经比我现在这个快了，如果你觉得官方的还是不够快，可能需要自己重写BunchedLPCNet，虽然我实现了一版最新版，但是没有更新到github，我觉得质量远不如GAN的好。
4. 我已经放弃优化LPCNet模型了，GAN is all your need.

[sundekai]

@BridgetteSong 你好，你说的对，论文作者确实在两个月前修改了dump_data的逻辑，我实际上是想先跑通LPCNet，然后在此基础上引入GAN，因为个人熟悉pytorch框架而官方代码是Keras的，所以在浏览LPCNet的Pytorch复现代码。

我采用了你的建议使用你的dumpdata逻辑：
但是在执行make命令后，有如下错误：
/Library/Developer/CommandLineTools/usr/bin/make all-am
CC src/lpcnet.lo
src/lpcnet.c:86:17: error: use of undeclared identifier 'DUAL_FC_1_OUT_SIZE'
float pdf_1[DUAL_FC_1_OUT_SIZE];
^
src/lpcnet.c:87:17: error: use of undeclared identifier 'DUAL_FC_2_OUT_SIZE'
float pdf_2[DUAL_FC_2_OUT_SIZE];
^
src/lpcnet.c:91:22: error: use of undeclared identifier 'gru_a_embed_sig_1'; did you mean 'gru_a_embed_sig'?
accum_embedding(&gru_a_embed_sig_1, gru_a_input, last_sig[1]);
^~~~~~~~~~~~~~~~~
gru_a_embed_sig
src/nnet_data.h:9:29: note: 'gru_a_embed_sig' declared here
extern const EmbeddingLayer gru_a_embed_sig;
^
src/lpcnet.c:92:22: error: use of undeclared identifier 'gru_a_embed_pred_1'; did you mean 'gru_a_embed_pred'?
accum_embedding(&gru_a_embed_pred_1, gru_a_input, pred[1]);
^~~~~~~~~~~~~~~~~~
gru_a_embed_pred
src/nnet_data.h:12:29: note: 'gru_a_embed_pred' declared here
extern const EmbeddingLayer gru_a_embed_pred;
^
src/lpcnet.c:93:22: error: use of undeclared identifier 'gru_a_embed_exc_1'; did you mean 'gru_a_embed_exc'?
accum_embedding(&gru_a_embed_exc_1, gru_a_input, last_exc[1]);
^~~~~~~~~~~~~~~~~
gru_a_embed_exc
src/nnet_data.h:15:29: note: 'gru_a_embed_exc' declared here
extern const EmbeddingLayer gru_a_embed_exc;
^
src/lpcnet.c:95:22: error: use of undeclared identifier 'gru_a_embed_sig_0'; did you mean 'gru_a_embed_sig'?
accum_embedding(&gru_a_embed_sig_0, gru_a_input, last_sig[0]);
^~~~~~~~~~~~~~~~~
gru_a_embed_sig
src/nnet_data.h:9:29: note: 'gru_a_embed_sig' declared here
extern const EmbeddingLayer gru_a_embed_sig;
^
src/lpcnet.c:96:22: error: use of undeclared identifier 'gru_a_embed_pred_0'; did you mean 'gru_a_embed_pred'?
accum_embedding(&gru_a_embed_pred_0, gru_a_input, pred[0]);
^~~~~~~~~~~~~~~~~~
gru_a_embed_pred
src/nnet_data.h:12:29: note: 'gru_a_embed_pred' declared here
extern const EmbeddingLayer gru_a_embed_pred;
^
src/lpcnet.c:97:22: error: use of undeclared identifier 'gru_a_embed_exc_0'; did you mean 'gru_a_embed_exc'?
accum_embedding(&gru_a_embed_exc_0, gru_a_input, last_exc[0]);
^~~~~~~~~~~~~~~~~
gru_a_embed_exc
src/nnet_data.h:15:29: note: 'gru_a_embed_exc' declared here
extern const EmbeddingLayer gru_a_embed_exc;
^
src/lpcnet.c:103:21: error: use of undeclared identifier 'dual_fc_1'; did you mean 'dual_fc'?
compute_mdense(&dual_fc_1, pdf_1, net->gru_b_state);
^~~~~~~~~
dual_fc
src/nnet_data.h:51:26: note: 'dual_fc' declared here
extern const MDenseLayer dual_fc;
^
src/lpcnet.c:106:37: error: use of undeclared identifier 'DUAL_FC_1_OUT_SIZE'
exc[1] = sample_from_pdf(pdf_1, DUAL_FC_1_OUT_SIZE, MAX16(0, 1.5fpitch_gain - .5f), PDF_FLOOR);
^
src/lpcnet.c:115:24: error: use of undeclared identifier 'md_embed_sig'; did you mean 'embed_sig'?
compute_embedding(&md_embed_sig, exc_embed_out, exc[1]);
^~~~~~~~~~~~
embed_sig
src/nnet_data.h:37:29: note: 'embed_sig' declared here
extern const EmbeddingLayer embed_sig;
^
src/lpcnet.c:116:22: error: use of undeclared identifier 'dual_fc_2'; did you mean 'dual_fc'?
compute_mdense2(&dual_fc_2, pdf_2, net->gru_b_state, exc_embed_out);
^~~~~~~~~
dual_fc
src/nnet_data.h:51:26: note: 'dual_fc' declared here
extern const MDenseLayer dual_fc;
^
src/lpcnet.c:117:37: error: use of undeclared identifier 'DUAL_FC_2_OUT_SIZE'
exc[0] = sample_from_pdf(pdf_2, DUAL_FC_2_OUT_SIZE, MAX16(0, 1.5fpitch_gain - .5f), PDF_FLOOR);
^
13 errors generated.
make[1]: *** [src/lpcnet.lo] Error 1
make: *** [all] Error 2

期待您的回复

[BridgetteSong]

请保留我提供的nnet_data.c和nnet_data.h，重新编译

[sundekai]

@BridgetteSong 你好 我用的是您的代码 没有做其他修改 ，目前还不知道什么问题。

[sundekai]

@BridgetteSong 还想请教一下 能够和LPCNet的速度和码率相媲美的GAN有哪些推荐的么