除了使用TPU或GPU来加快响应时间，还有其他解决方案吗？我正在使用以下命令：
python run_squad.py
--vocab_file=$BERT_LARGE_DIR/vocab.txt
--bert_config_file=$BERT_LARGE_DIR/bert_config.json
--init_checkpoint=$BERT_LARGE_DIR/bert_model.ckpt
--do_train=False
--train_file=$SQUAD_DIR/train-v2.0.json
--do_predict=True
--predict_file=$SQUAD_DIR/dev-v2.0.json
--train_batch_size=24
--learning_rate=3e-5
--num_train_epochs=2.0
--max_seq_length=384
--doc_stride=128
--output_dir=gs://some_bucket/squad_large/
--use_tpu=True
--tpu_name=$TPU_NAME
--version_2_with_negative=True
--null_score_diff_threshold=$THRESH
1条答案
按热度按时间kxe2p93d1#
我发现仅使用CPU进行预测会大大降低速度，至少对于主要处理过程是这样的。降低速度的原因是当GPU被使用时，其他处理部分，例如向量创建(这是一个大块),只在***一个***CPU上发生。对于仅使用CPU的处理，所有处理都分布在所有CPU上。然而，与GPU相比，CPU上的繁重计算要慢得多。
现在如果我们能充分利用所有的GPU就好了。