我想在我的代码中使用Pytorch的英特尔扩展来提高整体性能。请参考此GitHub(https://github.com/intel/intel-extension-for-pytorch)进行安装。
目前,我正在试用一个拥抱脸总结PyTorch示例(https://github.com/huggingface/transformers/blob/master/examples/pytorch/summarization/run_summarization.py)。
# Initialize our Trainer
trainer = Seq2SeqTrainer(
model=model,
args=training_args,
train_dataset=train_dataset if training_args.do_train else None,
eval_dataset=eval_dataset if training_args.do_eval else None,
tokenizer=tokenizer,
data_collator=data_collator,
compute_metrics=compute_metrics if training_args.predict_with_generate else None,
)
我不知道在此代码中启用IPEX。有人能帮助我吗?
提前致谢!
4条答案
按热度按时间uemypmqf1#
启用IPEX所需的主要变更包括:
另外,请查看https://intel.github.io/intel-extension-for-pytorch/latest/tutorials/examples.html了解IPEX示例。请查看IPEX官方页面https://www.intel.com/content/www/us/en/developer/tools/oneapi/extension-for-pytorch.html。
c0vxltue2#
要启用Intel Extension for Pytorch,您只需在代码中给予以下内容:
导入上述内容扩展了PyTorch,优化了英特尔硬件上的性能提升
之后,您必须在代码中添加此代码
t9eec4r03#
首先,您需要将Trainer对象子类化,并创建一个自定义优化器,如Hugging Face docs
用于使用
intel_extension_for_pytorch
的API发生了一些变化,要使用该库,您只需执行以下操作:umuewwlo4#
目前,Transformers 4.21已支持IPEX。IPEX图形优化采用JIT模式