tensorflow 性能调优相关

2019-12-02 16:04:41来源:博客园 阅读 ()

容器云强势上线!快速搭建集群,上万Linux镜像随意使用

tensorflow 性能调优相关

如何进行优化tensorflow 将极大得加速机器学习模型的训练的时间,下面是一下tensorflow性能调优相关的阅读链接:

  • tensorflow 性能调优:http://d0evi1.com/tensorflow/performance/ (概括的较为完整) 
  • tensorflow:input pipeline性能指南:http://d0evi1.com/tensorflow/datasets_performance/ (https://www.tensorflow.org/guide/data_performance ,该文章是对此文章的中文翻译)

阅读摘要:

  • input pipeline 优化:
    • 使用 nvidia-smi -l 2 确认一个GPU是否被充分利用;通过gpu 利用率查看瓶颈是否在 input pipeline;
    • 生成一个 timeline, 观察等待状态。判断每一阶段的耗时;
    • 预估当前训练所需要的吞吐,验证所使用的磁盘,能否支持该吞吐量;
  • CPU 预处理:
    • 在CPU上面,进行处理 input pipeline 操作。来进行释放GPU;
  • 使用Dataset API:
    • dataset api 会使用C++多线程机制,会比基于python的queue_runner的开销更低;使用 feed_dict 来进行装载数据将会存在性能问题;
  • 针对于数据集进行融合和裁剪,也能已经程度上加快tensorflow 的处理速度,在尽量少损失数据的情况下,减少整个数据集的大小,以提高处理速度;
  • 使用大文件:
    • 读取大量小文件可以极大影响I/O性能。获取最大的I/O吞吐量的其中一种方法是,将数据预取处理成更大的文件(TFRecord文件)。对于更小数据集,最好的方法是加载整个数据集到内存中。
  • fused Ops:
    • Fused Ops会将多个Op结合成单个kernel来提升性能。在Tensorflow中有许多fused Ops,当可能时XLA会创建fused Ops来自动提升性能。下面的示例会使用fused Ops,可以极大提升性能。

  • Fused batch norm: 没看懂,之前没有使用过,所以不知道如何来进行使用;
  • 编译安装:缺省的TensorFLow二进制包面向大多数的硬件,以便TensorFlow能为所有人所使用。如果使用CPU进行training或inference,推荐使用CPU的所有优化来编译TensorFlow。开启当前适合于当前CPU的优化;
  • GPU优化:数据并行于模型并行,以及考虑GPU之间来进行共享数据;以及CPU 与 GPU 之间的模型共享;
  • CPU优化:Intel® 已经添加了Intel® Math Kernel Library for Deep Neural Networks (Intel® MKL-DNN) 支持;

保持更新,内容来源于网络。更多内容请关注 cnblogs.com/xuyaowen;


原文链接:https://www.cnblogs.com/xuyaowen/p/tensorflow-performance-optimize.html
如有疑问请与原作者联系

标签:HTTPNETQinputHTTPSPS

版权申明:本站文章部分自网络,如有侵权,请联系:west999com@outlook.com
特别注意:本站所有转载文章言论不代表本站观点,本站所提供的摄影照片,插画,设计作品,如需使用,请与原作者联系,版权归原作者所有

上一篇:Linux系统学习 二十一、SAMBA服务—相关文件、配置文件详解

下一篇:Linux系统学习 二十二、SAMBA服务—Samba基本使用—share权限访