发表服务
Ansor论文阅读笔记&&论文翻译.这篇文章介绍了Auto-Scheduler的一种方法Ansor，这种方法已经被继承到TVM中和AutoTVM一起来自动生成高性能的张量化程序。.。.在Ansor论文中主要使用了parallel，cache_read，reorder，unroll，vectorize这些scheduler来描述整个算法，但在Ansor的TVM...
在Ansor论文中主要使用了parallel，cache_read，reorder，unroll，vectorize这些scheduler来描述整个算法，但在Ansor的TVM开源代码实现中不仅限于这些scheduler，在看Ansor论文之前建议先了解…
论文：博客：Schedule例子正如前文所言，TVM将表示和调度抽象为TensorExpression的IR（也就是RelayIR、对应compute）和调度「schedule」，其中调度可以理解为将计算如何映射到硬件上，也就是具体的计算策略，调度空间则是映射方案的有限集合，不同的调度策略对于计算性能有很大的影响。
Ansor论文阅读笔记&&论文翻译这篇文章介绍了Auto-Scheduler的一种方法Ansor，这种方法已经被继承到TVM中和AutoTVM一起来自动生成高性能的张量化程序。BBufPersonalizedSearch论文阅读笔记-08年SIGIR...
Ansor:GeneratingHigh-PerformanceTensorProgramsforDeepLearningAnsor是来自伯克利和阿里的工作，一作Lianmin也是TVM的作者之一。Ansor聚焦在如何自动生成高性能的tensorprogram。思路如下：首先需要一个充分大且全面的tensorprogram搜索
ansor中的taskscheduler会将时间进行切片并对重要的子图优先排序，就像这样，这种优化很像推理里的pipeline优化。4、性能数据下面给出一些测试的性能数据，论文里也有：(1)单算子测试平台是Intel-Platinum8124M(18cores)：(2)
从Ansor的论文中可以了解到在优化GEMM这种计算密集型算子的时候有固定的规则，比如使用“SSRSRS”tile结构来作为GEMM的Scheduler，其中“S”代表空间循环的一个tile级别，“R”代表reduction循环的一个tile级别。这个tile实际上就是上面提到的分块。
Ansor论文（即AutoSchedule）缺点：模版代码量很大（TVM中超过15k）。如果要新的硬件平台、新的算子，就需要新的模版。都是局部优化，而不是全局优化。换句话说，都是针对单个算子的优化。Template-free的优点不需要不停添加template
然后我拿出了Ansor论文中在X86上单个算子优化能力Benchmark图，这里面的NRM就表示2DGEMM。但比较遗憾的是论文没有提到这个矩阵的大小QAQ。从这个图形来看，Ansor在GEMM的优化上是很强的，那么这里为什么没有达到预期的效果呢？
但TVM的搜索时间很长，并且在一些模型上不一定能取得好的效果，后来学者们提出了Ansor，缓解了搜索空间不足以及搜索时间过长的问题。感兴趣的小伙伴可以看一下我这篇对Ansor翻译和调研的文章Ansor论文阅读笔记&&论文翻译。TargetTranslation
Ansor论文阅读笔记&&论文翻译.这篇文章介绍了Auto-Scheduler的一种方法Ansor，这种方法已经被继承到TVM中和AutoTVM一起来自动生成高性能的张量化程序。.。.在Ansor论文中主要使用了parallel，cache_read，reorder，unroll，vectorize这些scheduler来描述整个算法，但在Ansor的TVM...
在Ansor论文中主要使用了parallel，cache_read，reorder，unroll，vectorize这些scheduler来描述整个算法，但在Ansor的TVM开源代码实现中不仅限于这些scheduler，在看Ansor论文之前建议先了解…
论文：博客：Schedule例子正如前文所言，TVM将表示和调度抽象为TensorExpression的IR（也就是RelayIR、对应compute）和调度「schedule」，其中调度可以理解为将计算如何映射到硬件上，也就是具体的计算策略，调度空间则是映射方案的有限集合，不同的调度策略对于计算性能有很大的影响。
Ansor论文阅读笔记&&论文翻译这篇文章介绍了Auto-Scheduler的一种方法Ansor，这种方法已经被继承到TVM中和AutoTVM一起来自动生成高性能的张量化程序。BBufPersonalizedSearch论文阅读笔记-08年SIGIR...
Ansor:GeneratingHigh-PerformanceTensorProgramsforDeepLearningAnsor是来自伯克利和阿里的工作，一作Lianmin也是TVM的作者之一。Ansor聚焦在如何自动生成高性能的tensorprogram。思路如下：首先需要一个充分大且全面的tensorprogram搜索
ansor中的taskscheduler会将时间进行切片并对重要的子图优先排序，就像这样，这种优化很像推理里的pipeline优化。4、性能数据下面给出一些测试的性能数据，论文里也有：(1)单算子测试平台是Intel-Platinum8124M(18cores)：(2)
从Ansor的论文中可以了解到在优化GEMM这种计算密集型算子的时候有固定的规则，比如使用“SSRSRS”tile结构来作为GEMM的Scheduler，其中“S”代表空间循环的一个tile级别，“R”代表reduction循环的一个tile级别。这个tile实际上就是上面提到的分块。
Ansor论文（即AutoSchedule）缺点：模版代码量很大（TVM中超过15k）。如果要新的硬件平台、新的算子，就需要新的模版。都是局部优化，而不是全局优化。换句话说，都是针对单个算子的优化。Template-free的优点不需要不停添加template
然后我拿出了Ansor论文中在X86上单个算子优化能力Benchmark图，这里面的NRM就表示2DGEMM。但比较遗憾的是论文没有提到这个矩阵的大小QAQ。从这个图形来看，Ansor在GEMM的优化上是很强的，那么这里为什么没有达到预期的效果呢？
但TVM的搜索时间很长，并且在一些模型上不一定能取得好的效果，后来学者们提出了Ansor，缓解了搜索空间不足以及搜索时间过长的问题。感兴趣的小伙伴可以看一下我这篇对Ansor翻译和调研的文章Ansor论文阅读笔记&&论文翻译。TargetTranslation
发表服务