面对不断变化的动态情境，深度学习模型既不能接受人工操作的统一量化方法带来的再训练成本，也不能接受从庞大设计空间重新搜索混合精度量化策略的巨大时间开销。上下文感知的自适应量化框架（Co...
面对不断变化的动态情境，深度学习模型既不能接受人工操作的统一量化方法带来的再训练成本，也不能接受从庞大设计空间重新搜索混合精度量化策略的巨大时间开销。上下文感知的自适应量化框架（Context-aware Adaptive Quantization framework, CAQ）则通过引入门模块作为量化策略产生器，在深度模型运行时根据模型的资源环境动态切换不同的门以产生主干网络分层匹配的混合精度量化策略，实现量化网络运行时的快速自适应调整。
CAQ算法基于Python 3.6+，CUDA cuDNN、torch等依赖库开发。算法输入为深度模型的部署情境，如设备电量、内存、计算力等，输出则为根据动态运行情境快速自适应调优的量化模型。该算法支持于CIFAR-10、CIFAR-100、ImageNet等数据集上深度学习模型的自适应量化。且在实现过程中，该算法参考了Fractional Skipping、SkipNet等第三方资源实现。
算法名称
| 上下文感知的自适应量化框架
（Context- aware Adaptive Quantization Framework, CAQ） |
算法接口
| python caq.py --config_file config.yaml
|
输入
| 深度模型的部署情境（输入、电量、内存、计算力）
|
输出
| 根据动态运行情境快速自适应调优的量化模型
|
支持数据集
| CIFAR-10、CIFAR-100、ImageNet
|
依赖库
| Python 3.6+、NVIDIA
GPU + CUDA cuDNN、torch
|
参考资源
| Fractional Skipping、SkipNet
|
Gitlab链接：CAQ · GitLab (crowdhmt.com)
