深度神经网络模型的不断发展在为智能生活提供了丰富支撑的同时,也对硬件设备资源提出了更高要求。而物联网设备受限于硬件架构、能耗限制、物体大小等物理限制,无法提供足够的硬件资源用于计算。因此,物联网设备难以独立完成复杂的深度神经网络推断任务。团队针对物联终端协同问题提出一种聚合多个物联网设备的计算能力以完成单个设备无法执行任务的深度神经网络划分方法。通过将深度模型以层为粒度进行划分,选择有效的模型分割点,将复杂的深度模型部署到分布式协同环境,综合多个异构设备算力解决高消耗模型的部署问题。这种方法可以与多种传统模型压缩方法进行协同优化,综合提高延迟表现,具备良好的表现性。
算法名称 | 异构物联终端协同深度计算任务分割方法 |
算法接口 | python test.py --config_file config.yaml |
输入 | 当前状态下预期的模型、模型压缩率、当前通讯质量、协作设备算力 |
输出 | 根据预期环境下迭代优化产生的一系列模型划分与压缩方案 |
支持数据集 | 支持cifar-10,cifar-100等数据集 |
依赖库 | Raspberry Pi 4 与 NVIDIA jetson nano为硬件环境,python3.6 与pytorch 1.6 为软件环境 |
参考资源 | flops-conuter,netadapt,slimmable-network,prue-by-mac |
如果觉得我的文章对您有用,请随意打赏。你的支持将鼓励我继续创作!