欢迎关注我的公众号 [极智视界]，获取我的更多笔记分享 大家好，我是极智视界。本文主要聊一下 GPU 并行推理的几个方式。 CUDA流 表示一个 GPU 操作队列，该队列中的操作将以添加到流中的先后顺序而依次执行。可以将一个流看做是GPU 上的一个任务，不同任务可以并行执行。使用…

欢迎关注我的公众号 [极智视界]，获取我的更多笔记分享 O_o   >_<   o_O   O_o   ~_~   o_O 本文介绍了简化 onnx upsample 算子的方法。 实际部署中经常会涉及到 pytorch / tensorflow / darknet -> onnx 的模型转换过程。本身模型转换过程就比较麻烦（当然 pyt…

欢迎关注我的公众号 [极智视界]，获取我的更多笔记分享 O_o   >_<   o_O   O_o   ~_~   o_O 本文主要聊一下深度学习模型量化相关策略。 模型小型化是算法部署的关键技术，模型小型化的过程通常用模型量化来描述。量化通常是高比特位到低比特位的映射过程，量化的对…

欢迎关注我的公众号 [极智视界]，获取我的更多经验分享 大家好，我是极智视界，本文介绍一下 算能SC5+智算卡驱动安装与升级。 邀您加入我的知识星球「极智视界」，星球内有超多好玩的项目实战源码下载，链接：https://t.zsxq.com/0aiNxERDq 大家应该清楚，咱们用的每个加速卡…

欢迎关注我的公众号 [极智视界]，获取我的更多笔记分享 O_o   >_<   o_O   O_o   ~_~   o_O 本文详细解释了 winograd 算法加速卷积的实现原理。 前面已经写过几篇卷积加速相关的文章，感兴趣的同学可以查阅《【模型推理】一文看懂Img2Col卷积加速算法》、《【模型推…

欢迎关注我的公众号 [极智视界]，回复001获取Google编程规范 O_o   >_<   o_O   O_o   ~_~   o_O 大家好，我是极智视界，本文剖析一下ACIQ 对称量化算法实现，以 Tengine 的实现为例。 这是量化实现的第三篇，前面还有一、二，有兴趣的同学可以查阅 (1) 《【模型推…

通过分析一道算法题&#xff0c;来不断优化代码&#xff0c;体会迭代的过程。题目如下&#xff1a;给你两个按 非递减顺序 排列的整数数组 nums1 和 nums2&#xff0c;另有两个整数 m 和 n &#xff0c;分别表示 nums1 和 nums2 中的元素数目。 请你 合并 nums2 到 nums1 中&am…

项目使用KeepAlive缓存页面&#xff0c;页面内容根据参数来显示区分&#xff0c;所以出现多个路由指向同一个组件&#xff0c;缓存就不生效了。 解决思路 1、动态路由渲染时&#xff0c;给组件套一个空壳&#xff0c;设置不一样的name。2、动态路由渲染时&#xff0c;复制一个…