本文记录了英伟达 Jetson 系列边缘盒子的性能测评小结。 测评的 AIBox 是分别来自 浪潮、研智、米文，盒子型号包括 浪潮 Jetson Xavier NX、研智 Jetson Xavier NX、米文 Jetson Nano、米文 Jetson TX2 NX、米文 Jetson Xavier NX、米文 Jetson AGX Xavier，数据对标 浪潮 NX。…

欢迎关注我的公众号 [极智视界]，回复001获取Google编程规范 O_o   >_<   o_O   O_o   ~_~   o_O 大家好，我是极智视界，本文剖析一下格灵深瞳 EQ (Easy Quant) 量化算法实现，以 Tengine 的实现为例。 本文是模型量化实现分享的第五篇，前面已有四篇，有兴趣的同学…

欢迎关注我的公众号 [极智视界]，获取我的更多笔记分享 大家好，我是极智视界，本文整理介绍一下 变形金刚大家族 Transformer ViT CLIP BLIP BERT 模型结构。 这几个模型都跟 变形金刚 相关，Transformer 是最开始的，然后像 ViT、CLIP、BLIP、BERT 都会用到 Transformer Enco…

本教程详细记录了在比特大陆 SE5 边缘盒子上对 caffe SSD 检测模型进行量化和转换部署模型的方法。 文章目录 1、准备 ssd 模型2、转换 fp32 bmodel2.1 转 fp32 bmodel2.2、模型精度验证3、Int 8 量化与模型转换3.1 模型转换 fp32umodel3.2 模型转换 int8 umodel3.2.1 准备lmdb…

欢迎关注我的公众号 [极智视界]，获取我的更多笔记分享 大家好，我是极智视界，本文介绍一下 git 命令行的基本操作。 git 是很好用的代码版本管理工具，在 windows 上有像 小乌龟 tortoise 这样的管理工具来使用 git 或 svn，在 ubuntu 等 linux 系统上咱们可以使用 命令行 来…

欢迎关注我的公众号 [极智视界]，获取我的更多笔记分享 大家好，我是极智视界。本文主要聊一下 GPU 并行推理的几个方式。 CUDA流 表示一个 GPU 操作队列，该队列中的操作将以添加到流中的先后顺序而依次执行。可以将一个流看做是GPU 上的一个任务，不同任务可以并行执行。使用…

欢迎关注我的公众号 [极智视界]，获取我的更多笔记分享 O_o   >_<   o_O   O_o   ~_~   o_O 本文介绍了简化 onnx upsample 算子的方法。 实际部署中经常会涉及到 pytorch / tensorflow / darknet -> onnx 的模型转换过程。本身模型转换过程就比较麻烦（当然 pyt…

欢迎关注我的公众号 [极智视界]，获取我的更多笔记分享 O_o   >_<   o_O   O_o   ~_~   o_O 本文主要聊一下深度学习模型量化相关策略。 模型小型化是算法部署的关键技术，模型小型化的过程通常用模型量化来描述。量化通常是高比特位到低比特位的映射过程，量化的对…