用GGUF和Llama .cpp量化Llama模型 什么是GGML如何用GGML量化llm使用GGML进行量化NF4 vs. GGML vs. GPTQ结论 由于大型语言模型（LLMS）的庞大规模，量化已成为有效运行它们的必要技术。通过降低其权重的精度，您可以节省内存并加快推理…

我经常需要用手机看服务器的运行情况，所以就写一个脚本，通过邮件把服务器运行情况发送给我，直接手机可以查看炼丹状态。事实证明还是很有用的，所以撰写一篇博文将脚本分享给大家。这里用到smtplib和email两个python包。 import s…

认识pip pip是Python的包管理工具，用于安装、升级和管理Python包。 pip是Python标准库之外的一个第三方工具，可以从Python Package Index (PyPl) 下载和安装各种Python包和依赖项。 pip官网地址：https://pypi.org/project/pip/ pip主要的…

一、组成 docker engine：docker-client、rest-api、dockerd containerd： 1、管理容器生命周期 2、拉取/推送镜像 3、存储管理 4、调用runc 5、管理网络 containerd-shim：相当于一个驱动，containerd通过containerd-shim驱使…

环境：Python 3.8.1 Django 2.2.12 项目目录结构： CellMiddle -- 项目根目录 ├─task --- 需求系统 │ ├─migrations │ ├─static │ └─templates ├─logs --- 日志目录 ├─doc --- 文档系统 │ ├─data │ ├─migrations │ ├─st…

1. 线程进程的区别 进程可以称为是资源分配的最小单元，而线程可以称为是处理器分配的最小单元。 资源包括内存空间。同时进程是一段代码的执行过程，这段代码需要多少的内存在代码确定时已经确定下来了。 处理器就是执行单元，一个进程可以拆解…

前言 本篇原始文章写于2023年8月7日，存储在我的语雀文档中。但是语雀分享有诸多不便，为了让更多Godoter更轻松的搜到和看到，就转过来了。 这个项目我上传了Github，后续会贴上链接。 概述 Godot控件体系存在的问题之一就是样式无…

embedding 是指将单词、短语或文本转换成连续向量空间的过程。这个功能可以广泛的用在分类，搜索，推荐等场景。而且使用embedding技术可以突破chatGPT对于token的限制。 今天这期视频就通过实际的代码演示，看看如何使用chatGPT的embedding功能…