一、性能优化的总体目标 核心目标： 用尽可能少的资源（CPU、内存、IO、网络），实现更高的吞吐量、更低的响应时间、更稳定的系统。 性能优化维度：吞吐量、响应时间、可伸缩性、稳定性。 吞吐量优化（Throughput） — 单位时间处理更多请求； 响应时间优化（Latency） — 缩短单个请求的处理时间； 可伸缩性优化（Scalability） — 支持更多并发用户、任务；...
本地部署：如何本地化部署开源大模型ChatGLM3-6B
环境准备 Python 3.9.6 MacBook Pro M1 32G Pycharm 注意 对于搭载了 Apple Silicon 或者 AMD GPU 的 Mac，可以使用 MPS 后端来在 GPU 上运行 ChatGLM3-6B。需要参考 Apple 的 官方说明(https://developer.apple.com/metal/pytorch/) 安装 PyTo...
大模型微调：如何基于ChatGLM3-6B+Lora
ChatGLM3-6B 微调 本目录提供 ChatGLM3-6B 模型的微调示例，包括全量微调和 P-Tuning v2。格式上，提供多轮对话微调样例和输入输出格式微调样例。 如果将模型下载到了本地，本文和代码中的 THUDM/chatglm3-6b 字段均应替换为相应地址以从本地加载模型。 运行示例需要 python>=3.10，除基础的 torch 依赖外，示例代码运行还需要...
RAG实战：基于ChatGLM3-6B+LangChain+Faiss搭建企业内部知识库
概述 🤖️ 一种利用 langchain 思想实现的基于本地知识库的问答应用，目标期望建立一套对中文场景与开源模型支持友好、可离线运行的知识库问答解决方案。 💡 受 GanymedeNil 的项目 document.ai 和 AlexZhangji 创建的 ChatGLM-6B Pull Request 启发，建立了全流程可使用开源模型实现的本地知识库问答应用。本项目的最新版本中可使用 ...
px,pt,em换算表
pt (point，磅)：是一个物理长度单位，指的是72分之一英寸。 px (pixel，像素)：是一个虚拟长度单位，是计算机系统的数字化图像长度单位，如果px要换算成物理长度，需要指定精度DPI(Dots Per Inch，每英寸像素数)，在扫描打印时一般都有DPI可选。Windows系统默认是96dpi，Apple系统默认是72dpi。 em(相对长度单位，相对于当前对象内文本的字体...
技术文档精华
技术文档精华 CDC技术 Redis与MySQL双写一致性如何保证 关于新版雪花算法的答疑 程序员的视角如何写一个BUG分析 性能调优必备利器之 JMH 怎样让你的代码更好地被 JVM JIT Inlining 服务端实时推送技术之SSE 公众号名称：怪味Coding 微信扫码关注或搜索公众号名称
同步与异步 And 阻塞与非阻塞
同步与异步 关注两个进程间通信方式，同步是A进程调用B进程后需要等待B进程执行完成后，A进程才会继续向下执行。异步是A进程调用B进程后，A进程会立即继续向下执行 阻塞与非阻塞 了解 阻塞与非阻塞 首先需要熟悉两个概念 内核空间 与 用户空间 内核空间和用户空间，操作系统为了安全，用户空间是没有权限操作硬件设备的，比如网卡。所以需要通过内核空间与硬件设备间的交互。 内核空间存储的代...
ChartGPT 一些认识记录
几个基本概念 ChatGPT ChatGPT，全称聊天生成预训练转换器（英语：Chat Generative Pre-trained Transformer[2]），是OpenAI开发的人工智能聊天机器人程序，于2022年11月推出。该程序使用基于GPT-3.5、GPT-4架构的大型语言模型并以强化学习训练。 大型语言模型 大型语言模型，大型语言模型(LLM)是指包含数千亿（或更多）参数...
MySQL如何保证数据不丢失
EXPLAIN Output Columns 列名 说明 id 执行编号，标识select所属的行。如果在语句中没子查询或关联查询，只有唯一的select，每行都将显示1。否则，内层的select语句一般会顺序编号，对应于其在原始语句中的位置 select_ty...