开源模型调用
开源模型调用 使用 Hugging Face 的 transformers 库可以比较方便地调用开源大语言模型。为了先把调用链路跑通，这里尽量选择一个小模型： Qwen/Qwen2.5-0.5B-Instruct 这个模型只有 0.5B 参数，适合本地学习和调试。它的能力不能和 7B、14B 甚至更大的模型相比，但胜在下载快、显存占用低、启动成本小。 为什么先选小模型 刚开始学习开源模型调用时，不建议一上来就跑很大的模型，原因是： 大模型对显存要求更高，环境问题会掩盖调用逻辑本身。 小模型启动快，适合反复调试 prompt、tokenizer 和采样参数。 如果只是学习 tokenizer -> model.generate -> decode 这条链路，0.5B 或 1.5B 已经足够。 小模型可以在很多普通 GPU 甚至 CPU 上跑通，虽然 CPU 会慢一些。 模型权重大致显存可以这样估算： $$ \text{显存} \approx \text{参数量} \times \text{每个参数占用字节数} $$ 以 0.5B 参数为例： 精度 每个...
文本编码与tokenizer
文本编码 ASCII编码 标准 ASCII 使用 7 个二进制位，共能表示 128 个字符。 因为 7 位二进制的组合数量是： $$ 2^7 = 128 $$ 编号范围是： $$ 0 \sim 127 $$ 注意，0 到 127 一共有 128 个数，不是 127 个。 例如： A 的 ASCII 码是 65 a 的 ASCII 码是 97 0 的 ASCII 码是 48 ASCII 码 127 是删除控制符 DEL 之所以常说 ASCII 占一个字节，是因为计算机通常以 8 位为一个字节： 10xxxxxxx 标准 ASCII 实际只使用低 7 位，最高位通常为 0。 因此： 编码 位数 编码范围 可表示数量 标准 ASCII 7 位 0～127 128 个 一个字节 8 位 0～255 256 种状态 后来有些编码使用了第 8 位，把范围扩展到 0～255，通常被称为“扩展 ASCII”。但扩展部分并没有完全统一，不同编码页对应的字符可能不同。 一句话记忆： 最大编号是 127，但字符数量是 128，因为还包括编号 0。 无法表示中文等...
大模型采样参数
temperature和top-p采样 在生成文本时，调整采样策略可以显著影响输出的多样性。两种常用的方法是temperature采样和top-p采样。 temperature和Top-p都是 高->随机，有创造力。 低->确定，偏向保守。 原理 大模型核心任务是预测下一个最可能出现的词，该过程分为生成分数、转换概率、加权采样三个关键步骤。 生成分数 大模型会为其词汇表中所有词（数量通常为几万到几十万）打分，该分数在 AI 领域称为 logit。以用户问题 “可以给我推荐一个讲 ai 的技术频道吗？” 为例，模型会对相关词进行打分，实际应用中通常展示分数最高的前几个词。 转换概率 通过 softmax 函数将分数转换为概率，公式为 $$ \sigma(z_i) = \frac{e^{z_i}}{\sum_{j=1}^{K} e^{z_j}} $$ 其中$z_i$为第 i 个词的分数，K 为词的总量。转换后得到每个词的输出概率，使模型能按概率预测下一个词。 加权采样 根据概率生成预测值的过程称为加权采样。将每个词的概率对应分配到 0-100 的数轴区间，生成随机...
语言模型的演化
语言模型最核心的问题其实很简单：给定前面的词，预测下一个词。 $$ P(w_1,w_2,\dots,w_T)=\prod_{t=1}^{T}P(w_t\mid w_1,\dots,w_{t-1}) $$ 但难点在于：上下文可能很长，词表可能很大，语言里还存在大量没有见过的新组合。因此语言模型的发展，基本就是一条不断扩大上下文、改进表示方式、增强长期依赖建模能力的路线。 N-gram模型 N-gram 是最早期、也最直观的统计语言模型。它的核心假设是：预测当前词时，不需要看完整历史，只需要看前面固定长度的 $N-1$ 个词。 例如三元模型（trigram）会把句子概率近似为： $$ P(w_t\mid w_1,\dots,w_{t-1})\approx P(w_t\mid w_{t-2},w_{t-1}) $$ 也就是说，如果我们要预测“学习”，模型只看前面的两个词： N-gram 的训练方式非常朴素：在语料库里数频次。 $$ P(w_t\mid w_{t-2},w_{t-1})= \frac{count(w_{t-2},w_{t-1},w_t)} {count(w_...
Transformer架构详解
为什么现在主流大模型用的都是transformer架构？ 2017年提出的原始transformer架构 他与我们接下来所要学习的现代大模型架构是有一定出入的。 首先，原始transformer使用编码器-解码器架构，而现代大语言模型使用解码器结构。这是因为编码器负责理解，解码器负责生成 天然适合生成： GPT 不使用编码器，主要是因为它的核心任务是自回归生成，也就是根据前面的 token 预测下一个 token。这个任务天然适合 Decoder-only 架构。 训练目标统一： Decoder-only 目标简单，预测下一个token，不像Encoder-Decoder那样要分阶段、分任务，目标越统一，训练越稳定。 易扩展： Decoder-only模型只要在prompt里面多写几句例子，就能快速适应迁移任务。 然后，每个transformer块的结构也不同，原始transformer中是post-norm,而现代大模型是pre-norm 原始 Transformer 用 Post-Norm，是因为当时模型比较浅，只有 6 层 Encoder、6 层 Decoder，Post-...
ThemeKG在构建数据库参数信息这个特定主题的知识图谱上的启发
直接将原始语料输入给LLM进行知识图谱构建的话，还是会因为幻觉产生不准确的实体，以及模糊或者错误关系。《LLMs for Knowledge Graph Construction and Reasoning: Recent Capabilities and Future Opportunities》中指出LLM更适合作为推理工具而不是少样本信息抽取器。 借鉴《Automated Construction of Theme-specific Knowledge Graphs》的思路，可以先定义好参数的顶层骨架，或者说是实体的类型层，比如： InnoDBParameter OptimizerParameter BinlogParameter MemoryParameter IOParameter ThreadParameter 上面这些是参数的子类别，接下来将资源，硬件，指标等也进行实体定义 Metric WorkloadPattern Resource StorageEngine Version Symptom TuningGoal Risk 将实体类别定义好之后，再让模型从文...
知识图谱入门
Neo4j 1. 什么是Neo4j Neo4j是一个基于图形数据库的开源项目，专门用于存储和查询图形数据。它使用图形结构来表示数据，其中节点表示实体，边表示实体之间的关系。这种结构使得Neo4j非常适合处理复杂的关系数据，如社交网络、推荐系统和知识图谱等。 2. Neo4j的存储方式 Neo4j使用节点，关系，属性来存储数据。 节点（Node）： 表示图中的实体，并由标签标记。每个节点可以有一个或多个标签，标签用于分类节点。例如，图中节点标签为"person"和"actor" 节点可以有属性，属性是键值对，用于存储节点的具体信息。例如，一个人的节点可能有属性“name”和“born”。 被索引并受约束 关系（Relationship）： 提供两个节点间的命名链接，必须有起始节点和结束节点。 关系也可以有属性，用于存储关系的具体信息。例如，一个“WORKS_FOR”关系可能有属性“since”，表示某人从什么时候开始在某公司工作。 必须有方向 节点可以拥有多种类型的多个关系。 属性（Property）： 属性是键值对，...
D-Bot：基于LLM的数据库诊断系统
背景 数据库异常种类繁多，不可能用预定义的规则全面覆盖，往往依靠DBA的专业知识进行逐步分析。然而，人类DBA和令人望而生畏的异常问题之间存在巨大差距。 培训一个DBA需要大量的时间， 几乎不可能雇用足够的DBA来管理海量的数据库实例 在紧急情况下，DBA分析问题可能需要较长时间，在这期间会造成巨大的经济损失。 基于此，现在的数据库系统配备了半自动化工具，但是这些工具大多是（1.经验规则和小模型能力太窄)基于经验规则或者小型ML模型进行的，(2.泛化能力差)这些方法不能灵活地应用到变化的场景中。对于经验规则来说，重新根据新文档变换经验规则是很繁琐的，而ML模型需要重新设计输入指标和标签，并针对新场景重新训练模型。（3.缺乏像 DBA 一样的推理和交互能力）真实诊断需要递归地查看不同系统视图、结合工具结果调整下一步动作，而传统方法做不到这种“边诊断边探索”的过程。 因此，作者希望构建出具有以下三个特点的数据库系统： 精确诊断，可以制定诊断计划来准确地找到该优化的参数 节省费用和时间 通用性强，可以自己学习给定的文档，灵活分析未见的异常 即能够读文档学知识、知道当前该调用什么...
自动模式设计综述
《Self-tuning Database Systems: A Systematic Literature Review of Automatic Database Schema Design and Tuning》 探索 SQL 和 NoSQL 数据库自动化模式调优方法的实质性工作，也是首个提出用于评估和比较不同模式调优解决方案的分类体系的工作。本综述有助于探讨当前解决方案的动机与能力之间的差距，并据此确定未来的研究方向。通俗点来讲就是探究数据库内部数据结构设计的自动化方法，使其跑得更快，效果更好。 关系型数据库自动化模式设计 关系型数据库的自动化模式设计主要侧重于物理模型设计。 物理结构设计包括： 辅助加速对象：索引、物化视图 底层数据组织对象：在多维关系型数据库中使用的聚簇键，在无共享并行数据库系统中使用的分区键。 自动化物理设计通常三步走： 生成可能的备选方案 评估备选方案 选择代价最低的最佳方案 基于上述流程，研究人员将自动化物理设计拆解为两个最核心的技术维度： 代价模型 (Cost Model)：它是系统的“评估裁判” 。主要负责评估所有备选设计，并估算出...
参数调优《GPTune》
当前的调优系统通常利用贝叶斯优化（BO）或强化学习（RL）通过试错来探索空间 。然而，这些方法依然会产生高昂的调优成本，通常需要数百到数千次耗时的迭代才能找到理想配置 。 难点 1：参数太多。现有方法要么选择固定的参数子集，牺牲了灵活性；要么需要极其消耗资源的大量运行来识别重要参数 。 难点 2：搜索空间太大。现有方法大多直接使用 DBMS 供应商提供的默认值域，这些值域过于宽泛，不仅使调优过程复杂化，还引入了系统崩溃的风险。 挑战一（C1）：很难在平衡成本与质量的前提下，将异构的自然语言知识统一为机器可读的结构化视图。现有的数据提取和清理工作流复杂且难以满足需求 。 挑战二（C2）：即使有了结构化知识，BO 和 RL 等标准优化算法在设计上并不支持直接集成外部领域知识。而单纯人工提取的静态规则又无法适应多变的工作负载环境 。 GPTUNER 的创新设计： 解决 C1：针对 LLM 容易产生幻觉的脆弱特性，设计了一个包含双重纠错机制的 LLM 管道。该管道涵盖数据摄取、基于 LLM 的数据清洗过滤、冲突处理集成以及事实一致性校对。 解决 C2：在调优前利用 LLM 的文本分析能力...