大模型

。上班摸鱼动手做了一个实践！.主要是为了从零到一搞清楚基于MCP开发Agent应用全流程，方便为研究新的落地场景，做新的AI产品做准备。.实践实现的是目前最常见的Agent知识库系统，支持检索问答，上...

。家人们，今天来聊聊超厉害的AI Agent ！它的强劲之处在于能自动执行复杂任务，大大提升自动化水平，让智能决策更高效，简直是工作学习的超强助手。 工作原理四步走 感知：通过各种传感器敏锐捕捉环境变...

。从头开始利用RAG、Agent、LangChain等技术搭建本地知识库-本地模型准备：通过Ollama部署模型，需要详细部署教程的朋友可以参照我上一条《2步轻松部署本地AI大模型》的笔记进行设置...

大模型备案语料安全评估有哪些要求？需详细分类统计语料来源及规模，核查语料合法性，标注规则需符合要求，标注人员资质和培训记录需详细说明

。推理优化的重大性大模型推理优化是解决大规模语言模型（LLM）高效推理的关键。以540B参数的GaLM为例，其推理成本超级高，如果无法优化成本，模型的普惠性将大打折扣。大模型的推理需求主要可分为两类...

。结构裁剪面对超大参数量模型，不做裁剪直接部署，那是真不现实。常用的一招是剪掉影响不大的层，列如中间冗余的attention block，或者MLP里维度特别高的部分。 也可以用结构重参数化的思路，把...

目前大模型火归火，但落地一看推理慢、资源吃紧，许多都跑不动，特别是在边缘设备或者商用场景里。所以推理加速优化，真的就是决定能不能真正work的关键。我们来聊聊2025年比较实用、还挺有前景的优化手段...

大模型备案，听起来复杂？实则跟着指南一步步来，就简单多了！ 技术文档、 测试报告、 用户协议，三大材料缺一不可。 技术文档要详尽，模型架构、数据流程一目了然； 测试报告关乎模型合规，性能安全一个不落...

想深入了解 AI Agent 的发展路线，却发现大部分资料分布在各个方向，找论文、整理资料让我们颇为头大。我把Agent的学习全流程已经整理好了，适合正在研究Agent 技术的同学。都放在知识库了，希...

1. 模型压缩，轻量化是关键说到大模型，大家都知道它的计算量大，推理慢。要想提升推理性能，第一得思考模型的压缩。实则，许多时候并不是非要用那么重的模型。通过剪枝、量化这些技术，你可以大幅减少模型的计算...

.KV Cache是大模型推理优化的一个常用技术，该技术以空间换时间的思想，通过缓存上一次推理得到的KVs，可以在不影响任何计算精度的前提下，提高推理性能，降低端到端的时延。

1.语料安全：抽4000条人工+10%技术检，合格率96% 98%才过关！把敏感词库更新到最新，别让违规语料混进来 2.生成内容：题库至少1000题，人工+关键词+模型三重抽检，90%通过率是底线！提...

生成式AI大模型要备案，安全评估是命门，我熬夜啃完官方文件，把重点画给你们。 语料安全：至少抽3万条，人工+技术双检，合格率≥98%才稳！关键词库和分类模型得按第8章标准搭，别偷懒～ 生成内容：自建题...