深度解析：LangChain 的“回归”之路 —— 为什么我们不再执着于复杂的图结构？引言：消失的“链”与重生的“图”在 LLM 应用开发的短短两年里，开发者经历了从初见 LangChain Chain 模式的惊艳，到面对复杂业务时对其“黑盒”化、线性结构的痛苦，再到 LangChain 官方强推 LangGraph 解决循环问题的狂热。 但最近，社区出现了一种明显的声音：“我们好像又用回 La

构建企业级提示词管理平台：从“硬编码”转向 PromptOps在大型语言模型（LLM）应用的开发过程中，开发者往往会面临“提示词意面（Prompt Spaghetti）”的困境：提示词散落在代码各处、版本管理混乱、缺乏性能监控以及难以进行 A/B 测试。 为了解决这些痛点，开发了一套基于 FastAPI 的提示词管理平台（Prompt Management System）。本文将深度

这篇博客旨在构建一套完整的、可落地的 AI 中台（AI Platform） 架构指南。它结合了微服务架构的解耦思想与大模型（LLM）时代的特殊需求，涵盖了从底层基础设施到上层业务封装的全栈技术路径。 从微服务到 AI 原生：企业级 AI 中台架构全景指南引言：为什么 AI 需要“中台化”？随着大语言模型（LLM）进入应用爆发期，企业在构建 AI 应用时往往面临“烟囱式”开发的困境：每个业务组都在

这是《企业级 AI Agent 平台建设》系列的终结篇。在经历了接入控制、能力标准化和逻辑编排后，我们迎来了平台进入生产环境前的最后一道关卡：监控与治理。 企业级 AI Agent 平台建设指南（四）：监控与治理——建立评估体系与成本中心引言当数十个 Agent 在企业内部上线运行，管理者面临的不再是“能不能用”的问题，而是“好不好用”、“贵不贵”以及“安不安全”。 由于 LLM 的随机性（No

这是《企业级 AI Agent 平台建设》系列的第三篇。在解决了接入（网关层）和资源（能力层）后，我们来到了平台最核心的“逻辑大脑”——编排引擎。 企业级 AI Agent 平台建设指南（三）：工作流编排——从单 Agent 到多 Agent 协作的架构设计引言在简单的问答场景中，直接调用大模型即可满足需求。然而，面对复杂的企业级业务（如：自动生成季度财报并对比去年同期数据），单一的 Promp

这是《企业级 AI Agent 平台建设》系列的第二篇。在上篇中，我们讨论了如何通过“统一网关”控制流量。本篇将聚焦于如何打破企业内部的资源壁垒，将散落在各处的 API 和数据转化为 Agent 可以直接调用的“原子能力”。 企业级 AI Agent 平台建设指南（二）：原子能力池——从异构资源到标准化工具引言如果说 AI 网关是 Agent 平台的“大脑入口”，那么原子能力池 (Atomic

这是一个非常宏大且具有实战价值的课题。在 AI Agent 走向企业级应用的过程中，“从烟囱式开发转向平台化架构”几乎是所有技术团队都会面临的必然选择。 考虑到开题范围很大，这篇技术博客将分为四篇来介绍。今天我们先深入探讨最核心、也是感知最迫切的第一部分：《企业级 AI Agent 平台建设指南（一）：统一 AI 网关的架构与实现》。 这部分内容将重点解决“API 调用乱象”、“私有与公网模型混杂

驯服“模型动物园”：基于 Docker 的多模型统一运维实践在 AI 落地应用的过程中，我们往往面临着一个棘手的“模型动物园”现状：轻量级的 OCR 模型、庞大的 LLM（如 Llama 3）、以及调用外部 API（如 OpenAI）的代理服务混杂在一起。 不同的框架依赖（PyTorch vs TensorFlow）、巨大的算力差异（CPU vs GPU）、以及碎片化的调用方式，让运维变得异常痛苦

打造 C++ 高性能 AI 推理服务：Drogon + ONNX Runtime (YOLOv5 GPU)在构建需要高并发、低延迟的深度学习推理服务时，性能至关重要。本项目展示了如何使用 C++ 的 Drogon 异步 Web 框架和 **ONNX Runtime (ORT)**，搭建一个基于 YOLOv5 模型的 GPU 加速目标检测 HTTP 服务。该架构完美结合了高性能 I/O 和

因为业务要求，最近部署了很多小模型（纯cpu版本），其中涉及到的就是图像处理比较多，基本框架和思路，依然是onnx和opencv的组合。然后，这篇博客主要是记录一下开发的骨架，其中的业务相关的代码剔除了，可以给后续需要的时候快速开发、参考。 代码结构 12345678910111213141516171819202122232425262728293031323334353637383940414