内容详情
围绕文章主旨、阅读节奏与信息层次进行优化,让读者进入正文前就能快速理解主题重心与阅读价值。
十万行代码白写了:一次升级逼他们推倒重来
Respan 花了两年时间,在 LiteLLM 之上堆出超过 10 万行 封装代码。本周二,这家公司发布了一个用 Rust 写的开源 AI 网关,把过去那套东西整个换掉。 新网关的思路是"小核心 + 插件":模型供应商、路由、MCP 工具、实时语音、安全控制,全部拆成插件来处理。这套结构借的是 Nginx 的思路——核心保持小,功能往外挪,开发者用同一套接口自己写插件,不用动底层代码。 触发这场重写的,是一次例行升级。 2026 年 1 月,一次常规的 LiteLLM 升级导致间歇性连接失败。Respan 回滚了更新,但始终没搞清楚问题出在哪。公司在 Hacker News 的发布帖里说:"我们至今仍未查明原因。"从那以后,工程师们不再直接升级 LiteLLM,而是把上游修复一个一个单独摘出来用。 插件化带来的直接好处是体积。Respan 称它的 Mistral 供应商插件只有 22 行代码 ;像 Groq 把 token 用量报在另一个字段这类怪癖,也能单独处理。更新一家供应商时,不必牵动网关的其他部分。 请求通过 HTTP 或 WebSocket 进来后,网关按顺序跑一遍插件。插件可以决定由哪个模型处理、改写响应、发起额外调用,或者在请求到达供应商之前把它拦下。两边格式一致时,原始请求和供应商专属字段可以原样保留;格式不一致时,网关负责协议转换——比如为 OpenAI Realtime API 写的应用,不改客户端就能连上 Gemini Live,不过部分功能可能无法带过去。 代价也有,而且不小。 自定义插件要编译进网关,加一个插件意味着维护代码、重新构建二进制文件。 插件跑在网关进程内部,能接触到模型请求和其他敏感数据。 插件顺序决定行为:把缓存放在安全检查前面,缓存响应就可能整个绕过检查。 Rust 能挡内存安全类 bug,挡不住恶意依赖和有缺陷的应用逻辑。发布后的 Hacker News 讨论里就有人提出这一点,一位评论者质疑编译进去的 crate 到底该不该叫插件,理由是它逼开发者维护构建流水线,还引入供应链风险。Respan 创始人承认了这个担忧,同时指出开发者至少可以检查自己正在编译的源码。 在"AI 网关该用 Rust 写"这件事上,Respan 不是独一份。LiteLLM 自己也在把网关往 Rust 迁,但路径完全相反:Respan 是从核心重建,LiteLLM 是一条路由一条路由地搬,Rust 核心默认关闭,处理不了的请求回落到原有的 Python 路径,这样打开开关也不会弄坏 Python 已经能服务的东西。LiteLLM 在 6 月公布了这一计划,目标是一个纯 Rust 服务器,跑所有热路径、鉴权和限流,目前的 beta 还没做到。 LiteLLM 还公布过一组基准测试,称其 Rust 网关的开销比 Bifrost 低约 7 倍 、内存占用低 9 倍 。这些数字来自 LiteLLM 自己的测试,用的是该公司自己开发的基准测试工具。 Respan 的网关目前仍是 pre-alpha 阶段。开发者可以从 GitHub 下载预编译二进制文件,不依赖该公司的付费平台直接运行;自定义插件则仍需自行编译构建。 特别
推荐阅读
Search
热点新闻
主帅高度认可!安东尼奥点名毛伟杰,看好他立足成年国足
这两天,毛伟杰这个名字突然被不少球迷反复提起,不是因为他一下子踢出了什么爆炸性数据,而是安东尼奥在《足球之夜》里给了一个很直白的判断:这名年轻球员,未来有机会进成年国家队。评论区最热的,不是“他有多强”,而是“一个还没完全打出来的小将,为什么会被这么早看好”。这种讨论一出来,大家其实都很熟悉,毕竟国内球迷这些年见过太多“天赋很高,最后没跟上”的故事,所以一听到这种评价,第一反应总是谨慎,甚至有点半
净支持率-15,CNN数据分析师:万斯是共和党最不受欢迎副总统
CNN首席数据分析师哈里·恩滕给出了一组数字:副总统J.D.万斯的净好感度为 负15个百分点 ,在他所称的现代数十年里,这是共和党副总统中最差的一位。 这期节目由CNN主播约翰·伯曼引入。他用万斯在CBS新闻与托尼·多库皮尔的那场市政厅对话片段作为开场,随后把恩滕请上节目,一起拆解这组民调数据。 在那段对话里,多库皮尔当面追问万斯:特朗普第二个任期“已经快两年了”,并直言“到了某个节点,这就是你的
俄乌冲突,事情正在起变化 | 京酿馆
10月21日,德国总理默茨出席在柏林举行的2026柏林全球对话论坛 图/新华社 自俄乌冲突爆发以来,援助乌克兰就是欧盟最大的、最不容置疑的“政治正确”。然而,这个政治标准现在似乎有些动摇了。 据参考消息报道,德国总理默茨日前在接受采访时“诉苦”说:美国自去年年初起就不再为乌克兰的防务出钱,欧洲独自承担援乌费用已近两年,“这对我们的预算来说是个巨大的负担。”默茨又称:“我们会坚持下去。” 默茨此番表
库里遭遇腹斜肌撕裂,两周后复查,这种伤有多严重?球队里谁能填补他的得分空缺?
库里这次倒下,勇士球迷的心估计也跟着裂了一条缝。赛季开打刚满一个月,37岁的老将场均快要拿到28分,正带着勇士稳步向西部前排席位冲刺,结果腹斜肌撕裂,这波向好的势头直接按下暂停键。我的判断是:这伤算不上最凶险的那一类,但对极度依赖核心发力的射手而言,它带来的麻烦程度,远远超过伤病名字本身看上去的样子。 腹斜肌到底是个啥部位,为啥说它金贵? 这组肌肉长在腰腹两侧,负责躯干的转身、侧弯与发力,通俗来讲
国少0-4落后西班牙!埃梅卡补射破门双响,U17国足6分钟连丢两球
首页 NBA视频 旧版页面 录像页面 足球视频 旧版页面 录像页面 NBA资讯 滚动资讯 足球资讯 滚动资讯 电竞 电竞资讯 电竞视频 综合 综合资讯 综合视频 比分 数据 NBA资料库 资料 个人 下载客户端 新版 直播首页 > 足球资讯 >国少0-4落后西班牙!埃梅卡补射破门双响,U17国足6分钟连丢两球 国少0-4落后西班牙!埃梅卡补射破门双响,U17国足6分钟连丢两球 直播吧11月20日讯