原标题:《Show HN: We built open OpenRouter that distills usage into a better model》 评分: 138 | 作者: SilenN 💭 既然最后常只剩一模型,路由到底图啥? 🎯 讨论背景 这条 Show HN 介绍的是一个开源的 LLM gateway/router,定位接近 OpenRouter(一个模型聚合与路由平台)和 LiteLLM(一个 LLM API gateway/adapter),但更强调从流量中学习并自动选模型、选推理强度。项目还支持 BYOK(Bring Your Own Key,用户自带 API key)、低延迟转发、缓存和报表,并计划把真实使用数据蒸馏成更好的模型。评论区主要围绕路由是否会破坏 cache、如何用 LLM judge(用另一个 LLM 做评估的判官)把线上结果反馈回去,以及这套东西到底是纯开源基础设施还是企业版产品。另一个贯穿话题是工程实现:它从 Python 重写到 Rust,以追求更低开销,并探索 Tinker(用于 fine-tuning 的组件)和 continua