共收录1个相关网站
oMLX,Mac本地大模型推理服务,oMLX 是一个 macOS 原生的推理服务器，基于 MLX，专门为在 Mac 上跑本地模型做优化。 它针对的痛点很明确：编码 Agent 一个会话里会反复让 KV 缓存失效，每次都要从头重算 promp