LFM3 Omni 2B WebGPU,浏览器里本地跑的语音对话模型,这是 Liquid AI 给自家 LFM3-Omni-2B 模型做的网页演示,用 WebGPU 让模型直接在你的浏览器里运行,不走云端服务器。 它是一个全模态的小模型,可
这是 Liquid AI 给自家 LFM3-Omni-2B 模型做的网页演示。用 WebGPU 让模型直接在你的浏览器里运行,不走云端服务器。老实说,
它是一个全模态的小模型。可以打字问,也可以直接说话问,回答同时给文字和语音。除了聊天它还能调用一些浏览器能拿到的小工具。比如报时间、查当前位置、看电池电量,算是一个能离线工作的迷你语音助手。
痛点: 使用者不愿将语音对话、位置信息上传云端,担心隐私泄露与数据被二次利用。其实,
解决: 模型完全在本地浏览器运行。零数据上传,语音识别与合成均在端侧完成,物理隔离隐私风险。
痛点: 传统语音助手需稳定网络,弱网/离线环境下不可用;云端推理带来首包延迟与打断体验差。
解决: WebGPU 加速下本地推理无需联网。 首字响应毫秒级,支持真正的离线语音交互场景。话说回来,
痛点: 原生客户端开发维护成本高。分发受限于应用商店审核,
解决: 基于 WebGPU 的浏览器原生能力。“写一次跑 überall”,无需安装、无审核、URL即入口。
大模型动辄数十亿参数显存占用大,普通笔记本/手机无法流畅运行;话说回来,量化损失导致效果不可用。
p<强解决:>想做端侧语音助手不知从何起步缺乏可落地参考实现难以评估“当前技术边界在哪里”。/pp <强解决:> 提供完整WebGPU推理管线参考实现含TokenizerWebWorker流式解码WASM音频编解码工具调用框架可直接Fork二开。/pp/div>