懒猫微服和传统NAS的区别： 懒猫微服 = 传统NAS + Cloudflare + Tailscale + VPN虚拟专网 + Authy + Nginx + AI大模型 + 微信小程序 + AppStore + KVM/Docker/PVE + iCloud/TimeMachine + UU远程 + 万能下载器 + 云端微信 人话省流版： 1. 内网穿透：速度快，WebSocket/TCP/UDP混合打洞，不受运营商干扰，比CloudFlare和Tailscale快很多。可以理解成为带内网穿透的 Mac Mini 2. 虚拟组网：所有设备安装客户端，异地访问，应用场景，AI手机远程跑Codex, 连回家里Mac电脑编译程序，异地多人打局域网游戏；访问家中算力设备，不需要买额外的远控软件 3. Authy： 自带硬件级MFA认证，所有终端设备都有非对称密钥验证，黑客知道用户名密码无法登录，必须有管理员的一次性验证码，60秒内失效，验证码是微服去中心化生成的，绝对安全 4. Nginx： 内置局域网端口转发工具，客户端因权限安装不方便的地方，可以通过端口转发工具和CloudFlared配合，实现外网浏览器访问 5. AI大模型： 相册搜索效果全世界第一，比iCloud和Goolge Photos效果好很多，长句搜索效果速度比开源软件都要快很多 6. 微信小程序：自研小程序跨端框架，原生壳 + JS运行时，一次部署云端应用，自动支持 Windows, macOS, Linux, Android, iOS, Server, 车机（BYD和华为），VR眼镜 8 端运行。App在所有终端都原生运行，爽不爽？ 7. AppStore： 最大私有云App商店，支持4300+ self-host 应用，支持50+ 3A游戏私服，还在以每天10款的软件在快速增长，您的时间最宝贵，节省您时间，更多时间陪家人 8. KVM/Docker/PVE：支持所有虚拟机，Windows， Linux, macOS, Android。 Intel芯片硬件虚拟化，虚拟机速度杠杠的，替代公有云服务器。专业给封闭生态（比如VR）带软件，利用远程桌面，可以让 Windows, macOS, Linux, Android 软件相互在多个设备上投射 9. iCloud/TimeMachine： 支持iCloud和TimeMachine整机备份，一旦备份完，家中所有Android设备可以访问 iCloud 照片，每个月节省大量iCloud云服务费。还支持Live图片，苹果办公软件预览，AppleTV，单反照片预览等。对苹果生态支持最好的私有云 10. UU远程：微服内置LightOS，可以实现手机远程AI编程，所有异地联网设备都可以整机访问AI部署，独有组网技术比UU远程速度更快 11. 万能下载器：能看就能下，支持视频号、抖音、小红书、YouTube、B站、直播等网站一键下载 12. 远程微信：微信跑在家中微服，所有电脑和笔记本共享一份微信数据，不丢聊天记录，原生客户端体验，支持原生输入法和文件拖拽，视频通话等，合法技术不封号 更有懒猫读书、懒猫网盘、懒猫视频、懒猫音乐等官方精品软件，满足日常的办公和娱乐需求 懒猫AI算力舱： 本地AI推理怪兽，搭载英伟达Thor T5000芯片，拥有2070T强悍算力 (FP4算力是DGX GB10的2倍）、128GB超大显存，天然支持CUDA AI生态, 接口有万兆网口、100GB光口、HDMI、 USB和TypeC 相对于Mac Studio优势：Prefill一般在3000~4000 TPS， 是Mac的6到7倍， 并发能力很强， 支持CUDA生态，绝对算力恐怖 2070T 相对于 DGX GB10优势：FP4算力2070T，是GB10 2倍，支持图形化一键部署程序，专业AI工程师调优，一键安装体验 模型支持：单机支持 Qwen 3.8 27B、Qwen 3.8 Flash Next、 MiniMax H3、DeepSeek V4 Flash 等，双机并联支持 DeepSeek V4 Flash、GLM 5.3 Flash 等 性能参数：120GB左右模型，解码单流 100 ~ 133 TPS、 8并发 231 TPS、Prefill 3675 TPS、TTFT 5K 2.49s，265K ~ 900K 上下文（因模型而异） 对我们产品感兴趣的大佬，可以评论区打1, 我来给大佬详细介绍 ；）

感谢大佬博主给我们把算力舱拍的这么好看 确实最近私信我买懒猫 AI 算力舱有大额的优惠哦

今天下午我们在北京希尔顿酒店三楼，英伟达大会等大家，欢迎过来交流 我会在大会上分享主流 AI 模型的性能优化技巧，包括 Deepseek、GLM 和 Qwen 等

DeepInfer + DeepSeek 终于实现单流解码 70 TPS 了 现在开始打包，白天测试一下实战的速度

128GB推理设备的AI模型推理引擎怎么选？ 最近一个月陆陆续续移植了60多个AI模型，基本上主流的AI推理引擎都深度玩了一遍，下面是我的结论： 1. 单流解码优先选 TensorFold：如果要追求单流解码速度， TensorFold 绝对是最佳选择， 这种内置随机解码的推理引擎， 单流解码速度是 vLLM 的 1.3 ~ 3 倍，取决于跑的是稠密模型还是MoE模型，包括我这几天试验的 DeepInfer 也是潜力巨大，解码性能极度优秀，性能和 TensorFold 不相上下 2.高并发选 vLLM 和 SGlang: 如果要追求并发解码性能和预填充性能的，优先 vLLM 和 SGlang, 这两个一般都要配合 DFlash2 做随机解码优化， 配上 DFlash2 后，单流解码性能也非常优秀。那 vLLM 和 SGlang 怎么选？ 从我的理解差别不大，SGlang 会更加新潮一点，跟进流行模型的速度更快 3. Strata 不适合 128GB 大显存推理设备：Strata 这个广受好评的推理引擎，只适合 4090/5090 这些32GB小显存的消费级显卡，不适合128GB这种显存一体的推理设备， 比如DGX和懒猫AI算力舱。以 Strata 最擅长的 Qwen 3.8 Flash Next 为例， 同样 128GB 的推理设备， Strata 的解码性能不如 vLLM 的一半， Prefill的性能不足 vLLM 的 1/2， 强烈不要建议大家在 128GB 设备上跑 Strata , 还是老老实实用 vLLM、 SGLang 和 TensorFold

有很多懒猫AI算力舱的朋友都在说，能否测试一下 Strata 在算力舱上的表现？ Strata这种推理框架是针对4090/5090这种显存只有32GB的设备，其实不适合算力舱这种128GB的大显存设备 第一轮测试结果，Strata 不管是单流解码还是Prefill性能，连 vLLM 一半都没有 我再多优化一下，看看能否把 Strata 救回来 ;)

喝完半斤酒，现在灵感爆棚，回酒店继续写代码

来北京一定要吃涮羊肉加红星二锅头

爽了，现在 Deepseek 1017 实战写代码的速度快达到 100TPS 了 太过瘾了，太牛逼了

很多朋友在推特私信问我说 Deepseek 1017 和 GLM 5.3 是不是你们家算力仓跑得最快的模型？ 其实最开始我也是这样认为的，毕竟是双机 TP2 嘛 但是我终于发现我们家算力仓跑27B 的模型最快，峰值可以达到200多 TPS以上，而且 27B 还是个未审查的，做逆向特别强 想要这套完整方案的老板可以评论区打 1，我来详细给你介绍一下

DeepInfer + DeepSeek 1017 已经实现单流解码 65 TPS 了 提升好快

到北京了 哥们，看了一下你的头顶，看了一下你这个笔记本的状态，一定是在跑 AI 吧？ 好想给你推销一台懒猫微服呀 就怕你打我😂

这两天优化 DeepSeek 1017，把我搞得很矛盾 TensorFold 单流解码速度已经 70 TPS 了 DeepInfer 现在我优化到单流解码 59 TPS，我好想让 TensorFold 等一等 DeepInfer 啊😂

很多人喜欢用 herdr 监控 AI 工作状态的这个功能，但是 herdr 的移动端适配实在是太差了 所以我们 Light OS 马上会有超级大更新，在 PC 端实现 herdr 类似的功能，你在任何懒猫微服穿透的内网主机上，都可以实时看到所有 Agent 的工作状态 这两天用的太爽😁 cc @ZacharyZhang

DeepSeek 1017 + DeepInfer 我优化了一晚上，单流解码已经可以达到 56 TPS 我看看还能不能再快一点，DeepInfer 这个推理引擎非常有潜力呀👍

牛逼啊，全自动 AK47 呀😎

DeepSeek 4.1 1017 版本的解码速度已经提升到了 70TPS 只需要两台懒猫 AI 算力舱，就可以在本地运行最先进的 AI 大模型 想要这套方案的老板，欢迎评论区打 1，我来给你详细介绍

我的 rime-ice-installer 终于内置到 Omarchy 里面去了 大家以后安装 Omarchy 就可以体验非常流畅的输入法，兼容 GTK、QT、Wayland 和 X11 这个输入法主要有几个增强的功能。词库是雾凇拼音，大模型是万象的 AI 大模型，并美化了候选词面板，逗号、句号翻页这些方面的配置全部配置好，完全不用折腾，开箱即用 这个输入法是我日常用了两三年的输入法，特别适合长句输入，而且学习能力很不错