改译自:Leonidas Georgiou,3CX产品经理
如何打造一台本地化的高性能转写设备
在当前由人工智能进步所定义的生态系统中,以技术为重点的企业正日益积极地将 AI 整合到其运营中。有些企业选择外包其 AI 运算负载,直接将数据发送给像 OpenAI 这样的组织进行数据处理;而另一些企业则更倾向于在自己的空间内构建小型运算中心来处理这些工作负载。
本博客着重于后者,探讨如何在内部打造高性能转写设备,该设备未来也可用于其他目的,例如模型训练或调优。
本次构建的明星组件

我们选择了华硕 TUF 5090 32GB OC 版。我们选择华硕 TUF 系列是因其众所周知的可靠性和耐用性。即使必须重新选择,我们仍会选择这张卡,而非那些被互联网宣传运算更快但价格更高的版本。该版本的成本约为人民币 27300 元,明显低于大多数其他版本,而且在推理运算方面的实际速度差异可以忽略不计。为了区区 1-3% 的性能提升而额外花费 3500 到 7000 元是完全不值得的!
为什么 3CX 需要一台高性能 AI 电脑?
3CX Onboard AI 解决方案允许企业在本地运行转写模型,从而显著增强数据隐私并更好地控制处理能力。如果您的企业需要接近实时地完成转写,并且有大量的通话需要处理,那么您可以参考我们给出的配置建议。
设备组件
- 显卡: 华硕 TUF Gaming GeForce RTX 5090 OC Edition 32GB GDDR7 (Nvidia RTX 5090, PCIe 5.0) – ¥28980
- 高速固态硬盘(操作系统/主盘): 三星 9100 PRO NVMe M.2 4TB (PCIe 5.0, 14800MB/s Read) – ¥4340
- 处理器: Intel® Core™ Ultra 9 桌面处理器 285K (24 核, up to 5.7 GHz) – ¥3976
- 内存: 1 x 48GB (2x24GB) DDR5 6000Mhz Corsair Dominator Titanium RGB Intel XMP (CMP48GX5M2B6000C30) – ¥9940
- 电源: CORSAIR HX1200i (2025) 1200W ATX 3.1 & PCIe 5.1 兼容 (全模块化, Platinum) – ¥1813
- 主板: 华硕 TUF Gaming Z890-PRO WiFi (Intel LGA 1851, ATX, PCIe 5.0, DDR5, WiFi 7) – ¥2205
- CPU 散热器: Noctua NH-D15 G2 chromax.black (高级双塔) – ¥1323
总计:¥52577
有些人看到这个价格,可能会想:“我为什么不直接买 Nvidia 的 DGX Spark 呢?它更便宜。”但是,如果这样想,你们一开始就错了!
尽管 DGX Spark 和类似的集成解决方案被宣传为速度极快——并且不可否认它们拥有很棒的宣传——但在转写通话方面,它们比我们刚刚推荐的配置要慢 3-6 倍。DGX Spark 及类似解决方案没有专用的 GPU 内存,而是与系统的其余部分共享 RAM 内存。虽然这带来了拥有比普通内存更多的内存的优势,但其缺点是速度较慢。
降级规格可进一步节省成本
就这台设备而言,诚然,有些硬件配置有点大材小用。例如,内存容量可以降低到 16GB,因为我们将使用 GPU 显存(vRAM)进行推理任务,而不是常规内存。此外,如果您想再节省 700 元,可以将 9100 PRO NVMe 降级为三星的 970-990 PRO 系列。功耗更低的 CPU 也可以胜任,例如 Core Ultra 5 245K / 250K。
不过,只要 5090 显卡还在,同时尽可能包括电源配置不变,其余部分都可以大幅降级。通过降级此类服务器的配置,您可以节省约 7000 元。
配件图片

上图是华硕 TUF 4080 RTX 16GB OC 与华硕 TUF 5090 RTX 32GB OC 的并排比较。这两款 GPU 都重近 3KG,几乎有一个人的前臂那么大。如果您打算购买高端 RTX 系列 Nvidia GPU 来构建自己的定制设备,请务必检查您购买的机箱是否实际装得下。对于这些高端 GPU 来说,空间不足几乎总是一个问题。
性能如何?
这种设备的转写性能可达到实时转写速度的 32 倍到 64 倍,这意味着如果您有 32 到 64 秒长的录音需要转写,加上与模型加载速度及其他因素相关的少量额外开销,转写将花费大约 1-2 秒。
当然,不要忘记对生成的转写文本进行第二次 AI 分析,这可能需要额外几秒钟,具体取决于转写文本的长度。该设备可以处理价值 32-64k tokens 的上下文,这大致相当于 4 小时的对话上下文。这意味着即使是长达 3 小时通话,3CX 在进行通话分析时,也会将完整的对话上下文纳入考量。
以下是我们内部基准测试中有关性能测试的更多详细信息:

结论
我们已经构建了一台高吞吐量的 AI 工作站。对于使用 3CX 电话系统及其 Onboard AI 功能的组织而言,此构建代表了本地处理能力的巅峰,同时平衡了成本,并确保通话转写快速、准确地完成,同时安全地将数据保留在您的网络内。
那么试试看,您能以多快的速度转写通话吧!
参与互动
关注我们的互动频道,我们通过视频、图片、文档,包括召开技术及市场交流会议的形式,方便你了解及掌握 3CX 最新的资讯与技术信息,同时非常欢迎您在我们的媒体平台进行留言。



