悟道

从推荐指数来看，★★★★☆

最佳使用场景的观点是。

2021年6月，北京智源研究院推出了悟道1.0的后续版本悟道2.0，作为中国第一个超大规模智能模型程序。悟道是一个语言模型，旨在在人类层面的思维上超越 OpenAI 的 GPT-3 和谷歌的 LaMDA。并在9个基准上超过了最先进水平，悟道比任何同行都更接近于实现通用人工智能和人类水平的思维。

悟道接受了4.9 TB高质量英文和中文图像和文本的训练：

• 1.2TB中文文本数据
• 2.5TB中文图形数据
• 1.2TB英文文本数据

悟道是基于开源的 MoE 程序 FastMoE 进行训练的。MoE是一种机器学习技术，其工作原理如下：

将预测建模任务划分为子任务。针对每个子任务训练专家模型，开发门控模型，该门控模型的输入来学习咨询哪个专家，并组合预测。FastMoE使悟道能够并行咨询不同的专家模型，并切换到预测结果最好的模型。 按理说，例如如果输入是英文文本，悟道将使用预测模型。 该模型可以在英文文本中生成回应。