面壁智能发布Eurux-8x22B开源大模型：代码性能超越 Llama3-70B

面壁智能近日发布了开源的大模型Eurux-8x22B，包括Eurux-8x22B-NCA和Eurux-8x22B-KTO。该模型主打其卓越的推理能力。

在官方测试中，Eurux-8x22B在LeetCode（包含180道编程真题）和TheoremQA（美国大学水准的STEM题目）两项测试上超过了Llama3-70B，并且在LeetCode测试中超越了闭源的GPT-3.5-Turbo。

据介绍，Eurux-8x22B模型激活参数为39B，并支持64k上下文。这款模型源自对Mixtral-8x22B模型的升级，在UltraInteract对齐数据集上进行过训练。

值得一提的是，UltraInteract是一个专门用于提升大模型推理能力的大规模、高质量对齐数据集，包含了涵盖数学、代码和逻辑推理问题的12个开源数据集的86K条指令和220K偏好对，总共有五十万条左右数据可供使用。