要闻值得关注重点 10月21日周三 #coding #evaluation #llm

OpenAI 公布低资源编程语言评测：GPT-6 Astra 大幅提升 COBOL 等语言

OpenAI 于 10 月 19 日发文介绍模型在 COBOL、Fortran、Visual Basic 等公开代码较少的语言上的编程能力，并给出两个评测：让模型用指定语言实现兼容 SQLite 的数据库引擎的 MultiLangBench（覆盖 20 种语言），以及要求输出逐字节一致的 COBOL 迁移评测。官方称 GPT-6 Astra 在 MultiLangBench 上平均通过率为 87.4%，GPT-5.6 Sol 为 26.8%。

GPT-6 Astra 在四种低资源语言上通过率大幅提升

GPT-5.6 SolGPT-6 Astra

COBOL10.9%72.1%+61.2

OCaml25.6%85.8%+60.2

Fortran21.4%83.5%+62.1

Visual Basic27.5%89.4%+61.9

MultiLangBench 最高推理强度下的测试通过率，数据为 OpenAI 自报

要点

MultiLangBench 分语言通过率（GPT-5.6 Sol → GPT-6 Astra）：COBOL 10.9% → 72.1%，OCaml 25.6% → 85.8%，Fortran 21.4% → 83.5%，Visual Basic 27.5% → 89.4%
COBOL 迁移评测：GPT-6.1 Sol 低推理强度下准确率 86.6%（GPT-5.6 Sol 为 5.4%），高推理强度下 97.9%
文中提醒：COBOL 定点运算默认截断小数，迁移时改成四舍五入能跑通却会算错金额
MultiLangBench 的评测设置与测试集已在 GitHub 开源（Apache 2.0），标准评测使用其中 272 个测试

为什么值得关注

银行、气象等关键系统仍大量依赖老语言，这组数据说明 AI 辅助遗留系统迁移正变得可行；逐字节对比的验收方式也值得自己的迁移项目借鉴。分数均为 OpenAI 自报。

配套实验

已验证 GitHub Actions 实际运行 · Python 3.12.15 · 耗时不到 0.1s

COBOL 截断 vs 四舍五入：迁移后逐字节对比

参考 OpenAI COBOL 迁移评测中提到的定点运算陷阱，用 Python decimal 模拟一段不带 ROUNDED 的计息逻辑，对比保留截断、改成四舍五入、改用浮点三种迁移写法与参考实现的逐字节输出是否一致。

结论truncate parity=True; round_half_up parity=False (529 rows differ, +529 cents); float parity=False (528 rows differ)

truncate       byte_parity=True  diff_rows=   0/1000 total_delta_cents=+0
round_half_up  byte_parity=False diff_rows= 529/1000 total_delta_cents=+529
float          byte_parity=False diff_rows= 528/1000 total_delta_cents=+528
RESULT: truncate parity=True; round_half_up parity=False (529 rows differ, +529 cents); float parity=False (528 rows differ)

python main.py 查看代码与内网复现步骤 →

来源

原文 Advancing coding in low-resource programming languages OpenAI · openai.com · 2026-10-19 原文 openai/MultiLangBench GitHub · github.com

### [OpenAI 公布低资源编程语言评测：GPT-6 Astra 大幅提升 COBOL 等语言]({{URL}})

OpenAI 于 10 月 19 日发文介绍模型在 COBOL、Fortran、Visual Basic 等公开代码较少的语言上的编程能力，并给出两个评测：让模型用指定语言实现兼容 SQLite 的数据库引擎的 MultiLangBench（覆盖 20 种语言），以及要求输出逐字节一致的 COBOL 迁移评测。官方称 GPT-6 Astra 在 MultiLangBench 上平均通过率为 87.4%，GPT-5.6 Sol 为 26.8%。

- MultiLangBench 分语言通过率（GPT-5.6 Sol → GPT-6 Astra）：COBOL 10.9% → 72.1%，OCaml 25.6% → 85.8%，Fortran 21.4% → 83.5%，Visual Basic 27.5% → 89.4%
- COBOL 迁移评测：GPT-6.1 Sol 低推理强度下准确率 86.6%（GPT-5.6 Sol 为 5.4%），高推理强度下 97.9%
- 文中提醒：COBOL 定点运算默认截断小数，迁移时改成四舍五入能跑通却会算错金额
- MultiLangBench 的评测设置与测试集已在 GitHub 开源（Apache 2.0），标准评测使用其中 272 个测试

**为什么值得关注**：银行、气象等关键系统仍大量依赖老语言，这组数据说明 AI 辅助遗留系统迁移正变得可行；逐字节对比的验收方式也值得自己的迁移项目借鉴。分数均为 OpenAI 自报。

来源：[Advancing coding in low-resource programming languages](https://openai.com/index/low-resource-programming-languages/)；[openai/MultiLangBench](https://github.com/openai/MultiLangBench)