中国科学技术大学校徽与校名

BenchCAD

面向 CAD 任务的多模态大模型
评测基准设计与实现

孙振川　理论与应用力学

指导教师：余昊 副教授

中国科学技术大学　2026 年 10 月 13 日

真实工程需要更多能力

齿轮箱壳体案例

工程图

读懂尺寸与结构

滚轮模块装配案例

Assembly

确定位置、姿态
与相互关系

电机驱动板连接案例

PCB

恢复元件、引脚
与电气连接

评测从单个 part，扩展到真实工程中的空间与连接关系。

用工程任务检验 AI

01

Task

定义输入
与交付物

02

Agent 环境

调用工具
执行程序

03

提交结果

Part、assembly
或连接图

04

Metric

与 ground truth
自动比较

个人贡献

参与 Task 与 metric 设计；组织 5–6 位同学清洗数据，
负责初步清洗与 quality control。

六类 Task，观察 AI 怎样完成

Input
AI 完成过程视频内：GT ｜ AI

Metric 同时检查形状与关系

Part

体积重合与拓扑

0.8 × IoU term
+ 0.2 × topology

外形接近，仍可能
漏孔或改变结构。

Assembly

零件类型的放置贡献

asm_v1

T4 / T5 同时评价
part 质量与装配。

ECAD

元件、引脚与网络

ecad_v2

评价连接正确性，
惩罚 shorts 与 opens。

无有效提交得 0；总体分数为 100 个 Core cases 的平均。

评测结果：单件较强，复杂任务仍难

100 个 Core cases　6 类 Task　5 个模型　max effort

GPT-6 AstraOpus 5.5Sonnet 5.5Haiku 5.5Fable 5.1
T1　工程图建模0.810.840.790.560.5200.51T2　已知零件装配0.720.670.340.090.4000.51T3　多视图建模0.580.590.590.320.3100.51T4　多视图装配0.500.440.440.150.2500.51T5　建模与混合装配0.690.660.220.010.3700.51T6　电路连接重建0.460.400.110.070.1000.51
T1工程图0.810.840.790.560.52
T2已知件装配0.720.670.340.090.40
T3多视图建模0.580.590.590.320.31
T4多视图装配0.500.440.440.150.25
T5混合装配0.690.660.220.010.37
T6电路连接0.460.400.110.070.10

总体得分：0.59 GPT-6 Astra　0.57 Claude Opus 5.5

Part 正确，assembly 仍可能错误

Input · 装配工程图
AI 完成过程视频内：GT ｜ AI

20 个 part 均已放入，但 3 根杆方向反了。

形状正确，不等于装配关系正确。

未来规划：工程图与科学计算

工程图评测

STEP → DXF + JSON

独立 AI 只读 DXF
重建后比较 IoU

检查剖切位置
与标注碰撞

拟开展：接通完整评分流程。

下一步：接通评测流程，校准参考与 metric，开展模型实验。