Chinese Brief
中文案例导读
Altafk960 公开的真实任务执行案例,来源为 公开代码库,复核于 2026-06-27T09:51:06Z。 Model Atlas 将它标记为 A 类证据,因为它同时具备具体使用者、具体任务、公开原始证据和可访问产物。 Model Atlas 不把 benchmark、教程、发布说明或集合页包装成真实案例。
CASE EVIDENCE / A RECORD
Altafk960 公开的真实任务执行案例,来源为 公开代码库,复核于 2026-06-27T09:51:06Z。
原始记录:Altafk960 在 Apache Spark 调度器中接入 Cerebras Qwen3-235B 做实时任务放置决策
Chinese Brief
Altafk960 公开的真实任务执行案例,来源为 公开代码库,复核于 2026-06-27T09:51:06Z。 Model Atlas 将它标记为 A 类证据,因为它同时具备具体使用者、具体任务、公开原始证据和可访问产物。 Model Atlas 不把 benchmark、教程、发布说明或集合页包装成真实案例。
任务
在 Apache Spark 的 DAGScheduler、TaskSetManager 和 TaskSchedulerImpl 内嵌 LLMAdvisor,在每个 stage 边界调用 Cerebras OpenAI-compatible API 上的 qwen-3-235b-a22b-instruct,让模型根据分区、executor 状态、preferred locations 和近期 stage metrics 生成调度策略。
仓库公开了 Spark 源码补丁、LLMAdvisor.scala、构建脚本和 POC;README 说明真实 Cerebras API 调用来自 Spark DAGScheduler 内部,8 个 workload stages 获得建议,约 140ms/次 LLM 调用,并在 API 失败或限流时回退到默认 Spark scheduling。
Qwen3-235B 负责生成 JSON scheduling policy,包括 avoid_executors、prefer_executors、locality_override 和 speculation_hint;Spark 调度器随后用这些建议调整 executor offer 顺序、跳过不合适 executor、放宽/收紧 locality 并控制 speculative execution。
公开证据为个人 GitHub 工程与 POC 说明,未见外部生产部署证明;但仓库包含可访问代码产物、明确模型绑定和具体 Spark 调度任务,不属于 benchmark-only 或教程-only。