X智算 · 算力应用平台
登录 / 注册
积分
退出
🏠 首页
·
模型采样与 RL
·
模型采样
🎯 模型采样(Rollout)
提交一次模型推理 / 采样作业,分布式闲置算力并行生成轨迹,验证层自动剔除不可信结果。
模型与采样模式
模型引用(model_ref)
主选 Qwen2.5-0.5B(中文友好、GGUF Q4 约 0.46GB);改回
stub-0.6B
可跑零依赖合成通道。
采样引擎(sampler)
llama-server(本地 HTTP 服务,OpenAI 兼容,推荐)
llama-cpp-python(进程内跑 GGUF,需平台有预编译 wheel:Linux/Mac)
stub(合成轨迹,零依赖兜底)
llama-server 方式需本机已运行 llama-server(权重 Qwen2.5-0.5B Q4 约 0.46GB,首次按需从魔搭下载);未运行时自动回退 stub 并标注。
魔搭仓库(ModelScope,节点按需懒加载)
首次接推理任务时由节点自动下载并缓存,不会打进客户端安装包。
GGUF 文件名
实测 q4_k_m 约 0.46GB;追求更小可选 q2_k(约 0.4GB,质量略降)。
采样模式
🎲
纯采样
指定样本数,prompt 由节点按 seed 派生
💬
提示词推理
上传 / 粘贴 prompts,逐条生成
采样参数
采样样本总数(num_samples)
每块样本数(chunk_size)
提示词
提示词文件(.txt / .json 数组,可选)
或粘贴提示词(每行一条)
已输入 0 条
每块条数(chunk_size)
调度与验证
随机种子(seed)
冗余派发(redundancy 1~3)
1 · 单节点(最快)
2 · 双节点互验(推荐)
3 · 三节点多数投票(最稳)
同一 chunk 派给 k 个节点,验证层做冗余互验,揪出作恶节点。
任务名称
子任务数(0=自动)
预估消耗积分
--
分
提交采样任务
我的采样任务
刷新
任务ID
名称
状态
进度
子任务
创建时间
操作
加载中…