10/18
要闻
Neal Patel 用 ScaleDown Summarize 在 2 秒内总结 2015 年 Flask 46 条评论 GitHub issue
Neal Patel 称对同一线程用四段式提问(question/why/proposals/outcome)6 次全部答对结尾,松散指令 summarize this 6 次全错
Neal Patel 建议长网页按约 4000 字符分块抽取,7 页测试中 ClickUp 全中、Asana/Trello 6 页、Jira 5 页
Neal Patel 认为 ICD 编码生产环境需要把 prompt 当作版本化制品治理
Neal Patel 认为只需标签时不该为整篇长文付费,支持按需生成
Neal Patel 用 ScaleDown extract 对 7 个真实「best project management tool」页面跑品牌提及审计
Neal Patel 称分类接口 1.25 秒返回三条工单匹配,截图按 billing 94.6% 同调用识别
Neal Patel 称 classify 单次调用可对一张工单同时输出 billing 0.96 与 bug 0.97 两个标签
Neal Patel 指出提取 bug 多为格式正确但源文档中不存在的值,建议先区分实体、Schema、重复记录、派生四类提取
Neal Patel 建议用自有数据验证,并给出 5000 万免费 token
Neal Patel 介绍 ScaleDown Classify 单次 API 调用支持 100 万 token 并输出校准概率
Neal Patel 质疑 ScaleDown 用更少词就能完成工作,无需多言
Neal Patel 介绍 ScaleDown Classify 单次 API 调用支持 100 万 token 并输出校准概率与理由
Neal Patel 称 ScaleDown 压缩把发票任务从 4 秒降到 0.2 秒、代码 token 从 91 压到 59
Neal Patel 补充 Scaledown classify 相比 decision models 支持多标签、多模态与自然语言解释
Neal Patel 转述 ScaleDown Summarize 支持 1M tokens 文本/图像/PDF 输入,输出限 1000 tokens 内,输入 $0.05/M、输出免费
Neal Patel 指出 20 个标签时逐标签循环分类会耗时过久
Neal Patel 介绍 ScaleDown Summarize 支持 1M tokens 文本/图片/PDF,输出免费、输入 $0.05/M
Neal Patel:传统 constrained decoding 只限制输出 token,其架构通过抽取输入 span 减少 decode 步数
Neal Patel 补充 Scaledown classify 相比 decision models 支持多标签、多模态与自然语言解释
Neal Patel 称 ScaleDown 小模型读一次输入直接定位答案,比前沿 LLM API 快 200 倍、便宜 467 倍
Neal Patel 称只关心答案而非打字,ScaleDown 专用模型在分类抽取任务上快 200x、便宜 467x
Neal Patel 判断:生产负载要 JSON 不要散文,推理与回答应分两套模型
Neal Patel 称生成 HTML 最佳模型是 summarize 模型,但它并非为此构建,客户下游 agent 结构化输出建议用 markdown
Neal Patel 建议用 agent 为德语发票做 prompt 调优
Neal Patel 建议 bermudi_dev 用 prompt tuning 解决播客转录摘要捏造问题
Neal Patel 称按判断占比选模型:100% 判断用大 LLM,50/50 用小 LLM,更低交给 CDM
Neal Patel 提出多标签标注跑法并愿提供 5000 万 token 免费额度
Neal Patel 称用 evals 判断模型适用场景,并推荐 scaledown agent 自动调优 prompt
昨天
更早
用 ScaleDown Summarize 在 2 秒内总结 2015 年 Flask 46 条评论 GitHub issue𝕏
回复对同一线程用四段式提问(question/why/proposals/outcome)6 次全部答对结尾,松散指令 summarize this 6 次全错𝕏
回复用 ScaleDown Summarize 处理 6.2k tokens 的 Python Flask 长帖仅花 $0.0003𝕏
回复实体名未规范化时 monday、Monday、monday dot com 会算 3 条,且 3 个页面由被选中的厂商撰写𝕏
回复建议长网页按约 4000 字符分块抽取,7 页测试中 ClickUp 全中、Asana/Trello 6 页、Jira 5 页𝕏
近三个月的发言订阅后才能看。去订阅
关注后,他的新主张会进你的「我的人」
带走这份存下来是纯文本,发给 AI 就能读
关注后可跟此人更新与他说过的话,需用手机号登录