10/19
Neal Patel关注
要闻
今天
Neal Patel 反驳 CDMs 只是 xgrammar 换名的说法有新说法
Neal Patel 称对 scaledown 模型做 200 次键盘乱敲测试，模型始终未越出标签作答
Neal Patel 称 4 个 LLM 在 JSON schema 模式下为发票外 PO 号编造空值，ScaleDown extract 返回真 null有新说法
Neal Patel 称在 CLINC intents 上跑 1,200 次分类，模型只返回候选标签，0.8 以上置信度准确率 97%
Neal Patel 称对 scaledown 模型做 200 次键盘乱敲测试，模型始终未越出标签作答有新说法
Neal Patel 称 CDM 能处理 naive decode 无法胜任的工作负载，对比基准更偏向 LLM
Neal Patel 称在 CLINC intents 上跑 1,200 次分类，模型只返回候选标签，0.8 以上置信度准确率 97%有新说法
Neal Patel 称分类接口只返回传入标签并附分数，0.8 以上答案 97% 正确
Neal Patel 称分类接口只返回传入标签并附分数，0.8 以上答案 97% 正确改口
Neal Patel 建议把 loop watchdog 任务专用模型以 20% 折扣长期运行
昨天 · 1 条
Neal Patel 建议把 loop watchdog 任务专用模型以 20% 折扣长期运行有新说法
Neal Patel 用 ScaleDown Summarize 在 2 秒内总结 2015 年 Flask 46 条评论 GitHub issue
10/17 · 2 条
Neal Patel 用 ScaleDown Summarize 在 2 秒内总结 2015 年 Flask 46 条评论 GitHub issue同一说法 2 次有新说法
Neal Patel 称对同一线程用四段式提问（question/why/proposals/outcome）6 次全部答对结尾，松散指令 summarize this 6 次全错
Neal Patel 称对同一线程用四段式提问（question/why/proposals/outcome）6 次全部答对结尾，松散指令 summarize this 6 次全错有新说法
Neal Patel 建议长网页按约 4000 字符分块抽取，7 页测试中 ClickUp 全中、Asana/Trello 6 页、Jira 5 页
10/16 · 12 条
Neal Patel 称其服务遭 3 次 DDoS 攻击，signup 与 API key 生成已修复有新说法
Neal Patel 认为 ICD 编码生产环境需要把 prompt 当作版本化制品治理
Neal Patel 称实体名未规范化时 monday、Monday、monday dot com 会算 3 条，且 3 个页面由被选中的厂商撰写有新说法
Neal Patel 认为只需标签时不该为整篇长文付费，支持按需生成
Neal Patel 建议长网页按约 4000 字符分块抽取，7 页测试中 ClickUp 全中、Asana/Trello 6 页、Jira 5 页有新说法
Neal Patel 用 ScaleDown extract 对 7 个真实「best project management tool」页面跑品牌提及审计
Neal Patel 用 ScaleDown extract 对 7 个真实「best project management tool」页面跑品牌提及审计有新说法
Neal Patel 称分类接口 1.25 秒返回三条工单匹配，截图按 billing 94.6% 同调用识别
Neal Patel 称新分类 API 支持请求内改标签列表无需重训，文本 $0.05/1M tokens、输出免费有新说法
Neal Patel 称 classify 单次调用可对一张工单同时输出 billing 0.96 与 bug 0.97 两个标签
Neal Patel 称分类接口 1.25 秒返回三条工单匹配，截图按 billing 94.6% 同调用识别有新说法
Neal Patel 指出提取 bug 多为格式正确但源文档中不存在的值，建议先区分实体、Schema、重复记录、派生四类提取
Neal Patel 称 classify 单次调用可对一张工单同时输出 billing 0.96 与 bug 0.97 两个标签有新说法
Neal Patel 建议用自有数据验证，并给出 5000 万免费 token
Neal Patel 指出提取 bug 多为格式正确但源文档中不存在的值，建议先区分实体、Schema、重复记录、派生四类提取有新说法
Neal Patel 介绍 ScaleDown Classify 单次 API 调用支持 100 万 token 并输出校准概率
Neal Patel 认为只需标签时不该为整篇长文付费，支持按需生成有新说法
Neal Patel 质疑 ScaleDown 用更少词就能完成工作，无需多言
Neal Patel 建议用自有数据验证，并给出 5000 万免费 token改口
Neal Patel 介绍 ScaleDown Classify 单次 API 调用支持 100 万 token 并输出校准概率与理由
Neal Patel 介绍 ScaleDown Classify 单次 API 调用支持 100 万 token 并输出校准概率有新说法
Neal Patel 称 ScaleDown 压缩把发票任务从 4 秒降到 0.2 秒、代码 token 从 91 压到 59
Neal Patel 介绍 ScaleDown Classify 单次 API 调用支持 100 万 token 并输出校准概率与理由有新说法
Neal Patel 补充 Scaledown classify 相比 decision models 支持多标签、多模态与自然语言解释
10/15 · 10 条
Neal Patel 宣布 ScaleDown 系列模型在 OpenRouter 上线，20% 折扣后输入 $0.04/1M、输出免费（Classify-1）改口
Neal Patel 转述 ScaleDown Summarize 支持 1M tokens 文本/图像/PDF 输入，输出限 1000 tokens 内，输入 $0.05/M、输出免费
Neal Patel 称 ScaleDown 压缩把发票任务从 4 秒降到 0.2 秒、代码 token 从 91 压到 59有新说法
Neal Patel 指出 20 个标签时逐标签循环分类会耗时过久
Neal Patel 转述 ScaleDown Summarize 支持 1M tokens 文本/图像/PDF 输入，输出限 1000 tokens 内，输入 $0.05/M、输出免费同一说法 2 次重申
Neal Patel 介绍 ScaleDown Summarize 支持 1M tokens 文本/图片/PDF，输出免费、输入 $0.05/M
Neal Patel 称 CDM 能处理 naive decode 无法胜任的工作负载，对比基准更偏向 LLM有新说法
Neal Patel：传统 constrained decoding 只限制输出 token，其架构通过抽取输入 span 减少 decode 步数
Neal Patel 向 ggwplabs 提供 benchmarks 链接与 50M tokens 免费评测额度有新说法
Neal Patel 补充 Scaledown classify 相比 decision models 支持多标签、多模态与自然语言解释
Neal Patel 补充 Scaledown classify 相比 decision models 支持多标签、多模态与自然语言解释有新说法
Neal Patel 称 ScaleDown 小模型读一次输入直接定位答案，比前沿 LLM API 快 200 倍、便宜 467 倍
Neal Patel 转述 ScaleDown 发布 Constrained Decoding Models，Classify/Extract/Summarize 每百万输入 token $0.05、输出免费，200x 更快与 467x 更同一说法 2 次有新说法
Neal Patel 称只关心答案而非打字，ScaleDown 专用模型在分类抽取任务上快 200x、便宜 467x
Neal Patel：传统 constrained decoding 只限制输出 token，其架构通过抽取输入 span 减少 decode 步数有新说法
Neal Patel 判断：生产负载要 JSON 不要散文，推理与回答应分两套模型
Neal Patel 建议 agent routing 加 other 路由并单独评估路由准确率有新说法
Neal Patel 称生成 HTML 最佳模型是 summarize 模型，但它并非为此构建，客户下游 agent 结构化输出建议用 markdown
更多
回复4 个 LLM 在 JSON schema 模式下为发票外 PO 号编造空值，ScaleDown extract 返回真 null𝕏
近三个月的发言订阅后才能看。去订阅
关注后，他的新主张会进你的「我的人」
带走这份存下来是纯文本，发给 AI 就能读
今天 · 5 条 · Neal Patel 反驳 CDMs 只是 xgrammar 换名的说法
Neal Patel 称 4 个 LLM 在 JSON schema 模式下为发票外 PO 号编造空值，ScaleDown extract 返回真 null
Neal Patel 称对 scaledown 模型做 200 次键盘乱敲测试，模型始终未越出标签作答
Neal Patel 称在 CLINC intents 上跑 1,200 次分类，模型只返回候选标签，0.8 以上置信度准确率 97%
Neal Patel 称分类接口只返回传入标签并附分数，0.8 以上答案 97% 正确