数据分析

请你作为一位贝叶斯统计思维专家，运用贝叶斯推理框架帮我分析以下问题。不要给我直觉判断，而是引导我用概率思维系统地更新信念。

【待分析问题】：[在这里填入你想用贝叶斯思维分析的问题，例如：我们的新产品上线一周，日活用户增长了 30%，这是否意味着产品-市场契合度（PMF）已经达成？]

请严格按照以下贝叶斯推理步骤进行分析：

## 第一步：明确假设空间
清晰定义我们要评估的假设：
- **核心假设（H）**：用精确语言表述你想验证的命题
- **替代假设**：列出至少 3-4 个替代解释（互斥且尽量穷尽）
- 每个假设需要足够具体，以便进行概率评估
- 检查假设之间是否真的互斥？是否遗漏了重要的替代解释？

## 第二步：评估先验概率 — 在看到当前证据之前
在考虑当前新证据之前，基于已有知识评估各假设的先验概率：
- **基率（Base Rate）**：在类似情况中，每个假设成立的历史频率是多少？
- 类似行业/场景的统计数据支持什么样的先验？
- 你的个人经验和专业判断如何影响先验？
- 为每个假设分配一个先验概率（所有假设的概率之和应为 100%）
- 特别警惕"基率忽视"——人们倾向于忽略统计基线，过度关注生动的个案

## 第三步：评估似然度 — 证据的诊断力
分析当前观察到的证据（数据/信息）：
- **证据描述**：精确描述你观察到的证据 E
- **似然度 P(E|H)**：如果核心假设成立，观察到这个证据的概率有多大？
- **似然度 P(E|非H)**：如果核心假设不成立，观察到同样证据的概率有多大？
- **似然比（Likelihood Ratio）**：P(E|H) / P(E|非H) — 这个比值衡量证据的"诊断力"
  - 似然比 > 10：强证据
  - 似然比 3-10：中等证据
  - 似然比 1-3：弱证据
  - 似然比 ≈ 1：证据几乎没有诊断价值
- 对每个替代假设重复上述分析

## 第四步：计算后验概率 — 更新信念
运用贝叶斯公式更新每个假设的概率：
- 后验概率 = 先验概率 × 似然度 / 归一化常数
- 列出所有假设更新后的后验概率
- 后验概率相比先验发生了多大变化？哪个方向？
- 这个变化幅度是否合理？

## 第五步：敏感性分析
测试你的结论对假设的敏感性：
- 如果先验概率调整 ±20%，结论是否会改变？
- 如果似然度的估计有误差，结论的鲁棒性如何？
- 哪个参数的不确定性对最终结论影响最大？
- 在什么条件下，你的结论会被推翻？

## 第六步：决策建议与下一步
- 基于后验概率，当前最合理的判断是什么？
- 还需要什么额外证据来进一步更新信念？
- 下一步应该收集什么数据？预期这些数据的似然比是多少？
- 如果必须现在做决策，考虑到不确定性，最佳策略是什么？

请在分析过程中始终保持概率思维：没有 100% 的确定，只有不断更新的信念。

请你作为一位数据叙事专家，运用 Cole Nussbaumer Knaflic 的"用数据讲故事"方法论，帮我将以下数据/分析结果转化为一个有说服力的数据故事。

【数据/分析主题】：[在这里描述你的数据分析结果或要呈现的数据，例如：我们的 SaaS 产品过去 12 个月的用户留存数据显示，第 3 个月是关键流失节点，月留存从 60% 骤降至 35%]

【目标受众】：[你的受众是谁？例如：公司高管团队，他们需要决定是否投入资源优化用户留存]

请严格按照以下数据叙事框架进行：

## 第一步：理解受众与情境（Context）
- **受众画像**：他们是谁？技术背景如何？关心什么指标？
- **决策需求**：他们需要基于这些数据做什么决策？
- **认知状态**：他们对这个话题已有多少了解？有什么先入为主的观念？
- **情感考量**：这些数据可能引发什么情绪反应？如何管理？
- **行动导向**：你希望受众看完后采取什么具体行动？

## 第二步：提炼核心信息（Big Idea）
用一句话概括你的数据故事的核心信息：
- 这句话必须包含：1) 你的观点/发现 2) 利害关系 3) 行动建议
- 格式："[数据发现] + [这意味着什么] + [应该怎么做]"
- 这是你整个数据故事的"北极星"——所有内容都围绕它展开
- 测试方法：如果受众只能记住一句话，你希望是哪句？

## 第三步：构建叙事弧线
按照经典叙事结构组织数据：

### 开场 — 设置背景
- 用 1-2 个关键数据点建立共识（"我们都知道..."）
- 为什么这个话题现在重要？有什么时间紧迫性？

### 中段 — 揭示冲突与发现
- **转折点**：哪个数据点/发现打破了预期？
- **深入分析**：为什么会这样？数据指向什么原因？
- **对比张力**：现状 vs 目标、我们 vs 竞争对手、过去 vs 现在
- 控制信息密度：遵循"一页一个核心观点"原则

### 结尾 — 解决方案与行动呼吁
- 数据支持的建议方案是什么？
- 如果不行动，预期后果是什么？（用数据量化）
- 如果行动，预期收益是什么？（用数据量化）
- 清晰的下一步行动和责任人

## 第四步：设计数据展示
对每个关键数据点，建议最佳展示方式：
- **图表类型选择**：为什么选择这种图表？它比其他类型更适合的原因是什么？
- **视觉层次**：用预注意属性（颜色、大小、位置）引导注意力到最重要的数据
- **去除杂波**：识别并建议去除的装饰性元素（3D 效果、网格线、多余标签等）
- **标注策略**：在图表上直接标注关键发现，不要让受众自己寻找

## 第五步：输出完整的数据故事脚本
将以上内容整合为一份完整的数据故事脚本，包括：
- 每一页/每一段的具体内容
- 口头讲述时的过渡语
- 预期受众可能的提问及回答准备
- 数据故事的总时长建议

请确保整个故事始终围绕核心信息展开，每一个数据点都在为最终的行动呼吁服务。

请你作为一位实验设计和统计分析专家，帮我设计一个严谨的 A/B 测试方案。我需要的不是"试试看"，而是一个符合统计学标准的受控实验设计。

【测试目标】：[在这里描述你想测试什么，例如：测试新的定价页面设计是否能提高付费转化率]

【当前情况】：[描述当前的基线数据，例如：当前定价页面的付费转化率约为 3.2%，日均访问量约 5000 UV]

请严格按照以下步骤设计 A/B 测试方案：

## 第一步：明确假设与指标
- **零假设（H0）**：用精确语言表述——新方案与旧方案没有显著差异
- **备择假设（H1）**：新方案在 [具体指标] 上优于旧方案
- **主要指标（Primary Metric）**：选择一个最核心的评估指标，并解释为什么选它
- **辅助指标（Secondary Metrics）**：列出 2-3 个需要监控的辅助指标
- **护栏指标（Guardrail Metrics）**：列出不能恶化的底线指标（如页面加载速度、错误率）
- **最小可检测效应（MDE）**：你希望能检测到多小的变化？这个阈值对业务有意义吗？

## 第二步：样本量计算
- **基线转化率**：当前指标的基线值是多少？
- **期望提升**：你希望检测到的最小改善幅度是多少？
- **显著性水平（α）**：通常选择 0.05（5% 的假阳性风险）
- **统计功效（1-β）**：通常选择 0.8（80% 的概率检测到真实效果）
- **计算所需样本量**：基于以上参数计算每组需要的最小样本量
- **预估实验时长**：按当前日均流量，需要运行多少天？
- **是否需要考虑"新奇效应"或"周期性"？** 建议至少运行完整的 1-2 个业务周期

## 第三步：实验设计细节
- **随机化方案**：如何将用户随机分配到实验组和对照组？
  - 按用户 ID 哈希分配（确保同一用户始终看到同一版本）
  - 分配比例是多少？（通常 50/50，特殊情况可调整）
- **分层/分组**：是否需要按关键维度（新老用户、设备类型、地区）分层？
- **排除条件**：哪些用户应该被排除在实验之外？（如内部员工、机器人流量）
- **实验隔离**：如何确保实验组和对照组之间没有"污染"？
- **同期其他实验**：是否有其他正在运行的实验可能产生交互影响？

## 第四步：结果分析计划（预注册）
在实验开始前，预先确定分析方法：
- **统计检验方法**：使用什么检验？（t 检验、卡方检验、Mann-Whitney U 等）
- **单侧 vs 双侧检验**：哪个更合适？为什么？
- **多重比较校正**：如果有多个变体或多个指标，如何校正？
- **置信区间**：除了 p 值，报告效果量的置信区间
- **停止规则**：什么条件下提前终止实验？（注意：频繁窥探数据会膨胀假阳性率）
- **亚组分析**：预先定义哪些亚组分析是"计划内"的

## 第五步：常见陷阱清单
检查以下常见的 A/B 测试陷阱：
- [ ] 样本量不足就下结论（"偷看"问题）
- [ ] 只看 p 值忽略效果量和置信区间
- [ ] 忽略实际显著性（统计显著 ≠ 商业有意义）
- [ ] 没有考虑"新奇效应"（用户对新版本的短期好奇）
- [ ] 多重比较不校正（测试 20 个变体，总有一个"显著"）
- [ ] 辛普森悖论风险（整体结果 vs 分组结果方向相反）
- [ ] 实验期间修改了实验设计
- [ ] 没有考虑长期效果（短期提升 vs 长期影响）

## 第六步：输出完整的实验方案文档
将以上内容整合为一份可执行的 A/B 测试方案，包含时间表和各阶段的检查点。

请在整个设计过程中保持科学实验的严谨性：每一个决定都要有统计学依据。

请你作为一位因果推断专家，运用 Judea Pearl 的因果推断框架和 Rubin 因果模型，帮我严格分析以下现象中的因果关系。我需要你帮我区分"相关"和"因果"，避免错误归因。

【待分析因果关系】：[在这里描述你观察到的现象和你怀疑的因果关系，例如：我们公司实施弹性工作制后，员工满意度提升了 15%，弹性工作制是否是满意度提升的原因？]

请严格按照以下因果推断步骤进行分析：

## 第一步：精确定义因果问题
- **原因变量（X / Treatment）**：具体是什么？如何定义和测量？
- **结果变量（Y / Outcome）**：具体是什么？如何定义和测量？
- **因果声明**：将你的因果假设用精确语言表述为"X 导致了 Y"
- **时间序列**：X 是否确实先于 Y 发生？时间线是否清晰？
- **反事实定义**："如果 X 没有发生，Y 会是什么状态？"这个反事实是什么？

## 第二步：绘制因果图（DAG）
用有向无环图分析变量之间的关系：
- 列出所有可能与 X 和 Y 相关的变量
- 画出因果关系的方向（谁影响谁）
- **识别混淆变量（Confounders）**：哪些变量同时影响 X 和 Y？
- **识别中介变量（Mediators）**：X 是否通过某个中间变量影响 Y？
- **识别碰撞变量（Colliders）**：是否存在同时被 X 和 Y 影响的变量？（条件化碰撞变量会产生虚假相关）
- 用文字描述因果图的结构，标注每条边的含义

## 第三步：因果阶梯分析

### 第一层 — 观察（Association）
- X 和 Y 之间的统计相关性如何？方向和强度？
- 这种相关性是否可能由混淆变量驱动？
- 在控制了混淆变量之后，相关性是否仍然存在？
- 是否存在辛普森悖论的风险？（整体趋势 vs 分组趋势）

### 第二层 — 干预（Intervention）
- 如果我们主动"do(X)"——强制设定 X 的值，Y 的期望值是多少？
- 有没有随机对照实验（RCT）的证据？
- 如果无法做 RCT，有哪些准实验方法可以近似因果推断？
  - **双重差分法（DID）**：实验组和对照组的变化差异
  - **断点回归（RDD）**：利用某个阈值附近的"准随机"分配
  - **工具变量（IV）**：寻找只通过 X 影响 Y 的外生变量
  - **倾向得分匹配（PSM）**：构造可比较的"虚拟对照组"

### 第三层 — 反事实（Counterfactual）
- 对于那些接受了 X 且 Y 改善的个体，如果当时没有接受 X，Y 的预期值是多少？
- 对于那些没有接受 X 但 Y 也改善的个体，如果接受了 X，Y 会如何变化？
- 反事实推理需要什么样的假设？这些假设是否可检验？

## 第四步：替代解释排查
系统性地检查替代因果解释：
- **反向因果**：是否可能是 Y 导致了 X，而非 X 导致 Y？
- **共同原因**：是否存在隐藏的第三方变量同时导致了 X 和 Y？
- **巧合/偶然**：X 和 Y 的共现是否可能纯属偶然？
- **选择偏差**：观察到的关系是否因为样本选择方式导致的？
- **趋势效应**：Y 是否本身就在变化（如季节性趋势），与 X 无关？
- 用 Bradford Hill 因果标准逐项检查因果关系的可信度

## 第五步：因果结论与置信度评估
- 综合以上分析，X 导致 Y 的证据强度如何？（强/中/弱/无）
- 最可能的因果路径是什么？直接因果还是通过中介变量？
- 效果量估计：X 对 Y 的因果效应大约有多大？
- 外部效度：这个因果关系在其他情境下是否也成立？
- 还需要什么额外证据来进一步确认因果关系？

请在整个分析过程中始终牢记 Pearl 的格言："相关不等于因果，但因果蕴含相关。"

请你作为一位数据质量诊断专家，运用 DAMA 数据管理框架和 Thomas Redman 的数据质量方法论，帮我系统诊断以下数据集/数据场景的质量问题。

【数据集/场景描述】：[在这里描述你的数据集或数据场景，例如：我们有一份包含 50 万条用户行为记录的数据集，涵盖过去 12 个月的用户浏览、点击、购买行为，数据来自 3 个不同的埋点系统]

【分析目的】：[你计划用这些数据做什么分析？例如：构建用户流失预测模型]

请严格按照以下数据质量诊断框架进行：

## 第一步：数据概况扫描
在深入诊断前，先对数据做全面扫描：
- 数据来源有哪些？各来源的采集方式和可靠性如何？
- 数据的时间范围是什么？是否覆盖了分析所需的完整时段？
- 数据量级（行数 × 列数）是否合理？是否有明显的数据膨胀或缺失？
- 关键字段的数据类型是否正确？
- 快速统计描述：各数值字段的均值、中位数、标准差、最大最小值是否在合理范围内？

## 第二步：六维度系统诊断

### 2.1 完整性（Completeness）
- 各字段的缺失率是多少？哪些字段的缺失率超过阈值？
- 缺失是随机的（MCAR）还是有规律的（MAR/MNAR）？
- 缺失的模式是什么？（某个时间段集中缺失？某类用户集中缺失？）
- 缺失数据会如何影响你计划的分析？影响程度有多大？
- 建议的处理策略：删除、填充（均值/中位数/模型预测）、还是标记为专门类别？

### 2.2 准确性（Accuracy）
- 数据中是否存在明显的异常值或离群点？
- 数值字段是否在业务合理范围内？（如年龄 -5 岁、金额为负数等）
- 分类字段的取值是否在预期范围内？是否有意外的类别？
- 能否与其他可靠数据源交叉验证？
- 数据采集过程中是否存在系统性误差？

### 2.3 一致性（Consistency）
- 不同数据源之间同一实体的数据是否一致？
- 同一数据集内部是否存在逻辑矛盾？（如"注册日期"晚于"首次购买日期"）
- 数据格式是否统一？（日期格式、编码方式、单位等）
- 命名规则是否一致？（如同一商品在不同表中名称不同）

### 2.4 时效性（Timeliness）
- 数据的更新频率是什么？是否满足分析需求？
- 数据从产生到入库的延迟有多长？
- 是否存在数据断层（某个时间段无数据）？
- 业务变化（如产品改版）是否导致数据含义随时间发生变化？

### 2.5 唯一性（Uniqueness）
- 是否存在重复记录？重复率是多少？
- 重复的原因是什么？（系统 bug、重复采集、合并错误等）
- 同一实体是否有多个标识符？如何去重？

### 2.6 有效性（Validity）
- 数据是否符合预定义的业务规则？
- 数据类型、格式、范围是否符合数据字典定义？
- 字段之间的逻辑关系是否成立？

## 第三步：对分析目标的影响评估
- 识别出的数据质量问题中，哪些会严重影响你计划的分析？
- 哪些可以通过数据清洗解决？哪些是根本性的（需要重新采集）？
- 数据质量问题可能导致分析结论向什么方向偏差？
- 量化数据质量对分析结论可靠性的影响

## 第四步：数据质量改善建议
- **短期措施**：在本次分析中如何应对已发现的质量问题？
- **中期措施**：建议的数据清洗和修复流程
- **长期措施**：数据治理和质量监控机制建议
- 输出一份"数据质量健康评分卡"，对六个维度分别打分（1-10）

请在整个诊断过程中保持"数据侦探"的心态：每一个异常都可能是重要线索。

请你作为一位探索性数据分析（EDA）专家，运用 John Tukey 的 EDA 方法论，帮我系统地探索以下数据集。我需要的不是直接跳到结论，而是像侦探一样先搜寻所有线索。

【数据集描述】：[在这里描述你的数据集，例如：一个电商平台的订单数据集，包含 20 万条订单记录，字段包括订单时间、用户ID、商品类别、订单金额、支付方式、配送地区、是否退货等]

【初步分析目标】：[你希望从数据中发现什么？例如：理解用户购买行为模式，为后续的推荐系统建设提供方向]

请严格按照以下 EDA 框架进行系统探索：

## 第一步：数据概览（Dataset Overview）
对数据集做全面的"体检"：
- **维度检查**：数据有多少行和列？每列的含义和数据类型是什么？
- **缺失值扫描**：各字段缺失率如何？缺失模式是什么？
- **数据类型确认**：数值型 vs 分类型 vs 时间型，是否需要类型转换？
- **内存和规模评估**：数据量是否适合内存处理？是否需要采样？

## 第二步：单变量探索（Univariate Analysis）
对每个关键变量逐一"画像"：

### 数值型变量
- **中心趋势**：均值、中位数、众数——三者的关系揭示分布偏态
- **离散程度**：标准差、四分位距（IQR）、变异系数
- **分布形状**：偏度、峰度、是否近似正态、是否有多峰
- **异常值**：用 IQR 方法（< Q1-1.5IQR 或 > Q3+1.5IQR）识别异常值
- **可视化建议**：直方图 + 核密度估计、箱线图

### 分类型变量
- **频率分布**：各类别的计数和占比
- **不平衡度**：是否存在严重的类别不平衡？
- **稀有类别**：是否有出现次数极少的类别需要合并？
- **可视化建议**：条形图、饼图（类别 ≤ 5 个时）

### 时间型变量
- **时间范围**：起止时间、跨度
- **时间粒度**：按天/周/月聚合后的趋势
- **周期性**：是否存在日内、周度、月度、年度周期？
- **可视化建议**：时间序列折线图

## 第三步：双变量探索（Bivariate Analysis）
探索变量之间的两两关系：
- **数值 vs 数值**：散点图 + 相关系数（Pearson 和 Spearman）
- **数值 vs 分类**：分组箱线图 / 小提琴图
- **分类 vs 分类**：交叉表 + 热力图
- **时间 vs 数值**：趋势图 + 移动平均
- 特别关注：哪些变量对之间存在强相关？是线性还是非线性？
- **相关矩阵**：生成所有数值变量的相关矩阵热力图

## 第四步：多变量探索与模式发现
- **分组对比**：按关键分类变量分组，比较数值变量的分布差异
- **交互效应**：两个变量的联合效应是否不同于各自的独立效应？
- **聚类倾向**：数据中是否存在自然聚类？（可用 PCA 降维后可视化）
- **时间演变**：关键关系是否随时间变化？
- **辛普森悖论检查**：整体趋势在分组后是否反转？

## 第五步：关键发现总结与假设生成
- **Top 5 发现**：列出最重要的 5 个发现，按影响程度排序
- **意外发现**：有什么出乎意料的模式或异常？
- **假设生成**：基于探索发现，提出 3-5 个值得进一步验证的假设
- **数据质量提醒**：在探索过程中发现的数据质量问题
- **下一步建议**：接下来应该做什么深入分析或建模？

## 第六步：EDA 报告大纲
输出一份结构化的 EDA 报告大纲，包括：
- 每个探索步骤建议使用的图表类型和代码片段（Python/R）
- 关键发现的可视化展示方案
- 为后续分析/建模提供的数据准备建议

请在整个探索过程中保持 Tukey 的信条："探索的目标是发现，发现需要好奇心和开放心态。"

请你作为一位统计谬误检测专家，像一位严格的数据审计师一样，帮我检查以下数据分析或数据结论中可能存在的统计谬误和逻辑漏洞。

【待检查的数据结论/分析】：[在这里粘贴你看到的数据分析结论或报告摘要，例如：一份报告称"使用我们新教学方法的学校，学生平均分提高了 15 分，证明新教学方法显著优于传统方法"]

请系统地用以下"统计谬误清单"逐项检查：

## 第一关：样本与数据源检查
- **样本量是否充足？** 小样本容易产生极端结果。n < 30 的结论需要高度谨慎
- **样本是否有代表性？** 样本是如何选取的？是否存在选择偏差？
- **幸存者偏差**：分析是否只包含了"活下来的"样本？那些失败/退出的案例去哪了？
- **自选择偏差**：被研究的对象是主动选择参与的吗？（如"使用新方法的学校"可能本身就更积极进取）
- **数据来源可靠性**：数据是谁收集的？是否有利益冲突？

## 第二关：相关性与因果性检查
- **相关≠因果**：报告中是否将相关性表述为因果性？
- **反向因果**：因果方向是否可能是反的？（如"成功企业都有好文化"——也许是成功带来了好文化，而非相反）
- **混淆变量**：是否存在未被控制的第三方变量？
- **虚假相关**：两个变量的相关是否可能纯属巧合或由共同趋势驱动？
- 如果声称因果关系，用什么方法建立的？是随机实验还是观察研究？

## 第三关：数字游戏检查
- **基率忽视**：结论是否忽略了统计基线？（如"药物有效率 90%"——但不吃药自愈率也是 85%呢？）
- **百分比陷阱**：是否用百分比掩盖了绝对数字？（如"增长了 200%"——从 1 变成了 3）
- **坐标轴操纵**：图表的坐标轴是否被截断或不从零开始，夸大了变化幅度？
- **选择性时间窗口**：数据的时间范围是否被刻意选择以支持某个叙事？
- **平均值陷阱**：使用均值还是中位数？在偏态分布中，均值可能严重误导

## 第四关：统计推断检查
- **p 值滥用**：是否仅以 p < 0.05 为证据？有没有报告效果量和置信区间？
- **p-hacking**：是否测试了多个假设但只报告了显著的那个？
- **多重比较问题**：如果做了多次检验，是否做了多重比较校正？
- **统计显著 vs 实际显著**：即使统计显著，效果量是否有实际意义？
- **置信区间宽度**：置信区间是否太宽，以至于结论实际上很不确定？

## 第五关：逻辑谬误检查
- **辛普森悖论**：整体结论在分组后是否可能逆转？
- **回归均值**：观察到的"改善"是否只是自然回归到平均水平？
- **采樱桃（Cherry Picking）**：是否选择性地只展示支持观点的数据？
- **赌徒谬误**：是否基于过去的随机结果预测未来？
- **叙事谬误**：是否在随机波动中强行构建了因果故事？
- **锚定效应**：结论是否受到了某个初始数字的过度影响？

## 第六关：综合评估
- **可信度评分**：对这个数据结论的整体可信度打分（1-10），并说明理由
- **最大隐患**：这个结论中最可能出问题的环节是什么？
- **修正建议**：如何修正分析以得出更可靠的结论？
- **需要追问的问题**：列出 5 个你想向数据提供方追问的关键问题

请在检查过程中保持批判但不cynical的态度：目标是发现真相，而非否定一切。

请你作为一位机器学习模型选择专家，运用偏差-方差权衡理论和系统化的模型选择方法论，帮我为以下预测任务选择最合适的模型。

【预测任务描述】：[在这里描述你的预测任务，例如：预测电商平台用户未来 30 天是否会流失（二分类问题），数据集包含 10 万用户、50 个特征，包括人口统计、交易行为、浏览行为等]

【约束条件】：[例如：模型需要有一定的可解释性，因为需要向业务团队说明流失原因；推理延迟要求 < 50ms；每月需要更新一次]

请严格按照以下模型选择框架进行：

## 第一步：问题定义与特征分析
- **任务类型**：分类/回归/时间序列/排序/聚类？
- **输出要求**：需要概率输出还是硬分类？需要排序还是精确数值？
- **数据特征**：
  - 样本量和特征数量的比例（n/p ratio）
  - 特征类型分布：数值型、分类型、文本型的比例
  - 特征之间是否存在强共线性？
  - 目标变量的分布：是否严重不平衡？是否有长尾？
  - 是否存在缺失值？比例如何？
- **业务约束**：可解释性、推理速度、更新频率、维护成本

## 第二步：候选模型清单与特性分析
根据问题特征，列出候选模型并分析各自的优劣：

| 模型 | 偏差 | 方差 | 可解释性 | 训练速度 | 推理速度 | 适合场景 |
|------|------|------|----------|----------|----------|----------|
| [模型1] | ... | ... | ... | ... | ... | ... |
| [模型2] | ... | ... | ... | ... | ... | ... |
| ... | ... | ... | ... | ... | ... | ... |

对每个候选模型说明：
- 它的基本假设是什么？这些假设在当前数据中是否成立？
- 它在什么条件下表现最好？什么条件下会失败？
- 它如何处理缺失值、类别不平衡、高维特征？

## 第三步：偏差-方差诊断
- **学习曲线分析**：随着训练数据量增加，训练误差和验证误差如何变化？
  - 如果二者都高 → 高偏差（欠拟合），需要更复杂的模型
  - 如果训练误差低但验证误差高 → 高方差（过拟合），需要正则化或更简单的模型
  - 如果二者都低且接近 → 良好拟合
- **复杂度曲线分析**：随着模型复杂度增加，性能如何变化？找到最优复杂度

## 第四步：模型评估策略
- **评估指标选择**：
  - 为什么选这个指标？它与业务目标的对齐程度如何？
  - 是否需要关注不同类型错误的不同成本？（如误报 vs 漏报）
  - 主要指标 + 辅助指标的组合
- **验证策略**：
  - K 折交叉验证（K 取多少？是否需要分层？）
  - 时间序列问题是否需要用时间切分而非随机切分？
  - 是否需要嵌套交叉验证（同时选参和评估）？
- **统计显著性**：不同模型之间的性能差异是否具有统计显著性？

## 第五步：最终推荐
- **推荐模型**：给出最终推荐和理由
- **基线模型（Baseline）**：建议的简单基线是什么？（如逻辑回归、随机预测）
- **渐进策略**：建议从简单模型开始，逐步增加复杂度的路径
- **部署考量**：推荐模型的工程化难度、维护成本、可监控性
- **模型更新策略**：多久重新训练一次？如何检测模型漂移？
- **风险提示**：推荐模型的已知局限性和失效场景

请在整个选择过程中牢记 George Box 的名言："所有模型都是错的，但有些模型是有用的。"

请你作为一位数据驱动决策专家，运用 CRISP-DM 数据挖掘流程和决策理论，帮我设计一个完整的数据驱动决策框架来解决以下业务问题。

【业务决策问题】：[在这里描述你面临的业务决策，例如：我们是否应该将免费试用期从 14 天延长到 30 天？这可能增加转化率，但也可能增加服务器成本和降低用户紧迫感]

【已有信息】：[描述你目前已有的数据和信息，例如：过去 12 个月的免费试用数据，包括注册、使用行为、转化、留存等]

请严格按照以下数据驱动决策框架进行：

## 第一步：决策框架构建（CRISP-DM 阶段 1 — 业务理解）
- **决策本质**：这是一个什么类型的决策？（单向门/双向门？可逆/不可逆？）
- **决策利益相关者**：谁会受到这个决策的影响？各方的利益诉求是什么？
- **决策目标量化**：用可测量的指标表述决策目标
  - 主要目标：[具体指标和目标值]
  - 约束条件：[不能恶化的底线指标]
- **决策替代方案**：除了"做"和"不做"，还有哪些创造性的替代方案？
  - 列出至少 4-5 个替代方案（包括"什么都不做"作为基线）
- **决策时间线**：什么时候必须做出决策？为什么？

## 第二步：信息需求分析（CRISP-DM 阶段 2 — 数据理解）
- **已知信息清单**：目前已经掌握了哪些相关数据和信息？
- **未知但可获取**：还有哪些数据可以收集？成本和时间是多少？
- **未知且难以获取**：哪些信息是理论上需要但实际上无法获取的？
- **信息经济价值评估（EVOI）**：
  - 如果在当前信息下做决策，最大可能的损失是多少？
  - 额外收集信息能将这个损失降低多少？
  - 收集额外信息的成本是多少？
  - 只有当 EVOI > 收集成本时，才值得投入更多时间收集数据

## 第三步：数据分析与建模（CRISP-DM 阶段 3-4）
- **基线分析**：当前状态的关键指标是什么？
- **历史数据挖掘**：过去的数据中有什么可以借鉴的模式？
- **预测建模**：对每个替代方案，预测可能的结果
  - **最佳情况**：如果一切顺利，预期结果是什么？概率多大？
  - **基础情况**：最可能的结果是什么？概率多大？
  - **最差情况**：如果事情不如预期，最坏结果是什么？概率多大？
- **敏感性分析**：哪些假设/参数对结果影响最大？
- **蒙特卡洛模拟**：如果可能，用模拟方法估算结果的分布

## 第四步：决策矩阵评估（CRISP-DM 阶段 5 — 评估）
构建决策矩阵，对每个替代方案进行系统评估：

| 替代方案 | 指标1 | 指标2 | 指标3 | 风险评级 | 实施难度 | 综合评分 |
|----------|-------|-------|-------|----------|----------|----------|
| 方案A | ... | ... | ... | ... | ... | ... |
| 方案B | ... | ... | ... | ... | ... | ... |
| 不做（基线）| ... | ... | ... | ... | ... | ... |

- 每个指标的权重如何分配？权重反映了什么样的价值取向？
- 不同权重设置下，排名是否会改变？（稳健性检查）

## 第五步：实施方案设计（CRISP-DM 阶段 6 — 部署）
对推荐方案设计实施计划：
- **渐进式实施**：是否可以先小范围试验再全面推广？
- **监控指标**：实施后需要监控哪些指标？
- **成功/失败标准**：什么数据表明决策是正确的？什么数据表明需要调整？
- **止损机制**：如果数据显示方案失败，什么条件下回退？
- **学习循环**：如何将本次决策的结果反馈到未来的决策中？

## 第六步：决策备忘录
输出一份简洁的决策备忘录（1 页），包含：
- 问题陈述
- 关键数据发现（3-5 个要点）
- 推荐方案及理由
- 主要风险和缓解措施
- 下一步行动和时间表

请在整个过程中遵循 Douglas Hubbard 的原则："在不确定中做决策不是问题，在不需要不确定时仍然不确定才是问题。"

请你作为一位数据可视化设计专家，运用 Jacques Bertin 的视觉变量理论和 Cleveland & McGill 的图表感知研究，帮我设计有效的数据可视化方案。

【数据描述】：[描述你要可视化的数据，例如：5 年内公司 4 条产品线的季度营收数据，需要展示趋势、占比和各产品线的对比]

【展示目的】：[你想通过可视化传达什么信息？例如：向董事会展示产品组合的健康度和增长趋势，支持"加大产品线 B 投入"的建议]

【受众】：[图表的受众是谁？例如：公司董事会成员，非技术背景，时间有限]

请严格按照以下数据可视化设计框架进行：

## 第一步：明确可视化目标
- **核心问题**：这个可视化要回答什么问题？
- **信息类型**：展示的是比较、趋势、分布、组成、关系还是地理信息？
- **视觉任务**：受众需要执行什么视觉任务？（查找具体值、比较大小、识别趋势、发现异常、理解占比）
- **关键信息**：如果受众只能从图表中获取一个信息，你希望是什么？
- **认知预算**：受众有多少时间和注意力分配给这个图表？

## 第二步：图表类型选择
根据数据类型和展示目的，推荐最佳图表类型：

### 基于 Cleveland & McGill 的感知精度排序选择
1. **需要精确比较** → 使用"沿公共尺度的位置"编码 → 柱状图/条形图/点图
2. **展示趋势变化** → 使用"位置和斜率"编码 → 折线图
3. **展示部分-整体关系** → 使用"长度"编码（堆叠条形图）优于"角度"编码（饼图）
4. **展示两变量关系** → 使用"二维位置"编码 → 散点图
5. **展示分布** → 直方图/箱线图/小提琴图

对每个推荐的图表类型说明：
- 为什么它比其他候选类型更适合？
- 它利用了哪些视觉变量？感知精度如何？
- 这种图表类型的已知局限性是什么？

## 第三步：视觉编码设计
运用 Bertin 的视觉变量理论设计具体的视觉编码：

### 位置编码
- X 轴和 Y 轴分别映射什么变量？为什么这样分配？
- 坐标轴的范围、刻度和标签如何设置？

### 颜色编码
- 颜色用于编码什么信息？（分类/连续/高亮）
- **分类数据**：使用色相区分（最多 7-8 种颜色）
- **连续数据**：使用单色调的明度渐变或双色调的发散色板
- **色觉无障碍**：是否考虑了色盲用户？（避免仅依赖红绿区分）
- **文化含义**：颜色的文化联想是否合适？（如红色在中国代表积极，在西方代表危险）

### 大小与形状编码
- 大小编码：只在必要时使用（人类对面积的感知精度低于对长度的感知）
- 形状编码：用于分类区分（最多 5-6 种形状）

## 第四步：Tufte 原则优化 — 去除图表垃圾
系统检查并建议去除以下"图表垃圾"：
- [ ] 不必要的 3D 效果
- [ ] 多余的网格线（保留关键参考线即可）
- [ ] 装饰性图案和背景
- [ ] 冗余的图例（如果可以直接在数据上标注）
- [ ] 多余的边框和轴线
- [ ] 默认的灰色背景
- 计算优化前后的"数据墨水比"，目标是最大化

## 第五步：叙事层设计
在图表上添加叙事元素，引导受众的注意力：
- **标题**：使用"陈述性标题"（说明发现）而非"描述性标题"（说明内容）
  - 好的标题："产品线 B 季度增速领先其他产品线 2 倍"
  - 差的标题："各产品线季度营收趋势"
- **标注**：在图表上直接标注关键数据点和转折点
- **参考线**：添加目标线、均值线或行业基准线，提供比较锚点
- **高亮**：用颜色或大小突出最重要的数据系列，其余灰化
- **顺序**：信息的阅读顺序是否符合叙事逻辑？

## 第六步：输出完整的可视化方案
- **图表规格**：具体的图表类型、尺寸、配色方案
- **数据映射表**：哪个数据字段映射到哪个视觉变量
- **交互设计**（如适用）：悬停、筛选、下钻等交互行为
- **实现建议**：推荐的可视化工具或库（如 Echarts、D3.js、Tableau、Python matplotlib/seaborn/plotly）
- **辅助文字**：图表下方的简要说明文字
- **避坑清单**：这个可视化方案中需要特别注意的设计陷阱

请在整个设计过程中牢记 Edward Tufte 的格言："图形卓越，在于以最少的墨水，在最短的时间内，向观者传达最丰富的思想。"