本文由我的朋友撰写，经其同意发布。

本文中的“作者”指代学术论文的作者，“审稿人”指代学术论文的审稿人，“我们”指代本文的作者（除非出现在英文引用/翻译之中）。

引言

前不久随着国内新冠疫情政策的改变，Paxlovid作为新冠口服药被广泛讨论，在国内一些城市已经可以买到并使用。最近身边感染的人很多，大家也非常期待能有药物来帮助对抗新冠。

这个时候，我们关注到饶毅老师的微信公众号在2022年12月29日的一篇文章《说谎成性的写手编造谣越来越离奇：美国医学院教授吃美国药是听中国抄袭博士的话？》，提及了学术界对新冠口服药的看法。这里粘贴一部分饶老师文章里的话：

能否识别如此简单的伪君子，是判断一个读者是否群盲的一个标准。

而一般人不清楚，中国生物医学的博士现在遍地都是。一个合格的博士（相对于水博士）是不会靠短视频、不会通过微信来了解药物，而是阅读英文原始论文来了解药物效果。

实际上，最新的科学文献，对于Paxlovid对于65岁以上的治疗作用还有疑问（附件1）。

而对于65岁以下似乎无作用还有担忧（附件2）

中国最近推出一个药VV，中文媒体普遍忽略说明的是，这个药是外国药物的衍生物。中国医生在国际刊物发表结果，认为其作用不逊于Paxlovid（附件3）。

饶老师说的“对于Paxlovid对于65岁以上的治疗作用还有疑问” 来自于一个审稿人对一篇论文的意见。这个论文以及审稿意见（也就是他说的“附件1”）很容易查到。论文是2022年9月在新英格兰医学杂志发表的，题目是Nirmatrelvir Use and Severe Covid-19 Outcomes during the Omicron Surge，其中Nirmatrelvir就是Paxlovid的第一种成分。虽然我们不是生物医学的学生，但是可以越俎代庖来看一看，开拓视野也是好的。

审稿人提出的问题

这位审稿人说：

  • Arbel et al. (Sept. 1 issue)1 found that among adults 65 years of age or older, the rates of hospitalization and death due to Covid-19 were lower among those who were treated with nirmatrelvir than among those who were not. We are uncertain whether these results are generalizable to the untreated population for two reasons. First, the vast majority of patients (96%) were not treated, which points to the presence of marked selection bias. The cause of this observation may be difficult to determine; however, it must be elucidated. The considerably skewed distribution of known confounders impairs extrapolation of the results to the untreated group. The use of propensity-score–based methods would allow for the probability of treatment in both groups to be matched, thereby enabling a more balanced, and perhaps stratified, comparison of outcomes between treated and untreated patients.2 Second, despite the fact that the authors corrected for known confounders, there were probably unmeasured confounders (e.g., severity of symptoms) that influenced the treatment decision through presumed treatment benefit. Although the results of the study are encouraging, differences between the groups and the absence of data on adverse events impair astute translation of the findings of this observational study to clinical practice and policy making.

翻译：

  • Arbel等人（9月1日）发现，在65岁或以上的成年人中，接受nirmatrelvir治疗的患者因新冠肺炎而住院和死亡的比率低于未接受nirmatrelvir治疗的患者。我们不确定这些结果是否适用于未经治疗的人群，原因有两个。首先，绝大多数患者（96%）没有接受治疗，这表明存在明显的选择偏差。这种观察的原因可能很难确定；然而，必须阐明这一点。已知混杂因素的显著偏斜分布削弱了对未治疗组结果的推断。使用基于倾向评分的方法将使两组患者的治疗概率相匹配，从而使治疗和未治疗患者之间的结果更加平衡，可能分层比较。其次，尽管作者纠正了已知的混杂因素，可能存在未测量的混杂因素（例如症状的严重程度），这些混杂因素通过假定的治疗益处影响治疗决策。尽管研究结果令人鼓舞，但两组之间的差异以及不良事件数据的缺乏，削弱了从这项观察研究结果到临床实践和政策制定的敏锐转化。

（注：我这里的翻译主要是软件翻译加简单修理，略显生硬且专业术语不一定正确）

审稿意见里有一个很关键的词，叫选择偏差。什么是选择偏差？

选择偏差

某百科：

  • Selection bias is the bias introduced by the selection of individuals, groups, or data for analysis in such a way that proper randomization is not achieved, thereby failing to ensure that the sample obtained is representative of the population intended to be analyzed.

翻译：

  • 选择性偏差是指在选择个人、群体或数据进行分析时引入的偏倚，在这种选择中，没有达到适当的随机性，从而无法确保所获得的样本代表着我们想要分析的群体。

简单来说，就是样本没有代表性。这个最经典的例子就是：

记者在疾驰的火车上采访群众：“这位乘客，你买到回家的火车票了吗？”

乘客甲：“买到了。”

“旁边这位呢？”

乘客已：“我也买到了。”

记者随机采访了十几个人，高兴地发现，大家都买到了火车票。

论文数据与可能的选择偏差

论文里的结论是：

  • Among patients 65 years of age or older, the rates of hospitalization and death due to Covid-19 were significantly lower among those who received nirmatrelvir than among those who did not. No evidence of benefit was found in younger adults.

翻译：

  • 在65岁或以上的患者中，接受nirmatrelvir治疗的患者因Covid-19住院和死亡的比例明显低于未接受治疗的患者。在更年轻的成人中没有发现有益的证据。

支持他们结论的关键数据：

  • 大于65岁一共 42,821病患
  • 其中2484 (5.8%)服药了。在这些人中，11人住院了（住院率0.4428%），2人因新冠而死（death due to Covid-19）。
  • 40337(94.2%)没服药。在这些人中，766人住院了（住院率1.899%），158人因新冠而死。
  • 0.4428/1.899=23.32%。论文中主要使用人天（person-days）进行统计，服药的住院率14.7例/100,000人天，没服药的58.9例/100,000人天，比例为14.7/58.9=24.96%，基本相似。

我们从论文中的数据可以看出，住院率降低了大约3/4，这个结果确实很令人鼓舞。

我们回头再来看审稿人的话。整理一下，审稿人主要提了两点：

  • 首先，绝大多数患者（96%）没有接受治疗，这表明存在明显的选择偏差。已知混杂因素的显著偏斜分布削弱了对未治疗组结果的推断。
  • 其次，尽管作者纠正了已知的混杂因素，可能存在未测量的混杂因素（例如症状的严重程度），这些混杂因素通过假定的治疗益处影响治疗决策。

我们理解审稿人的意思是，服药的人相比起没有服药的人，会不会有一些混杂因素，比如症状严重程度较轻。服药组的人本来也不容易住院，所以就低估了住院率或者说高估了药效。

对照选择偏差的定义：

“选择性偏差是指在选择个人、群体或数据进行分析时引入的偏倚，在这种选择中，没有达到适当的随机性，从而无法确保所获得的样本代表着我们想要分析的群体。”

这里审稿人提出的选择偏差的可能性，可以说是教科书一般：服药的这小部分人群的选择，可能没有恰当的随机性（比如在症状严重性方面），使得住院率不能外推到更广泛的人群。

论文作者对审稿意见的回复

在论文的讨论（discussion）章节，作者其实也承认了可能存在的偏差

  • Our study has several limitations. As in any retrospective cohort study, various confounders may have caused bias in the observed effectiveness. We attempted to overcome biases in the risk of hospitalization by adjusting for the variables that are known to affect severe Covid-19 outcomes. Nevertheless, we may not have measured, or corrected adequately for, some sources of residual confounding and selection bias, such as differences in early diagnosis and differential access to nirmatrelvir therapy. Our study showed that only a minority of patients who were identified as high risk and eligible for nirmatrelvir therapy received the antiviral therapy. We do not know why the other eligible patients did not receive treatment, and there may be some selection mechanism that is not explained by the observed confounders; therefore, this observation remains our primary concern regarding residual bias.

翻译：

  • 我们的研究有一些局限性。与任何回顾性队列研究一样，各种混杂因素可能导致观察到的有效性出现偏差。我们试图通过调整已知影响严重 Covid-19 结果的变量来克服住院风险的偏差。然而，我们可能没有测量或充分纠正一些残留混杂和选择偏倚的来源，例如早期诊断的差异和获得nirmatrelvir治疗的差异。我们的研究表明，只有少数被确定为高风险且符合nirmatrelvir 治疗条件的患者接受了抗病毒治疗。我们不知道为什么其他符合条件的患者没有接受治疗，并且可能存在一些观察到的混杂因素无法解释的选择机制；因此，这一观察结果仍然是我们对残留偏差的主要关注。

这是论文作者对审稿意见的直接回复，与审稿意见一起公开：

  • The applied method aimed to provide results that are generalizable to the treatment-eligible population (approximately 10% of SARS-CoV-2–infected patients). Eligible patients were further prioritized for therapy on the basis of their evaluated risk, which resulted in differences between the characteristics of the treated and untreated patients. We accounted for these differences by using multivariate Cox regression models. This approach was chosen to maximize the statistical power of the study, given the relatively small treatment group and low event rate. Moreover, we applied matching as an alternative method, and this method produced point estimates that were similar to those of the published analysis but with lower statistical power that did not allow for further stratification according to immunity status.

  • A primary limitation of the study is the lack of data regarding the specific Covid-19 symptoms and their severity, which may act as a confounder. A higher proportion of patients with more severe symptoms receiving treatment would increase the risk of severe Covid-19 outcomes among treated patients. Hence, our results may underestimate the effectiveness of the treatment. The alternative direction of this bias (i.e., if patients who were unwell enough to receive treatment at home were hospitalized shortly after the infection) was addressed by an additional analysis described in our article. This sensitivity analysis excluded hospitalizations that occurred during the first 2 days of follow-up. The fact that the effect size beginning on day 3 of follow-up was similar to that of the main analysis suggests that this bias does not explain a substantial proportion of the effectiveness.

翻译：

  • 所应用的方法旨在提供可推广到符合治疗条件的人群（约 10% 的 SARS-CoV-2 感染患者）的结果。根据评估的风险，符合条件的患者进一步优先接受治疗，这导致接受治疗的患者和未接受治疗的患者的特征存在差异。我们通过使用多元 Cox 回归模型来解释这些差异。考虑到相对较小的治疗组和较低的事件发生率，选择这种方法是为了最大限度地提高研究的统计功效。此外，我们应用匹配作为替代方法，这种方法产生的点估计与已发表的分析相似，但统计功效较低，不允许根据免疫状态进一步分层。

  • 该研究的一个主要局限性是缺乏有关特定 Covid-19 症状及其严重程度的数据，这可能会造成混淆。更高比例的症状更严重的患者接受治疗会增加接受治疗的患者出现严重 Covid-19 结果的风险。因此，我们的结果可能低估了治疗的有效性。我们文章中描述的一项额外分析解决了这种偏差的另一个方向（即，如果患者身体不适而无法在家接受治疗，则在感染后不久就住院）。该敏感性分析排除了随访前 2 天发生的住院治疗。从随访第 3 天开始的效果大小与主要分析的效果大小相似这一事实表明，这种偏差并不能解释大部分有效性。

在论文的讨论章节，作者也复述了以上对审稿意见的回复：

  • We assume that the patients who were likely to be hospitalized because of severe symptoms were systematically treated at a higher rate. Since these symptoms were not reported consistently, it is likely that the treatment effect was underestimated in this study. Moreover, there is a concern that many of the hospitalizations occurred during the first 2 days of follow-up (Fig. 2A), which may have resulted in bias if patients who were unwell enough to be hospitalized very soon after the positive PCR test were more or less likely to receive nirmatrelvir treatment. The sensitivity analysis, which assessed the effect size of nirmatrelvir treatment begin- ning on day 3 of follow-up, showed a hazard ratio of 0.28 (95% CI, 0.15 to 0.55); this result was similar to that of the main analysis, which suggests that this bias does not explain a large proportion of the effectiveness.

翻译：

  • 我们假设可能因严重症状而住院的患者以更高的比率接受系统治疗。由于这些症状的报告不一致，因此本研究中的治疗效果可能被低估了。此外，令人担忧的是，许多住院治疗发生在随访的前2天（图 2A），如果患者在 PCR 检测呈阳性后身体不适而很快住院，或多或少可能接受 nirmatrelvir治疗，这可能会导致偏倚。 敏感性分析评估了从随访第 3 天开始的nirmatrelvir治疗的效果大小，显示风险比为 0.28（95% CI，0.15 至 0.55）；这一结果与主要分析的结果相似，这表明这种偏差并不能解释大部分有效性。

我们总结一下作者对审稿意见的回应：

  • 第一，作者对症状严重性带来的选择偏差的回应是：作者假设症状严重的人（更有可能住院的人）更可能服药，这样就高估了服药组的住院率，低估了药效。但是注意作者用的是assume这个词，这个是他们的假设。关于症状的报道并不一致（since these symptoms were not reported consistently），症状严重程度这个影响因素不好分析，只能诉诸假设。

  • 第二，有一部分人在追踪后（未服药的人从确诊开始追踪，服药的人从服药开始追踪）两天内就住院了，这一部分“急性患者”会不会更容易吃药呢？作者做了进一步的分析，只分析追踪第三天开始的住院率，发现结果是相似的。

我们的看法

在阅读了论文，审稿意见，以及对审稿意见的回复之后，作为吃瓜群众，我们有这些理解：

  • 作者假设症状严重的人（更有可能住院的人）更可能服药。这个假设有没有道理呢？我们认为也是有一定道理的，但毕竟没有实际数据支撑。而且我们也可以挑战这个假设。论文中提到背景：

    On December 22, 2021, the Food and Drug Administration (FDA) issued an emergency use authorization (EUA) for the oral antiviral nirmatrelvir for the treatment of mild-to-moderate Covid-19 in patients who had a high risk of progression to severe disease.

    翻译：2021 年 12 月 22 日，美国食品药品监督管理局 (FDA) 发布了口服抗病毒药物 nirmatrelvir 的紧急使用授权 (EUA)，用于治疗轻度至中度 Covid-19 且进展为重度疾病风险较高的患者。患者在出现症状后5天内开始连续5天接受nirmatrelvir。

    我们可以从相反的角度来挑战作者的假设：这个药物给医生的建议是给轻中症的人吃，会不会进而导致吃药人群整体症状其实更轻呢？这个药物需要症状后5天内开始服用，这也就是作者在论文里说的“早期诊断的差异”，这个会不会导致住院率偏低呢？

  • 作者进一步的研究分析有没有完全解决上述关于选择偏差的疑问呢？这个交给读者朋友自己去评判吧。

  • 总结一下，我们的理解是，这些未测量的影响因素（尤其是症状严重程度以及就诊的早晚）带来的选择偏差还是未知的，作者在这篇论文中，以及在对审稿人的回复中，没有完全解决这种可能性带来的影响。我们认为审稿人的评价还是中肯的：尽管研究结果令人鼓舞，但两组之间的差异以及不良事件数据的缺乏，削弱了从这项观察研究结果到临床实践和政策制定的转化。

结尾

对这个案例，我们现在算是分析得差不多了。我们并不想给读者一个结论说这个药物有没有用处，因为

  • 我们认为审稿人的评价还是中肯的：尽管研究结果令人鼓舞，但两组之间的差异以及不良事件数据的缺乏，削弱了从这项观察研究结果到临床实践和政策制定的转化。

  • 要理解这个药物的用处，需要阅读多篇文献、综合各种证据。我们这里只看了一篇论文，也只是讨论了一个审稿人的意见，关注了这一篇论文的一部分内容，所以是不全面的。

  • 我们的目的并不是分析这个药物，给大家一个答案，而更多的是想跟大家一起学习一些统计类的知识。这个案例只不过是一个帮助学习的引子。这些统计知识不仅仅可以让我们更理性地理解一些新闻报道，对我们日常工作生活也有用的。比如我们卖东西想知道一个改动或者打一个广告对销售额有什么样的影响，那可能就要留意选择偏差的事情，我们就需要经常问自己，样本具有足够的代表性吗？

读者朋友们记得在日常工作生活中留意这种偏差的可能，就算是可以了。

最后给读者朋友们一个练习题：阅读第二位和第三位审稿人的意见，他们的意见有没有道理？作者有没有解决他们提出的问题？