面向异常检测的提示工程

异常值检测的提示工程

通过实际数据项目学习如何检测异常值，并利用AI改进流程。

介绍

给定数据集中的离群值代表极端值。它们极端到可以通过严重扭曲统计数据（比如均值）来毁掉你的分析。例如，在球员身高数据集中，12英尺即使是NBA球员也是个异常值，会显著拉高平均值。

我们该如何应对？我们将通过在数据科学家招聘过程中，Physician Partners要求的真实数据项目来回答这个问题。

首先，我们将探讨检测方法，定义异常值，最后设计执行流程的提示。

什么是异常值检测和移除方法？

异常值检测取决于你拥有的数据集。如何？

例如，如果你的数据集分布是正态的，你可以用标准差或Z分数来检测它们。然而，如果你的数据集不遵循正态分布，可以使用百分位法、主成分分析（PCA）或四分位数间距（IQR）方法。

你可以查看**这篇文章**，了解如何使用箱形图检测异常值。

在本节中，我们将探索应用这些技术的方法论和Python代码。

标准差法

在这种方法中，我们可以通过测量每个值偏离均值的程度来定义离群值。

例如，在下面的图表中，你可以看到正态分布和均值的标准差 \（\pm3 \）。

使用此方法时，首先测量平均值并计算标准差。接下来，通过对均值加减三个标准差来确定阈值，并过滤数据集，只保留该范围内的数值。这里是执行此作的**Pandas**代码。

importpandasaspdimportnumpyasnp col=df['column']mean=col.mean()std=col.std()lower=mean-3*std upper=mean+3*std# Keep values within the 3 std dev rangefiltered_df=df[(col>=lower)&(col<=upper)]

我们有一个假设：数据集应遵循正态分布。什么是正态分布？这意味着数据呈现均衡的钟形分布。这里有一个例子：

使用这种方法，你会标记大约0.3%的数据为异常值，因为3个标准差的均值覆盖了大约99.7%的数据。

IQR

四分位区间（IQR）代表你数据的中间50%，显示数据集中最常见的数值，如下图所示。

要用 IQR 检测异常值，首先计算 IQR。在下一段代码中，我们定义第一和第三四分位数，并从第三个四分位数中减去第一四分位数，得到 IQR （\（ 0.75 - 0.25 = 0.5 \））。

Q1=df