MIC:一文教你如何计算变量之间的相关性

本文介绍了几个重要的变量相关性的度量，包括皮尔逊相关系数、距离相关性和最大信息系数等，并用简单的代码和示例数据展示了这些度量的适用性对比。

从信号的角度来看，这个世界是一个嘈杂的地方。为了弄清楚所有的事情，我们必须有选择地把注意力集中到有用的信息上。

通过数百万年的自然选择过程，我们人类已经变得非常擅长过滤背景信号。我们学会将特定的信号与特定的事件联系起来。

例如，假设你正在繁忙的办公室中打乒乓球。为了回击对手的击球，你需要进行大量复杂的计算和判断，将多个相互竞争的感官信号考虑进去。为了预测球的运动，你的大脑必须重复采样球的位置并估计它未来的轨迹。更厉害的球员还会将对手击球时施加的旋转考虑进去。最后，为了击球，你需要考虑对手的位置、自己的位置、球的速度，以及你打算施加的旋转。

所有这些都涉及到了大量的潜意识微分学。一般来说，我们理所当然的认为，我们的神经系统可以自动做到这些。

同样令人印象深刻的是，人类大脑是如何区别对待它所接收到的无数竞争信号的重要性的。例如，球的位置被认为比你身后发生的对话或你面前打开的门更重要。

这听起来似乎不值得一提，但实际上这证明了可以多大程度上学习从噪声数据中做出准确预测。

当然，一个被给予连续的视听数据流的空白状态机将会面临一个困难的任务，即确定哪些信号能够最好地预测最佳行动方案。

幸运的是，有统计和计算方法可以用来识别带噪声和复杂的数据中的模式。

相关性

一般来说，当我们谈到两个变量之间的「相关性」时，在某种意义上，我们是指它们的「关系」。

相关变量是包含彼此信息的变量。两个变量的相关性越强，其中一个变量告诉我们的关于另一个变量的信息就越多。

cos()的值将根据两个箭头向量之间的角度而发生变化。

当角度为零时，cos()等于1。

SEI期货即将上线币安，流通量达18亿:金色财经报道，SEI期货即将上线币安，流通量达18亿，SEI是一种基于区块链的新型加密货币，SEI代币将作为期货合约提供，类似于IOU期货。该代币的流通供应量为18亿枚，占总供应量100亿枚的18%，初始价格为26美分，价值4.86亿美元。该加密货币预计将跻身前100名加密货币之列。[2023/8/10 16:17:39]

当角度为-180°时，cos()等于-1。

当角度为90°时，cos()等于0。

这可能看起来很熟悉——一个介于+1和-1之间的衡量标准似乎描述了两个向量之间的关系？那不是Pearson’sr吗？

那么——这正是它的解释！通过将数据视为高维空间中的箭头向量，我们可以用它们之间的角度作为相似度的衡量。

无盛行风向时，小船随机漂流

如果存在盛行风向，那么小船漂流的方向将依赖于风的强度。风力越强，依赖性越显著。

有盛行风向时，小船倾向于同向漂流

与之类似，无关变量可以被看作无盛行风向时随机漂流的小船；相关变量可以被看作在盛行风向影响下漂流的小船。在这个比喻中，风的强弱就代表着两个变量之间相关性的强弱。

如果我们允许盛行风向在湖面的不同位置有所不同，那么我们就可以引入非线性的概念。距离相关性利用「小船」之间的距离推断盛行风的强度。

置信区间？

我们可以采取「重采样」方法为距离相关性估计建立置信区间。一个简单的例子是bootstrap重采样。

某鲸鱼地址向币安存入452枚WBTC:7月11日消息，据Spot On Chain监测，8小时前，一个WBTC聪明鲸鱼地址向币安存入452枚WBTC（约合1385万美元），均价30,656美元。

该鲸鱼擅长选择WBTC的进场点和结算点，并在75天内通过在币安交易WBTC预计获利275万美元，投资回报率达11%。[2023/7/11 10:47:42]

这是一个巧妙的统计技巧，需要我们从原始数据集中随机抽样以「重建」数据。这个过程将重复多次，每次都计算感兴趣的统计量。

这将为我们感兴趣的统计量产生一系列不同的估计值。我们可以通过它们估计在给定置信水平下的上限和下限。

请看下面的R语言代码，它实现了简单的bootstrap函数：

bootstrap<-function(x,y,reps,alpha){estimates<-c()original<-data.frame(x,y)N<-dim(original)for(iin1:reps){S<-originalestimates<-append(estimates,distanceCorrelation(S$x,S$y)。u<-alpha/2;l<-1-uinterval<-quantile(estimates,c(l,u))return(2*(dcor(x,y))-as.numeric(interval)。Billions项目组-->0.237to0.546

如果你想建立统计显著性，还有另一个重采样技巧，名为「排列检验」。

排列检验与上述bootstrap方法略有不同。在排列检验中，我们保持一个向量不变，并通过重采样对另一个变量进行「洗牌」。这接近于零假设——即，在变量之间不存在依赖关系。

这个经「洗牌」打乱的变量将被用于计算它和常变量间的距离相关性。这个过程将被执行多次，然后，结果的分布将与实际距离相关性相比较。

然后，大于或等于「实际」结果的经「洗牌」的结果的比例将被定为P值，并与给定的显著性阈值进行比较。

币安将上线ADA/TUSD、LTC/TUSD和TUSD/BUSD交易对:5月30日消息，币安将于 5 月 31 日 16:00 上线 ADA/TUSD、LTC/TUSD 和 TUSD/BUSD 交易对，币安现货网格将于 ADA/TUSD、LTC/TUSD、TUSD/BUSD 现货交易对上线后 48 小时内，开放现货网格交易。[2023/5/30 11:47:46]

以下是上述过程的代码实现：

permutationTest<-function(x,y,reps){observed<-distanceCorrelation(x,y)y_i<-sample(y,length(y),replace=T)estimates<-append(estimates,distanceCorrelation(x,y_i)。p_value<-mean(estimates>=observed)return(p_value。Billions项目组-->0.036

最大信息系数

最大信息系数于2011年提出，它是用于检测变量之间非线性相关性的最新方法。用于进行MIC计算的算法将信息论和概率的概念应用于连续型数据。

深入细节

由克劳德·香农于20世纪中叶开创的信息论是数学中一个引人注目的领域。

信息论中的一个关键概念是熵——这是一个衡量给定概率分布的不确定性的度量。概率分布描述了与特定事件相关的一系列给定结果的概率。

概率分布的熵是「每个可能结果的概率乘以其对数后的和」的负值

为了理解其工作原理，让我们比较下面两个概率分布：

X轴标明了可能的结果；Y轴标明了它们各自的概率

左侧是一个常规六面骰子结果的概率分布；而右边的六面骰子不那么均匀。

从直觉上来说，你认为哪个的熵更高呢？哪个骰子结果的不确定性更大？让我们来计算它们的熵，看看答案是什么。

entropy<-function(x){pr<-prop.table(table(x))H<-sum(pr*log(pr,2))return(-H。dice1<-1:6dice2<-c(1,1,1,1,2:6)entropy(dice1)Billions项目组-->2.281

做市商巨头Citadel或将帮助Silvergate摆脱流动性危机:金色财经报道，有传言称全球做市商巨头Citadel Securities将介入Silvergate以挽救局面，而且可能会向处于资金短缺的Silvergate注入更多资金以帮助其摆脱流动性危机。Citadel Securities主要为全球客户（包括银行、经纪商和系统交易公司）提供市场影响力较低和定价一致的可定制流动性方案，目前持有Silvergate Bank约5.5%的股份。本周五美股收盘时，Silvergate Capital Corp股价达到5.77美元，较前一日上涨0.87%。（coinpedia）[2023/3/4 12:42:08]

不出所料，常规骰子的熵更高。这是因为每种结果的可能性都一样，所以我们不会提前知道结果偏向哪个。但是，非常规的骰子有所不同——某些结果的发生概率远大于其它结果——所以它的结果的不确定性也低一些。

这么一来，我们就能明白，当每种结果的发生概率相同时，它的熵最高。而这种概率分布也就是传说中的「均匀」分布。

交叉熵是熵的一个拓展概念，它引入了第二个变量的概率分布。

crossEntropy<-function(x,y){prX<-prop.table(table(x))prY<-prop.table(table(y))H<-sum(prX*log(prY,2)。

两个相同概率分布之间的交叉熵等于其各自单独的熵。但是对于两个不同的概率分布，它们的交叉熵可能跟各自单独的熵有所不同。

这种差异，或者叫「散度」可以通过KL散度量化得出。

两概率分布X与Y的KL散度如下：

概率分布X与Y的KL散度等于它们的交叉熵减去X的熵

KL散度的最小值为0，仅当两个分布相同。

KL_divergence<-function(x,y){kl<-crossEntropy(x,y)-entropy(x)return(kl。

为了发现变量具有相关性，KL散度的用途之一是计算两个变量的互信息。

比特币采矿公司Greenidge Generation上半年比特币总产量达到1183个:金色财经报道，比特币采矿公司Greenidge Generation提供了2022年6月的运营数据。数据显示，在2022年6月期间，Greenidge生产了大约230个比特币，截至2022年6月30日的六个月的比特币总产量达到1183个。Greenidge拥有约2.5 EH/s 的采矿能力，来自约 27,500 名矿工和另外200名在途矿工。大约24%的算力容量位于Greenidge在南卡罗来纳州斯巴达堡的工厂，该工厂于2021年 12 月被收购并开始运营。[2022/7/11 2:05:44]

互信息可以定义为「两个随机变量的联合分布和边缘分布之间的KL散度」。如果二者相同，MI值取0。如若不同，MI值就为一个正数。二者之间的差异越大，MI值就越大。

为了加深理解，我们首先简单回顾一些概率论的知识。

变量X和Y的联合概率就是二者同时发生的概率。例如，如果你抛掷两枚硬币X和Y，它们的联合分布将反映抛掷结果的概率。假设你抛掷硬币100次，得到「正面、正面」的结果40次。联合分布将反映如下：

P(X=H,Y=H)=40/100=0.4

jointDist<-function(x,y){u<-unique(append(x,y))joint<-c()for(iinu){for(jinu){f<-xjoint<-append(joint,length(f)/N。return(joint。

边缘分布是指不考虑其它变量而只关注某一特定变量的概率分布。假设两变量独立，二者边缘概率的乘积即为二者同时发生的概率。仍以抛硬币为例，假如抛掷结果是50次正面和50次反面，它们的边缘分布如下：

P(X=H)=50/100=0.5;P(Y=H)=50/100=0.5

P(X=H)×P(Y=H)=0.5×0.5=0.25

marginalProduct<-function(x,y){marginal<-c()fX<-length(x)/NfY<-length(y)/Nmarginal<-append(marginal,fX*fY。return(marginal。

现在让我们回到抛硬币的例子。如果两枚硬币相互独立，边缘分布的乘积表示每个结果可能发生的概率，而联合分布则为实际得到的结果的概率。

如果两硬币完全独立，它们的联合概率在数值上等于边缘分布的乘积。若只是部分独立，此处就存在散度。

这个例子中，P(X=H,Y=H)>P(X=H)×P(Y=H)。这表明两硬币全为正面的概率要大于它们的边缘分布之积。

联合分布和边缘分布乘积之间的散度越大，两个变量之间相关的可能性就越大。两个变量的互信息定义了散度的度量方式。

X和Y的互信息等于「二者边缘分布积和的联合分布的KL散度」

mutualInfo<-function(x,y){joint<-jointDist(x,y)marginal<-marginalProduct(x,y)Hjm<--sum(joint*log(marginal,2))Hj<--sum(joint*log(joint,2))return(Hjm-Hj。

此处的一个重要假设就是概率分布是离散的。那么我们如何把这些概念应用到连续的概率分布呢？

分箱算法

其中一种方法是量化数据。这是通过分箱算法实现的，它能将连续的数据点分配对应的离散类别。

此方法的关键问题是到底要使用多少「箱子」。幸运的是，首次提出MIC的论文给出了建议：穷举！

也就是说，去尝试不同的「箱子」个数并观测哪个会在变量间取到最大的互信息值。不过，这提出了两个挑战：

要试多少个箱子呢？理论上你可以将变量量化到任意间距值，可以使箱子尺寸越来越小。

互信息对所用的箱子数很敏感。你如何公平比较不同箱子数目之间的MI值？

第一个挑战从理论上讲是不能做到的。但是，论文作者提供了一个启发式解法。他们也给出了可试箱子个数的上限。

最大可用箱子个数由样本数N决定

至于如何公平比较取不同箱子数对MI值的影响，有一个简单的做法……就是归一化！这可以通过将每个MI值除以在特定箱子数组合上取得的理论最大值来完成。我们要采用的是产生最大归一化MI总值的箱子数组合。

互信息可以通过除以最小的箱子数的对数来归一化

最大的归一化互信息就是X和Y的最大信息系数。我们来看看一些估算两个连续变量的MIC的代码。

MIC<-function(x,y){maxBins<-ceiling(N**0.6)MI<-c()for(iin2:maxBins){for(jin2:maxBins){if(i*j>maxBins){nextXbins<-i;Ybins<-jbinnedX<-cut(x,breaks=Xbins,labels=1:Xbins)binnedY<-cut(y,breaks=Ybins,labels=1:Ybins)MI_estimate<-mutualInfo(binnedX,binnedY)MI_normalized<-MI_estimate/log(min(Xbins,Ybins),2)MI<-append(MI,MI_normalized。return(max(MI)。x<-runif(100,-10,10)y<-x**2+rnorm(100,0,10)MIC(x,y)Billions项目组-->0.594to0.88

总结

为了总结相关性这一主题，我们来测试下各算法在人工生成数据上的处理能力。

完整代码：https://gist.github.com/anonymous/fabecccf33f9c3feb568384f626a2c07

噪声函数

set.seed(123)Billions项目组Simplelinearrelationshipx1<--20:20y1<-x1+rnorm(41,0,4)plot(y1~x1,pch=18)cor(x1,y1)distanceCorrelation(x1,y1)MIC(x1,y1)

Pearson'sr=+0.95

距离相关性=0.95

MIC=0.89

简单二次函数

Billions项目组Cosinex3<--20:20y3<-cos(x3/4)+rnorm(41,0,0.2)plot(y3~x3,type='p',pch=18)cor(x3,y3)distanceCorrelation(x3,y3)MIC(x3,y3)

Pearson'sr=-0.035

距离相关性=0.382

MIC=0.484

圆函数

#Circlen<-50theta<-runif(n,0,2*pi)x4<-append(cos(theta),cos(theta))y4<-append(sin(theta),-sin(theta))plot(x4,y4,pch=18)cor(x4,y4)distanceCorrelation(x4,y4)MIC(x4,y4)

Pearson'sr<0.001

距离相关性=0.234

MIC=0.218

原文链接：https://medium.freecodecamp.org/how-machines-make-predictions-finding-correlations-in-complex-data-dfd9f0d87889

本文为机器之心编译，转载请联系本公众号获得授权。

标签：MICMIC币MIC价格

XLM热门资讯