"

                                        ✅万博manbext|体育首页✅㊣全球最大,最信誉的线上综合平台✅万博manbext|体育首页✅千款游戏,砖石级服务,万博manbext|体育首页,欢迎各界玩家加入体验!

                                                                              "
                                                                              中培教育IT资讯频道
                                                                              您现在的位置:万博manbext|体育首页 > IT资讯 > 人工智能 > 人工如智能何解决不平衡数据集的问题

                                                                              人工如智能何解决不平衡数据集的问题

                                                                              2021-05-31 13:19:30 | 来源:中培企业IT培训网

                                                                              平衡训练数据是数据预处理的重要组成部分。数据不平衡是指数据集中的类分布不均,这可能会导致模型训练的潜在风险。有几种方法可以平衡训练数据和克服不平衡数据万博manbext|体育首页万博manbext|体育首页,包括重采样和权重平衡万博manbext|体育首页。想象一下万博manbext|体育首页,如果有一个模型可以识别图片中是狗还是猫万博manbext|体育首页。在测试过程中万博manbext|体育首页,模型正确识别了图片中的所有狗万博manbext|体育首页万博manbext|体育首页,但没有识别出猫万博manbext|体育首页。在查看训练数据集时万博manbext|体育首页,意识到有10张狗的图片和100张猫的图片。这是数据不平衡的一个例子万博manbext|体育首页万博manbext|体育首页,其中每个对象类的数据集没有可比数量的实例万博manbext|体育首页。

                                                                              你需要知道的事实是万博manbext|体育首页,不平衡的数据无处不在万博manbext|体育首页,无法避免数据集不平衡万博manbext|体育首页?万博manbext|体育首页万博manbext|体育首页?悸且桓龅鞑榈缍党抵鞫缘缍滴薹岩饧睦?。因为大部分开电动车的人年收入都很高万博manbext|体育首页万博manbext|体育首页,所以80%的结果是“收费还算合理”万博manbext|体育首页。

                                                                              换句话说,数据集是有偏见的万博manbext|体育首页。一个训练来预测调查反应的模型通?万博manbext|体育首页万博manbext|体育首页万博manbext|体育首页;嵩げ庖桓鋈?万博manbext|体育首页,无论收入万博manbext|体育首页万博manbext|体育首页、驾驶倾向或汽车偏好如何万博manbext|体育首页万博manbext|体育首页,都会认为费用低廉万博manbext|体育首页。

                                                                              在检查犯罪数据时也会出现同样的问题万博manbext|体育首页万博manbext|体育首页。在使用人工智能 (AI) 预测犯罪行为时万博manbext|体育首页,不平衡的犯罪数据集会使数据集中存在的种族和性别偏见永久化万博manbext|体育首页。在面对不平衡数据时,使用方法改进训练过程至关重要,平衡训练数据有两种主要方法:关注数据集或权重万博manbext|体育首页万博manbext|体育首页。

                                                                              在我们不想改变模型的情况下,我们可以简单地进行数据预处理⊥虿﹎anbext|体育首页万博manbext|体育首页;痪浠八?,我们应该查看我们的数据集万博manbext|体育首页,了解数据分布,并决定如何重新采样我们的数据万博manbext|体育首页,这是平衡训练数据的一步万博manbext|体育首页。这里,有两种可能的方法:

                                                                              过/欠采样:在少数类中增加样本或在多数类中减少样本。

                                                                              聚类技术:这类似于重采样万博manbext|体育首页,但不是将样本添加到不同的类中万博manbext|体育首页,我们首先找到每个类中的子类或子簇万博manbext|体育首页万博manbext|体育首页,然后复制子类中的样本以确保大小相等。

                                                                              权重平衡是平衡训练数据和处理不平衡数据的另一种好方法万博manbext|体育首页,这是通过乘以 logits 将类权重添加到损失函数来完成的。我们首先定义类权重以赋予少数类额外的权重万博manbext|体育首页,然后将类权重乘以损失函数。在 Tensorflow 中万博manbext|体育首页万博manbext|体育首页万博manbext|体育首页,您可以执行以下操作:

                                                                              loss = tf.nn.softmax_cross_entropy_with_logits(labels, pred)

                                                                              weighted_loss = loss * class_weights

                                                                              为什么我们要将权重乘以原始损失函数?这使得损失成为加权平均值万博manbext|体育首页,其中每个样本的权重由其对应类的 class_weight 指定万博manbext|体育首页万博manbext|体育首页万博manbext|体育首页。

                                                                              在 Modzy 平衡训练数据

                                                                              在 Modzy,我们的数据科学家将数据预处理视为一项 关键任务万博manbext|体育首页万博manbext|体育首页。在训练我们的模型之前万博manbext|体育首页万博manbext|体育首页,我们确保我们的数据集不会产生潜在风险并且我们的模型是稳健的万博manbext|体育首页。

                                                                              这对您意味着什么

                                                                              在 AI 激增的世界中万博manbext|体育首页万博manbext|体育首页,重要的是我们要特别关注训练数据万博manbext|体育首页万博manbext|体育首页,以降低有偏差输出的风险万博manbext|体育首页。

                                                                              上述就是关于如何解决不平衡数据集的问题的全部内容,想了解更多关于人工智能的信息,请继续关注中培教育万博manbext|体育首页。

                                                                              相关阅读

                                                                              万博manbext|体育首页