简介
可以看到本文的特色图片是个极度稀疏连接的神经网络,它是由我们即将介绍论文中的算法SparseEA得到的。
此篇论文是BIMK的田野、张兴义等人发表在IEEE Transactions on Evolutionary Computation(SCI 一区)期刊上的,时间2019.4。
论文提出了一种解决大规模稀疏问题的多目标算法,大规模稀疏存在于许多领域:机器学习、数据挖掘、神经网络。
作者主要讨论了四个具体的问题
- ①特征选择
- ②模式挖掘
- ③关键节点检测
- ④神经网络训练
上面四个问题虽然存在于不同领域,但是它们都属于多目标问题,它们的pareto面的解集都是稀疏的。举例来说,对于大规模特征选择问题,10000维中只能选取不到100个,压缩率达到了99%,是典型的稀疏问题。
具体问题
算法的贡献
- ①设计了新的种群初始化策略(根据稀疏大规模特性,能够获得一个很好的前沿面)
- ②设计了新的基于pareto解集稀疏性的遗传算子
具体算法
算法框架
类似于NSGA2的框架
初始化策略
为了集成两种编码,需要引入两个向量,一个是决策变量向量dec (实际上是进化的解,对于01编码来说,可以全置1),另一个是掩码向量mask(实际上一个01向量,用来记录每个维度的好坏,好的置1),最终的决策变量是两者的内积。
经过初始化后的结果:
可以看到,通过该初始化策略,获得一个一个近似于pareto面的良好分布。
交叉变异算子
这个交叉变异是算法的核心,它每次在二进制向量mask中,以同样的概率每次在0元素中翻转一个元素,或者在非0元素中翻转一个元素,翻转是根据决策变量的适应度值进行的。因此,生成的子代不会有同样数量的0和1,并且可以保持子代的稀疏度。
采用交叉变异后的结果:
可以看到,通过此策略,提高了稀疏度,被置为1的维度越来越少。
其他
对于实验部分,作者设计了具体的测试套件,结果也非常乐观,在此不赘述。
您好,我可以问下,为什么代码中 for i = 1 : 1+4*REAL,这个为什么是1:1+4*REAL么?
你好,能麻烦你提供一下实现的代码以供学习吗?谢谢!
直接找论文作者吧,百度搜索BIMK实验室,里面有代码。
你好,请问能否回复一下此篇论文的DOI或者有效链接啊,google搜不到,感觉是不是撤回了啊
上个月刚过审,可能还没更新,太巧了
你评论的时候我刚把代码写好
如果可以的话,能提供以下实现的代码学习吗
hellokangkang@yahoo.com
可以啊,月底我有时间到时候联系
您好,可以麻烦提供一份代码用来学习吗,没有在BIMK网站上找到,谢谢!
1094559939@qq.com