从机器学习竞赛状态报告中发现的有趣结论-机器学习实战

机器学习竞赛通常能够表明哪些技术在新数据集上有效。一份非常全面的《The State of Competitive Machine Learning》报告近期刚刚发布，其中包含了一些有趣的结论，分享给大家。

1、NLP领域，如大家所料，Transformer继续在NLP中占据主导地位，所有NLP获奖方案都使用了Transformer。并Transformer开始在计算机视觉中与卷积神经网络竞争。

2、CV领域，卷积神经网络（CNN）仍然主导着计算机视觉。EfficientNet是计算机视觉最流行的预训练架构——大多数人都会对预训练模型进行微调，而不是从头开始训练。

3、tabular比赛的一大惊喜：XGBoost的统治似乎结束了。虽然梯度增强仍然赢得了大多数表格比赛，但LightGBM现在是首选方法，CatBoost位居第二。XGBoost排名第三。

4、尽管单一模式的解决方案也会胜出，但大型集成（Large ensembles）在获奖者中更常见。

5、在46个使用深度学习的获奖解决方案中，44个使用PyTorch，只有2个使用TensorFlow（可能还是受到额外5W刀奖金的影响，后面说）。

6、大约50%的获奖者是单人获奖者；50%的获奖者是首次获奖者；30%的人以前赢过不止一次。

7、几乎每个人都用python，使用其他语言的是个位数。

在46个使用深度学习的获奖解决方案中，44个使用PyTorch作为主要建模包，只有两个使用TensorFlow。更明显的是，在使用TensorFlow赢得的两项比赛中，Kaggle的Great Barrier Reef Competition提供了额外的5万美元奖金，只有使用TensorFlow的队伍才能获得奖金！使用TensorFlow赢得的另一场比赛使用了高级Keras API。TF尴尬了……

参考：

https://mlcontests.com/state-of-competitive-machine-learning-2022