机器学习策略——DeepLearning.AI课程总结
2024-04-08 01:50:35
一、什么是ML策略
假设你正在训练一个分类器,你的系统已经达到了90%准确率,但是对于你的应用程序来说还不够好,此时你有很多的想法去继续改善你的系统：
- 收集更多训练数据
- 训练集的多样性不够，收集更多的具有多样性的实验数据和更多样化的反例集。
- 使用梯度下降法训练更长的时间
- 尝试一个不同的优化算法，例如Adam优化算法。
- 尝试更大的神经网络或者更小的神经网络
- 尝试dropout
- 尝试L2正则化
- 改变神经网络的结构:
- 修改激活函数
- 改变隐藏单元的数目
如果你使用了错误的方向,不仅会浪费大量的时间,而且不会有所改善.
二、正交化
正交性或正交性是一种系统设计属性，它确保修改指令或算法的组成部分不会对系统的其他组件产生或传播副作用。独立地验证算法变得更加容易，它减少了测试和开发的时间。
当一个受监督的学习系统在设计时，这四个假设必须是正确的和正交的。
Chain of assumptions in ML
- 成本函数在训练集上有好的表现（Fit training set well on cost function.）
- 对于一些应用而言,这可能意味着要达到人类水平的表现
- 如果它不合适，那么使用更大的神经网络或者切换到更好的优化算法可能会有所帮助。
- 成本函数在开发集上有好的表现（Fit dev set well on cost function.）
- 如果不合适，规范化（Regularization）或使用更大的训练集可能会有所帮助。
- 成本函数在测试集上有好的表现（Fit test set wel on cost function.）
- 如果不合适，使用更大的开发集可能会有所帮助。
- 在实际系统中表现良好（Performs well in real world.）
- 如果性能不好，开发测试集分布设置不正确，或者成本函数测量的尺度不正确.
最新文章
- css权威指南学习笔记 —— css选择器
- 用gulp打包带参数资源做法与asp.net/java项目结合的自动构建方案探讨
- BZOJ 2002 [Hnoi2010]Bounce 弹飞绵羊 ——Link-Cut Tree
- sql复制表、拷贝表、临时表
- Android设计模式—策略模式
- Linq to SQL 简单增删改查
- 《Android开发艺术探索》读书笔记 (10) 第10章 Android的消息机制
- codevs 1198 国王游戏
- LeetCode_Palindrome Partitioning II
- Address already in use: JVM_Bind错误的解决
- ORM查询语言OQL
- ajax和axios、fetch的区别
- Windows Cluster 在群集管理器下 集群或可用性组 都不显示的问题
- python排序算法之冒泡，选择，插入
- Spring boot JPA 用自定义主键策略 生成自定义主键ID
- MySQL实验准备(二)--Python模拟数据(MySQL数据库)
- What-does-git-remote-and-origin-mean
- solr4.9+tomcat7 multiCore
- day 73 初学vue (1)
- 用yaml来编写配置文件