推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
seetheworld
V2EX  ›  Python

有没有懂机器学习的 V 友,有偿长期合作,帮忙指教检查一下代码。

  •  
  •   seetheworld · Apr 8, 2024 · 6354 views
    This topic created in 943 days ago, the information mentioned may be changed or developed.
    36 replies  •  2024-04-09 13:44:49 +08:00
    nonevs
    nonevs
    Apr 8, 2024
    1
    深度学习吗 我平时做 tabular 数据跟时序数据多一点
    Yuhyeong
    Yuhyeong
    Apr 8, 2024
    2
    什么方向,最近做 StableDiffusion 多一些。传统机器学习也没什么问题
    seetheworld
    seetheworld
    OP
    Apr 8, 2024
    3
    @ZedRover 不是深度学习,就是传统机器学习,新手,不太懂如何保证训练出来的模型(比如 RF 、XGBoots )是正确的,没有过拟合或欠拟合
    seetheworld
    seetheworld
    OP
    Apr 8, 2024
    4
    @Yuhyeong 是传统机器学习,最近写了一个代码,训练出来了一个 RF 模型,在训练集和测试集上的 R^2 都达到了几乎是 1 ,不知道是不是有问题
    Yuhyeong
    Yuhyeong
    Apr 8, 2024
    5
    强化学习?这个没怎么接触过
    Yuhyeong
    Yuhyeong
    Apr 8, 2024
    6
    @Yuhyeong 刚看成 RL 了,有点太传统了,这个属实记不起来了
    jasonlee16819
    jasonlee16819
    Apr 8, 2024
    7
    菜狗 AI 训练师一枚,只知道训模型,数据或者模型训练方法层面上了解的比较多
    kkjz
    kkjz
    Apr 8, 2024
    8
    sklearn 包+dl 的 cv ,欢迎交流~
    kkjz
    kkjz
    Apr 8, 2024
    9
    @kkjz 也是菜狗,想找找讨论的地方)
    airqj
    airqj
    Apr 8, 2024
    10
    @seetheworld #4 是不是训练集数据分布不均匀
    seetheworld
    seetheworld
    OP
    Apr 8, 2024
    11
    @jasonlee16819 模型训出来,如何判断靠不靠谱,目前很迷茫
    seetheworld
    seetheworld
    OP
    Apr 8, 2024
    12
    @airqj 意思是数据范围跨度不够广?集中在某一范围内么?
    seetheworld
    seetheworld
    OP
    Apr 8, 2024
    13
    @kkjz 我们也是用的 sklearn 包,摸索学习阶段,多多交流
    fengzc
    fengzc
    Apr 8, 2024 via Android
    14
    各种指标对一对 什么 PR F1 (去看看每个指标的意义)就能看出是不是过拟合和欠拟合了,也可以去找找更多的数据集试试?一般机器学习在小规模数据集上到 1 其实都是可能的,因为一些特征可能给大家摸索烂了
    leopod1995
    leopod1995
    Apr 8, 2024
    15
    多跑点数据集试试呢?

    https://www.heywhale.com 推荐一个国内的平台
    seetheworld
    seetheworld
    OP
    Apr 8, 2024
    16
    @fengzc PR F1 是不是分类器的指标?我们训练的是 RF 回归模型,看的 R^2 ,RMSE, MAE 。在训练集上 R^2 是 1 ,MAE=0.4, RMSE=4.2 ,在测试集上 R^2=0.96, MAE=1.2, RMSE=11.2 。但纯看这几个指标不知道能否确定模型是否正确。
    v24radiant
    v24radiant
    Apr 8, 2024
    17
    RF 是指随机森林吗?怎么不试一下 xgboost?
    Sawyerhou
    Sawyerhou
    Apr 8, 2024
    18
    机器学习应该有三个数据集,训练、验证、测试,你是省略了一个?
    R 方是线性回归的评估指标,非线性的不太适用,
    你这个 R 方非常高,是课本数据?生产中 R 方应该不会这么高
    模型收敛了,可以满足场景需求就可以了,其他不用太在意
    Djaron
    Djaron
    Apr 8, 2024
    19
    一直在做 ML 和 DL ,绿色软件: Vy1KZWZmcmV5LURvbmc=
    jasonlee16819
    jasonlee16819
    Apr 8, 2024
    20
    @seetheworld
    首先得确定数据,训验集划分是否正确,数量,分布情况如何?是否有数据集泄漏或者同源情况,是否是训练集过大而测试集过小或丰富度远不如训练集的情况......
    上边也有一些大佬说了这些问题,比如过拟合啥的
    DigitalG
    DigitalG
    Apr 8, 2024
    21
    说起来,机器学习/AI ,有什么比较活跃的社区吗? reddit/huggingface/AutoDL 姑且都算 这类,还有没有别的。
    seetheworld
    seetheworld
    OP
    Apr 8, 2024
    22
    @v24radiant 是的随机森林,下一步准备去试 XGBoost ,但这之前想把随机森林搞搞清楚
    lovegoogle
    lovegoogle
    Apr 8, 2024
    23
    AI 深度学习,机器学习(从 svm 到集成都做过),有自己的服务器,接过多个有关项目,需要合作可联系~
    seetheworld
    seetheworld
    OP
    Apr 8, 2024
    24
    @lovegoogle 可否加 wx:gyn2013216 进一步交流
    seetheworld
    seetheworld
    OP
    Apr 8, 2024
    25
    @jasonlee16819 嗯嗯,谢谢建议,去仔细检查分析下
    lkx4102
    lkx4102
    Apr 8, 2024
    26
    1 、看你训练集、测试集的 MAE ,RMSE 说明你的模型已经过拟合了
    2 、R^2 = 1 - MSE/VAR ,看测试集的 RMSE 是比价大的,MSE 应该是会比较的大,那可能就是测试集的方差特别大
    3 、随机森林不适合做回归预测
    lkx4102
    lkx4102
    Apr 8, 2024
    27
    @lkx4102 绿色软件 bGt4NjA0Cg==
    seetheworld
    seetheworld
    OP
    Apr 8, 2024
    28
    @lkx4102 这是什么呀 T_T
    lkx4102
    lkx4102
    Apr 8, 2024
    29
    @seetheworld 微信,base64 编码
    airqj
    airqj
    Apr 8, 2024
    30
    @seetheworld #12 是的
    cbythe434
    cbythe434
    Apr 8, 2024
    31
    测试集表现差比较多,参数调整下吧,深度搞浅一点,样本数量阈值拔一拔
    Jimmyisme
    Jimmyisme
    Apr 8, 2024
    32
    居然能在 v2 看到机器学习,强烈建议 op 做一下 kaggle 的 https://www.kaggle.com/learn/intro-to-machine-learning ;
    这上面有很多讲解,而且因为 notebook 都是有奖牌的,所以都会做的很 fancy 。比自己看书学有意思很多。
    Jimmyisme
    Jimmyisme
    Apr 8, 2024
    33
    前几年还能看到 ml 的金牌,但是最近几年的比赛 ml 都不太 work 了哈哈
    reoah2
    reoah2
    Apr 8, 2024
    34
    划分好训练集,验证集,测试集
    fengzc
    fengzc
    Apr 8, 2024
    35
    @seetheworld 对的( PR 等),我感觉这个 R 方等于 1 ,很大情况是和上面几位说的数据上有问题,应该是有大佬在帮 op 了,祝顺利哈哈
    seetheworld
    seetheworld
    OP
    Apr 9, 2024
    36
    @Jimmyisme 感谢,去看了一下,确实挺不错的。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1449 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 69ms · UTC 15:47 · PVG 23:47 · LAX 07:47 · JFK 10:47
    ♥ Do have faith in what you're doing.