Skip to content

CodeTalks

记录想法

  • 照片 Gallery
  • 站点地图 Sitemap
  • 关于我 About me
  • 英文网站 English

月度归档: 2021 年 5 月

使用 Ray Tune 进行分布式调参

Posted on 2021-05-262024-12-10 by howardlau

之前学习了怎么使用 PyTorch 进行分布式训练,不过,手动计算参数启动进程还是比较麻烦的。Berkeley…

Categories编程分享

PyTorch 多卡分布式训练

Posted on 2021-05-222021-06-27 by howardlau

目前,PyTorch 官方已经准备逐渐放弃对 DataParallel 的支持。而且受限于 Python 的 …

Categories编程分享

友情链接

WuKan

最新文章

  • DeepSeek 3FS 源码解读——客户端篇
  • DeepSeek 3FS 源码解读——RPC 篇
  • DeepSeek 3FS 源码解读——磁盘 IO 篇
  • DeepSeek 3FS 源码解读——协程&RDMA篇
  • 分布式存储入门学习路线

分类

  • DeeCamp 2018 (1)
  • IT 杂谈 (2)
  • Uncategorized (1)
  • 大学学习 (9)
    • ucore (8)
  • 机器学习 (7)
  • 游戏推荐 (2)
  • 科普 (3)
  • 编程分享 (61)
    • Kubernetes (9)
    • LeetCode (3)
  • 胡思乱想 (1)
  • 项目分享 (2)

归档

  • 2025 年 3 月 (4)
  • 2025 年 1 月 (1)
  • 2023 年 9 月 (1)
  • 2023 年 8 月 (1)
  • 2022 年 8 月 (3)
  • 2022 年 7 月 (1)
  • 2022 年 5 月 (7)
  • 2022 年 3 月 (1)
  • 2021 年 12 月 (1)
  • 2021 年 8 月 (1)
  • 2021 年 5 月 (2)
  • 2021 年 3 月 (3)
  • 2020 年 12 月 (1)
  • 2020 年 11 月 (1)
  • 2020 年 3 月 (5)
  • 2020 年 2 月 (1)
  • 2019 年 10 月 (1)
  • 2019 年 9 月 (5)
  • 2019 年 8 月 (2)
  • 2019 年 6 月 (5)
  • 2019 年 5 月 (3)
  • 2019 年 4 月 (1)
  • 2018 年 12 月 (9)
  • 2018 年 11 月 (6)
  • 2018 年 10 月 (1)
  • 2018 年 7 月 (1)
  • 2018 年 4 月 (5)
  • 2018 年 3 月 (4)
  • 2018 年 1 月 (2)
  • 2017 年 12 月 (1)
  • 2017 年 10 月 (4)
  • 2017 年 9 月 (2)
  • 2017 年 7 月 (1)

目录

  • 1 安装 Ray
  • 2 启动 Ray
    • 2.1 启动头节点
    • 2.2 启动工作节点
    • 2.3 查看监控界面
  • 3 用 Ray Tune 自动搜索超参训练模型
    • 3.1 使用 Trainable 包装训练过程
      • 3.1.1 调用 Ray Tune 进行训练
    • 3.2 使用 TrainingOperator 包装训练过程
粤 ICP 备 17129444 号-1 | Powered by WordPress