跳至主要內容
一套用于处理有序数据集合的 Python multiprocessing 多进程数据分割使用范例

前言

之前很多博文是写有关分布式训练过程,即将模型放到多个 GPU 上进行训练,而对于一些跑在 CPU 上的密集型任务处理时,应该使用 multiprocessing 模块进行处理。Python 的 multiprocessing 模块提供了一个与线程类似的 API,用于创建和管理进程。多进程可以利用多核 CPU 的优势,执行 CPU 密集型任务时可以显著提高性能,因为每个进程可以在不同的 CPU 核心上运行。


CK...大约 3 分钟技巧总结技巧Python多进程分布式开发
如何不中断连接保持linux服务器持续运行 —— screen 使用介绍

在 linux 服务器上跑模型的时候,有时会在终端会话中持续了一段时间后超时断开,或者因为意外情况断网,如果正常在命令行终端执行程序时,此时会中断程序的进行,这很恼火,这就意味着要让程序持续运行,就必须得保持主机和服务器的连接,程序跑一晚上,主机就得开一晚上,那我还要服务器干什么,为了解决这个问题, screen 是个及其有用的方法。


CK...大约 6 分钟技巧总结linux服务器技巧
Python 语法糖:你真的会用 Python 吗?

人生苦短,我用 Python!

作为一门以简洁、优美为代表的语言,Python 受到众多开发者的喜爱。相信有部分 Python 的开发者们,知道“Python 之禅”即“The Zen of Python”,通过 import this 语句就可以看到,Python 创建者对 Python 语言书写规范的建议:


CK...大约 7 分钟技巧总结Python技巧

提示

关于爬虫技术的总结博客是我一直早想写的内容,只不过一直没有时间和精力来确保写一篇高质量的博客,最近恰好做了一个爬虫项目,涉猎了很多内容,想要借此机会赶紧把这个坑给补了,也算是给自己的爬虫做一个Demo和总结。


CK...大约 4 分钟技巧总结爬虫Python技巧
LaTeX 常用语法格式总结

作为一名 LaTeX 深度爱好者,却因为常常忘记 LaTex 相关语法而被迫停止写作去浪费一定的时间查询相关内容,但长久以来,我发现自己常常查询的也就是这些常用而难以熟记的语法,现将其总结如下:


CK...大约 10 分钟技巧总结技巧LaTex
C语言的陌生点

此内容为本人大一第一学期学习C语言中遇到的难点总结,或者是容易忽略的点,并不是C语言的全面知识,而大部分是边角知识!

C语言的陌生点


CK...大约 28 分钟技巧总结C语言知识点总结期末复习
不一样的浏览器体验——油猴篇

提示

当本文侵犯了您的利益时,请立即联系本人,文章将即刻下架。 厌恶“破解”之人不建议阅读本文,建议支持正版(doge)


CK...大约 9 分钟技巧总结技巧浏览器