【工具分享】ai studio、colab、kaggle免费的算力

2019-09-17 4 min

薅羊毛，在 Baidu AI Studio 训练模型，框架不限于 PaddlePaddle，TensorFlow，Pytorch 都可以。

之前在暑假的时候，可以直接在 Notebook 中下载包，然后运行 TensorFlow，Pytorch，百度升级了两次平台，现在已经不可以了，但是我们可以通过终端下载包，上传代码，然后运行，训练就好了。

安装包

上传 package.txt，包括 python 包信息打开终端，下载包，命令如下

pip3 install -r package.txt

pip 不可使用，更新一下就可以使用了，命令如下

pip3 install --upgrade pip

将数据以及代码上传到 AI Studio 工作空间，执行代码训练模型。

更新博客

今天再一次尝试了百度 AI studio，kaggle，谷歌 colab 这三个平台。

百度的 AI studio 在基础版 cpu 的情况下，是可以上传代码进行训练，再带 gpu 的主机上没有权限。

kaggle 上传文件这块受到限制了，自己写代码还是可以的，每个星期有 30 个小时的免费 GPU 使用时间，然后就是有丰富的数据集，可以不用下载下来，可以参加竞赛拿奖金，预装了 tensorflow 和 pytorch 等等。

谷歌的 colab 和百度的差不多，但是开放程度更高，稳定性更好，预装了 tensorflow 和 pytorch，有免费的 GPU，15g 网盘。

翻墙工具

附上两个翻墙工具链接，不是完全免费的。

SocketPro

W 加速器

命令

查看 linux 系统版本

cat /proc/version

查看 cpu 信息

cat /proc/cpuinfo

查看内存信息

cat /proc/meminfo

英伟达系统管理接口，查看 cuda 信息 gpu 信息等等。

nvidia-smi

python 更新 pip

python -m pip install –upgrade pip

相关说明

可以直接再 jupyter lab 的 notebook 模式直接执行 shell 命令

执行 shell 命令 Shell 是一种与计算机进行文本交互的方式。一般来讲，当你正在使用 Python 编译器，需要用到命令行工具的时候，要在 shell 和 IDLE 之间进行切换。但是，如果你用的是 Jupyter，就完全不用这么麻烦了，你可以直接在命令之前放一个“!”，就能执行 shell 命令，完全不用切换来切换去，就能在 IPython 里执行任何命令行。In [1]: !ls

In [2]: !pwd
/home/Parul/Desktop/Hello World Folder
In [3]: !echo "Hello World"
Hello World

再次安装依赖包

注意将所依赖的包以及版本信息保存到 txt 文件中，方便之后再安装使用，colab 好像不需要重新安装包（可再次考证一下），ai studio 每次都需要重新安装。

pip 常用命令 pip freeze,pip show 等等。

下载数据集，进行训练

这一块，我们把各个平台，当作一个云主机，直接执行命令下载数据集，上传代码，然后就可以进行训练了。

工具分享

惟愿此心无怨尤