“省心省钱”自建100%实战用AI开发环境

人工智能
后台-插件-广告管理-内容页头部广告(手机)

近年来,AI逐渐从概念走向现实,在各行各业落地,如自动驾驶、人脸支付、语音识别、智能导航等。AI技术的软件和硬件支持也越来约完善,这让很多企业和个人也跃跃欲试,想尝试一下AI技术。同时,很多学校和培训机构也开始涉足AI课程。

但是AI的硬件成本高,例如专业的GPU卡就要几千甚至上万元,而且硬件上的层层软件框架的复杂依赖关系更是让人有些“望而却步”。如何能“省心省钱”地跨过AI技术的软硬件门槛,快速开始真正地做AI学习或技术开发呢?

“省心省钱”自建100%实战用AI开发环境

图1:AI示意图

这里大家可以试用一下Atlas OS系统上的“达仁云主机”:不同于一般的云主机,虽然同样是采用云上租用虚拟机的方式使用,“达仁云主机”是预先安装好基础软件、配置好软件和网络设置、并且自动智能管理镜像存储和数据持久化的“预设托管”型云主机。“达仁云主机”就是把平时需要“看懂一整本教程书”以后才能用起来的“云主机”的那些复杂的设置和维护“智能化、傻瓜化”,让任何用户仅需点击几个按钮,就能在浏览器里立即启动一台“立即能用”的云主机。

特别方便的是“达仁云主机”通过浏览器即可访问,不需要安装任何软件或购买任何硬件。而且云主机启动后是按秒计费,停机就立刻停止计费,没有“包月”门槛,“省心省钱”。“达仁云主机”更有百余种云主机配置可选,其中就包括很多带GPU卡的云主机类型。

“省心省钱”自建100%实战用AI开发环境

图2:达仁云主机界面示意图

那么我们现在就利用这款“省心省钱”的达仁云主机,来看看如何自建一个“实战”型的AI开发环境吧?

注意:这里的这个开发环境和背后的云主机计算资源,是真正的可以做开发、做项目的“实战”级环境,可不是一些常见的“只能做作业”的“假”的模拟开发环境哦。我们来看看详细的一步一步的真实“实战”教程吧:

使用的工具:达仁云主机中的公共镜像(适用于基于Linux操作系统的所有“达仁云主机”镜像)。

解决的问题:在云主机上如何安装TensorFlow,PyTorch,Keras等必要AI工具框架,以及如何安装GPU卡所需要的驱动和依赖软件包,最终搭建一个通用“实战”型的AI开发环境。

详细操作流程如下:

1、在浏览器中登录Atlas OS(atlas.daren.io),选择左侧导航栏中的达仁云主机,在达仁云主机界面创建虚拟硬盘,使用此硬盘作为主要的数据和运行目录。

“省心省钱”自建100%实战用AI开发环境

图3:建立虚拟硬盘界面

2、选择公共镜像:Linux command line only(或任何基于Linux操作系统的“达仁云主机”镜像)。

“省心省钱”自建100%实战用AI开发环境

图4:选择主机镜像界面

3、选择GPU实例g4dn.xlarge(或其他的带GPU配置的云主机类型),设置虚拟硬盘大小(建议不要小于32GB的Root Drive Size),为云主机命名。点击启动云主机之后出现右侧弹窗。

“省心省钱”自建100%实战用AI开发环境

图5: 选择配置GPU实例界面

4、当云主机状态由“启动中”变为“运行中”时,便可点击“信息”按钮进入云主机信息界面。

“省心省钱”自建100%实战用AI开发环境

图6: 云主机启动中状态界面

“省心省钱”自建100%实战用AI开发环境

图7:云主机运行中状态界面

“省心省钱”自建100%实战用AI开发环境

图8:云主机信息界面系统分配的URL、账户名和密码

5、使用系统分配的主机URL、用户名和密码,使用SSH工具(例如命令行终端)登录进入开启的云主机。

注:对于使用JupyterLab和RStudio等带有网络界面的云主机,可以直接使用JupyterLab和RStudio自带的网络界面上的命令行窗口。

“省心省钱”自建100%实战用AI开发环境

图9:在ssh终端登录云主机

6、在命令行内配置环境和安装工具,具体如下:

# 安装conda

wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh

bash Miniconda3-latest-Linux-x86_64.sh

# 激活conda的base环境

source .bashrc

# 安装必要的系统环境

sudo yum -y install https://dl.fedoraproject.org/pub/epel/epel-release-latest-7.noarch.rpm

sudo yum update -y

sudo yum -y install kernel-devel-$(uname -r) kernel-headers-$(uname -r)

sudo yum -y install gcc gcc-c++

# 下载并安装GPU驱动

cd DataDrive/

wget https://us.download.nvidia.com/tesla/460.73.01/NVIDIA-Linux-x86_64-460.73.01.run

sudo sh NVIDIA-Linux-x86_64-460.73.01.run

# 验证GPU驱动是否成功安装,输出如下,证明GPU驱动安装成功

nvidia-smi

+-----------------------------------------------------------------------------+

| NVIDIA-SMI 460.73.01 Driver Version: 460.73.01 CUDA Version: 11.2 |

|-------------------------------+----------------------+----------------------+

| GPU Name Persistence-M| Bus-Id Disp.A | Volatile Uncorr. ECC |

| Fan Temp Perf Pwr:Usage/Cap| Memory-Usage | GPU-Util Compute M. |

| | | MIG M. |

|===============================+======================+======================|

| 0 Tesla T4 Off | 00000000:00:1E.0 Off | 0 |

| N/A 64C P0 31W / 70W | 0MiB / 15109MiB | 0% Default |

| | | N/A |

+-------------------------------+----------------------+----------------------+

+-----------------------------------------------------------------------------+

| Processes: |

| GPU GI CI PID Type Process name GPU Memory |

| ID ID Usage |

|=============================================================================|

| No running processes found |

+-----------------------------------------------------------------------------+

cd ..

# 使用conda安装tensorflow和Keras环境

conda create -n tf-gpu tensorflow-gpu

# 激活tf-gpu环境

conda activate tf-gpu

# 验证tensorflow是否安装成功,无报错说明tensorflow安装成功并可用

python -c "import tensorflow as tf; tf.config.experimental.list_physical_devices('GPU')"

# 验证keras是否可用

python -c "import tensorflow as tf; from tensorflow.keras.datasets import mnist; (train_data, _), (test_data, _) = mnist.load_data()"

输出如下,证明可正常加载mnist数据集,keras可用:

2021-07-07 09:24:24.524254: I tensorflow/stream_executor/platform/default/dso_loader.cc:49] Successfully opened dynamic library libcudart.so.10.1

Downloading data from https://storage.googleapis.com/tensorflow/tf-keras-datasets/mnist.npz

11493376/11490434 [==============================] - 3s 0us/step

# 退出tf-gpu环境,回到conda的base环境

conda deactivate

# 使用conda安装pytorch环境

conda install pytorch torchvision -c pytorch

# 安装numpy包

pip install pip --upgrade

pip install numpy

# 验证pytorch是否安装成功, 输出类似于下面的结果表明pytorch安装成功并可用

python -c "import torch; x = torch.rand(5, 3); print(x)"

tensor([[0.9483, 0.8890, 0.9627],

[0.8299, 0.4819, 0.5540],

[0.7344, 0.2855, 0.0828],

[0.6749, 0.1239, 0.8607],

[0.5097, 0.4810, 0.6998]])

至此,拥有TensorFlow,PyTorch,Keras工具、能使用GPU卡的通用AI环境已经配置完毕,你学会了吗?你可以在关闭这个“云主机”时,在界面上选择“保存为私有镜像”,停机以后,下次就可以直接从这个新保存的“私有镜像”开机,在新启动的云主机里就有我们刚刚安装的所有软件、驱动和做的软件配置了。

停机不丢环境,启动就可以直接用,这才是真正地“省心省钱”。而这个环境和背后的云主机计算资源,是真正地可以做开发、做项目的“实战”级环境,可不是一些常见的“只能做作业”的“假”开发环境哦。

7、关闭或暂停云主机,如下图所示可以选择暂停或者关闭云主机,关闭云主机可保存为镜像。

“省心省钱”自建100%实战用AI开发环境

图10:可关闭或暂停云主机

“省心省钱”自建100%实战用AI开发环境

图11:可保存为镜像

8、注意:若使用云主机“暂停”功能(在云主机信息页面底部),请停止云主机的自动更新功能。因为云主机正常情况下可能会在暂停后重新恢复时,自动加载最新版本的Linux系统内核。但是在“6、在终端配置环境和安装工具”这个步骤中,我们安装了开发版本的Linux内核。因此,如果系统在暂停后重新恢复时加载了另外的内核,会导致内核和GPU驱动等原有的开发环境不匹配。

如果需要停止云主机的自动更新功能,请在命令行执行如下命令:

sudo yum -y install yum-cron

sudo vi /etc/yum/yum-cron.conf

# 将“yum-cron.conf”文档里的

update_messages = no

download_updates = no

systemctl start yum-cron
systemctl enable yum-cron
sudo cp /etc/yum.conf /etc/yum.conf.bak

sudo vi /etc/yum.conf

对AI感兴趣的小伙伴们快去试试吧,无需下载任何软件,浏览器登录atlas.daren.io,选择“智能化+傻瓜化”的达仁云主机,不用烦心如何配置Linux操作和网络设置等复杂运维步骤,真正“省心省钱”。

现在注册Atlas OS(atlas.daren.io),将账户名发送至Atlas OS微信公众号,还能领取1000代金币免费试用(2核2G云主机可用100小时喔)。

最后,想了解更多新鲜实用的人工智能、云计算和数据分析工具及技巧,欢迎关注我们的微信公众号 :Atlas OS。

本文参考材料:

达仁云主机演示视频:https://www.bilibili.com/video/BV1AK4y1M7w6/

TensorFlow安装指引:https://docs.anaconda.com/anaconda/user-guide/tasks/tensorflow/

使用Keras做自编码器的代码来源:https://keras.io/examples/vision/autoencoder/

pyTorch安装指引:https://pytorch.org/get-started/locally/#mac-installation

后台-插件-广告管理-内容页尾部广告(手机)
标签:

评论留言

我要留言

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。