cube-studio的使用记载

[cyxnzb]

大家可以分享一些关于咱们平台的一些使用技巧、相关知识科普等内容

[cyxnzb]

最初使用平台的时候遇到了一些问题。
因为咱们这个平台涉及面比较广，所以定位起来还是比较困难。
主要集中在环境部署上面，因此我先来分享几个给大家。

[cyxnzb]

我的话，采用的是单机部署的形式进行部署，机器是一台t7920，配置的话是标配
只不过显卡换成了RTX2070、内存是64GB，系统是Ubuntu18.04 基于Server的。

[cyxnzb]

在早期部署的时候遇到过以下几个问题：
①：rancher无法安装作者所提到的2.5.2
这个问题的解决比较玄学，早前安装的时候，装了10次左右，只有2次装上了2.5.2，其余的都是装上后，容器会自动重启，查日志也查不出来具体的，目前呢也没啥有效的解决办法，所以我后来都是拉的最新版安装
②：集群创建后，部署很久
这个问题，之前我是一直以为出错了，因为集群状态他会提示红色的警告文字，但是查看日志后，发现还是在运行，只不过时间比较久，一般要十几分钟才能完全部署完
③：作者提供的notebook镜像中，GPU版有些组件缺少，如Tensorboard等，然后安装的话会出现部分问题

[cyxnzb]

整个平台不拉notebook，内存占用大概10几G，256GB的硬盘占了84%

[cyxnzb]

然后单机部署的话，我个人拙见认为：
作者提供的reset_docker.sh文件，也就是cube-studio/tree/master/install/kubernetes/rancher/下的
对整个环境的清理还不够彻底，不过也可能这个文件并不适合单机部署。
然后我在这个文件的基础上自己编写了一个文件，可供大家参考

[cyxnzb]

#resetall.sh

#1.先把docker停了并重置
##删除所有
cd /home/ubuntu/cube-studio-master/install/kubernetes/rancher
sh reset_docker.sh
sh reset_docker.sh #避免没清理干净，再运行一遍

###ubuntu适用,清理kube包
apt remove -y kubectl
apt remove -y kubeadm

###清理一些k8s的东西
sudo rm -rvf $HOME/.kube
sudo rm -rvf ~/.kube/
sudo rm -rvf /etc/kubernetes/
sudo rm -rvf /etc/systemd/system/kubelet.service.d
sudo rm -rvf /etc/systemd/system/kubelet.service
sudo rm -rvf /usr/bin/kube*
sudo rm -rvf /etc/cni
sudo rm -rvf /opt/cni
sudo rm -rvf /var/lib/etcd
sudo rm -rvf /var/etcd
sudo rm -rvf /data/k8s
sudo rm -rvf /etc/rancher/
sudo rm -rf /usr/local/kubeflow-tools/

###清理docker的东西
docker system prune -fa #清理所有没用到的,无用的东西
docker rmi -f $(docker images -qa) #删除所有镜像,以重新部署

##清理项目的东西
#这个后续再补吧,因为如果作者更新的话,还得变
#主要清理kubernetes/config、kubeconfig/dev-kubeconfig(目录)

###ubuntu适用,清理docker
apt remove -y docker
apt remove -y docker-ce
sudo apt-get autoremove docker docker-ce docker-engine docker.io containerd runc
sudo apt-get autoremove docker-ce-*

#备份下配置文件
cp /etc/docker/daemon.json /home/ubuntu/

###linxu适用
yum remove docker-ce -y
yum remove -y docker
yum remove -y htop docker-compose
yum remove -y htop docker-composewireshark
yum remove -y wireshark

#reboot一下保证生效~
reboot

[cyxnzb]

下面这个是配套的安装sh文件：

[cyxnzb]

#installall.sh

#ubuntu刷新缓存
sudo apt-get -y autoclean
sudo apt-get -y clean
sudo apt-get -y autoremove
sudo apt-get -y update

#ubuntu安装k8s组件
apt install -y kubectl
apt install -y kubeadm

#ubuntu安装docker
cat >/etc/apt/sources.list <<EOF
deb https://mirrors.cloud.tencent.com/ubuntu/ bionic main restricted universe multiverse
deb https://mirrors.cloud.tencent.com/ubuntu/ bionic-security main restricted universe multiverse
deb https://mirrors.cloud.tencent.com/ubuntu/ bionic-updates main restricted universe multiverse
EOF
apt update && apt-get install -y docker.io gcc make

#改动下docker
service docker stop
systemctl stop docker.service
systemctl stop docker.socket

#创建docker的存储路径，因为docker使用的存储很大，默认根目录磁盘很小
rm -rf /data/docker && mkdir -p /data/docker/

#ubuntu安装docker部件
apt install -y docker-ce

#避免服务在运行，影响部署，所以再运行一遍停止
systemctl stop docker.service
systemctl stop docker.socket

#将源docker目录下文件，复制到新目录下
cp -R /var/lib/docker/* /data/docker/

#将docker新目录写入到配置文件中
sed -i "s/containerd.sock/containerd.sock --graph /data/docker /g" /usr/lib/systemd/system/docker.service

#将原有配置文件恢复
mkdir -p /etc/docker/
mv /home/ubuntu/daemon.json /etc/docker/daemon.json

#重载配置
systemctl daemon-reload

#重启docker
systemctl start docker

#删除原目录数据
rm -rf /var/lib/docker

#reboot一下
reboot

[cyxnzb]

不过以上这些，还是希望大家根据自己的实际环境来编写修改以及执行，并且注意数据的备份，因为采取的是直接删除的形式！

[cyxnzb]

对了，不知道大家在配置config.yaml的时候，有没有遇到过定位不准的问题，比如说我想在第一行插入文字，结果插入到第二行去了（这里指的是编辑配置的模块）

[cyxnzb]

总结一下，单机部署是可行的，只不过需要注意的地方不少，作者提供的教程视频基本上也够用，能够完整的搭建平台并使用
参考视频

[ZXTFINAL]

部署时有遇到过 #77 这个问题吗，有没有解决方案，折腾了好久

[cyxnzb]

有遇到过类似的，但是我等了一会就好了

[ZXTFINAL]

有遇到过类似的，但是我等了一会就好了

那我再重新试下，多等会，周末没看见，sry : )

[ZXTFINAL]

等也不会好

[cyxnzb]

此外，因为个人的原因，对服务器做了个内外网穿透，也分享给大家一些经验：
我采取过两种方案，①是花生壳 ②是frp

[cyxnzb]

先来说说 花生壳
简单来说就是安装它的oray服务在服务器上，比较傻瓜式，就不赘述了
下载地址
网上教程
有几个要注意的地方：
①免费版够用
实测免费版就够用了，只要映射把80映射出去就可以了，无需购买收费版**（访问量大除外）**
②映射类型要选HTTP
内网IP地址填写的话，单机部署是装有cube-studio平台的IP
比如我172.17.129.15装了，那么就填这个

[cyxnzb]

再来说说 frp
简单来说就是把frp-c （客户端）装在部署平台的机器上，frp-s（服务端）装在有公网IP等类似的机器上
下载地址 版本其实我个人感觉任意
有几个要注意的地方：
①C/S用到的端口都要打开
因为考虑到端口映射的问题，服务端客户端涉及到的端口都要对外开放，否则无法使用
②建议配置密钥
因为牵涉到cube-studio平台一些组件能调用服务器资源，最好加上密钥，避免恶意访问
③建议配置开启自启动
因为避免一些偶发情况，造成服务器意外重启，导致映射失效，所以建议为frp配置开机自启
参考教程
注：宝塔面板 本人自测对frp的自启守护无效，不知道是不是个人原因，大家有兴趣可以测试下
④牵涉到的域名建议备案
例如.cn这些，要备案才能正常访问，所以为了规避麻烦，尽量提前备案或者直接采取.xyz等他方域名

[cyxnzb]

①花生壳穿透的访问速度取决于你选择的是免费版还是收费版以及是否开通了加速包一类的产品
②frp穿透的访问速度取决于你服务端（也就是有公网IP的机器）与客户端的访问速度，以及域名DNS解析，CDN加速这些
以上两种穿透的前提是一定要能访问互联网或者有跳板机，总之要想方设法将部署平台的机器联网才行

[cyxnzb]

如果有人跟我一样，喜欢直接用里面的Jupyter去执行一些代码、任务等等，那么我们可以尝试修改rancher里面部署cube-studio的机器里的configmap，然后将关于notebook续期时间的代码改为30，这样可以30天续期一次，也可以60，都行，记得重新部署kubeflow-dashboard,在工作负载里面