Skip to content

使用TensorFlow训练自己的图片,基于多GPU

Notifications You must be signed in to change notification settings

huyz1117/GoogLeNet

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

5 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

GoogLeNet

这是一个基于TensorFlow多GPU的方式实现GoogLeNet的项目,数据集采用mini-imagenet,数据读取方式采用tf.data.DatasetAPI,直接从磁盘读取图片和对应对应的label,不需要将其转化为TFRecord

Introduction

  • Inception module

    Inception module

  • Inception architure

Inception architure

Requirements

  • TensorFlow 1.9
  • Python3.6

Implement Details

  • 使用tf.data.DatasetAPI构建输入数据的Pipeline,但是目前有个问题,每迭代完一个epoch,都要重新读取一次数据(尤其是shuffle阶段,如下图所示),这点有点耗时间,可能是我代码写的有点问题,目前没有解决

    train_log

  • 使用多GPU的方式进行训练,这里使用的是两个1080Ti

Dataset

  • 采用的数据集为网上整理的mini-imagenet,总共有100个类,60000张图片,原作者将其划分为训练集、验证集、测试集用于few_shot学习,这里使用sklearn重新划分为训练集和测试集,比例为7:3
  • 由于目前GitHub上关于图像分类的例子基本都是基于已经预处理好的或者特殊格式的数据集,不利于学习
  • 目前大多数的教程对数据集的读取都是将其转化为TFRecord形式,再去读取,这样对于大规模数据集来说很不现实,这样会额外占用很大的空间

Usage

  • python train.py
  • 目前测试代码不是很完善,后续更新

Result

Loss and accuracy

  • ax1_loss on gpu_0

loss

  • ax1_loss on gpu_1

loss

  • ax2_loss on gpu_0

    loss

  • ax2_loss on gpu_1

    loss

  • main_loss on gpu_0

    loss

  • main_loss on gpu_1

    loss

  • train accuracy

    accuracy

Graph

graph

Reference

About

使用TensorFlow训练自己的图片,基于多GPU

Topics

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages