Toad Pipeline Proposal

[FrankDataAnalystPython]

toad pipeline proposal

Toad package is a very nice and easy to use package for score card models, and benefits variety of people from different areas, therefore, there is still a strong need for further developing the package. For example my idea is to construct a sklearn pipeline specifically for toad modules, and thus not only make it more friendly to use, but also introduce the possibilities for tuning parameters in GridSearchCV.

The Following are my ideas, and plz make comments and suggestions

1 Initiative

toad包提供了非常方便的高级方法，可以自动化的帮助用户做评分卡模型的操作。 这边在使用toad的过程中有以下体会。

1. toad包在做评分卡的过程中主要分4个模块
   1. toad.selection.select
   2. toad.combiner
   3. toad.WOETransformer
   4. toad.step_wise
2. 在使用每个模块的过程中，训练集和测试集需要依次的来做fit和transform的动作
3. 上面所有的toad的接口，在documentation中只介绍了fit(X, *arg, **kwargs)的方法，但是源码中其实也描述这可以使用fit(X, Y)的方法
4. 作者在编写toad的过程中，其实已经有想把模块写成和sklearn模块相似的思路。那么是否可以尝试构建一个pipeline，来将四个模块全部添加在一起，从而自动化，流程化的处理数据，并且也是可以结合GridSearch做网格搜索的功能
5. 在设计新的pipeline中期望遵守一个准则，越简单越好，不要做出一个上帝pipeline，不要什么都很做，不要一大统
6. 不要引入很多复杂的新的名字，新的函数，尽量保持toaders原来的使用习惯

以下是对 pipeline一些功能的预想。

2 源码中的Pipeline的组成

期望有一个pipeline的模块，这个pipeline只包含(selection, combiner, WOETransformer, step_wise) 这4个模块，不带上模型的部分，因为最终的模型可能不是逻辑回归。在源码中Pipeline可能是这样的

class toad_pipeline:
    def __init__(self):
        self.pipe = Pipeline(
            steps = [
                ('ts', toad_selection()),
                ('combiner', Toad_Combiner()),
                ('WOE', Toad_WOETransformer()),
                ('stepwise', toad_selection_stepwise()),
            ]
        )
    
    ...

3 Pipeline的调用以及传参

from toad import toad_pipeline
toad_pipe = toad_pipeline()

toad_params = {
    'ts__empty' : 0.5,
    'ts__iv' : 0.02,
    'ts__corr' : 0.99,
    'ts__exclude' : None,
    'combiner__method' : 'chi',
    'combiner__min_samples' : 0.05,
    'combiner__save_results' : True,
    'combiner__update_rules' : None,
    'stepwise__estimator' : 'ols',
    'stepwise__direction' : 'both',
    'stepwise__criterion' : 'aic',
    'stepwise__corr' : 0.7,
}

toad_pipe = toad_pipe.set_params(**toad_params)

4 Pipeline的训练方式

4.1 通用训练模型

这里是最开始训练的阶段，比如说完全不知道数据如何分组以及分组的情况，直接整体训练一遍

toad_pipe = toad_pipe.fit(X, Y)

4.2 pipeline中主要模块的调用

在上面第一次使用之后，需要对pipeline中的模块进行调用，查看每个模型里面的中间结果，比如ts的中每个特征的iv值，combiner分箱的结果，等等。另外一点是在pipeline中，第一个模块和最后一个模块是关于特征筛选的。所以整体pipeline中增加一个columns2select属性，主要是给到用户这两个阶段中，到底哪些特征最终被保留下来了，想用(2, number_of_features)的dataframe来存这组数据。

4.2.1 selection.select

由于toad.selection.select是一个函数，直接输出特征结果，所以这里训练后只给出columns2select的属性

# 调出select小类, 注意这个小类是对selection.select封装起来的transformer，没啥太大的作用
toad_pipe.select

# 调出select选了哪些特征
toad_pipe.select.columns2select   	# series的结果

# 如果想查看select的结果
toad_pipe[:1].transform(X)

4.2.2 transform.Combiner

这个分箱的模块是toad的核心所在，工作中，估计大量的时间都是在对这个模块的dict做调整

# 直接调出combiner这个类并且对其做进一步的调整， 这个就是Combiner的结果
toad_pipe.combiner					

# 如果想查看combiner的结果
toad_pipe[:2].transform(X)

# 查看combiner的export的信息
toad_pipe.combiner.export

# 更新combiner的dict到新的rules字典
toad_pipe.update(rules)

4.2.3 plot.bin_plot

在使用原始的bin_plot的过程中，一个不是很好使用的地方是，bin_plot的参数和sklearn的transformers不一样。在sklearn的transformer中X和Y中是分开的，toad的transformer也是类似的，X和Y都是分开的，唯独bin_plot不行。并且是针对一个特征一个特征来给出图。计划设计成以下。

1. 在fit的过程，就将图先画出来，保存在toad_pipe中的bin_plot字典中，直接通过feature_key将图给拿出来，这样可以一定程度上减少数据的重复的计算
2. 但是还有个很重要的需求就是针对测试集也做画图的动作
3. 后期如果允许，尝试使用plotly在进行交互图的绘制
4. 后期如果允许，尝试引入plotly dash, 自动在线调整。
5. 或者不用dash，直接在notebook中做实时的bins调整

col = 'feature1'
toad_pipe.bin_plot_d[col]			# d是dict的意思，在训练的过程中已经将图画好，且保存在某一个字典中

# 对训练集或者测试集的某一个特征做画图的动作
toad_pipe.bin_plot_f(X, Y, col=col, *arg, **kwargs)	# f是function的意思，X和Y是原始的参数据，在toad_pipe.fit之后，直接可以来transform。其中源码的思路是先toad_pipe[:2].transform(X), 只用pipe中combiner前面的部分对数据做转化，然后封装一个函数做bin_plot的处理

4.2.4 transform.WOETransformer

这个模块比较简单直接就是

# 调出WOE类
toad_pipe.WOE

# 如果想查看woe的结果
toad_pipe[:3].transform(X)

4.2.5 selection.stepwise

这个模块，也是一个单个的函数，不是类，这里可能比较有用的信息可能只有两个，一个是在stepwise中，每一次到底有哪些特征被删掉了，或者被选中了。另外一个也就是到底有哪些特征被选中。

# 查看stepwise模块， 这个模块是对selection.stepwise的这个函数的类的封装，没啥太大的作用， 主要是构造成transformer, 并且保存一些中间结果
toad_pipe.stepwise

# 查看stepwise中到底优先删除了哪些特征
toad_pipe.stepwise.select_orders

# 查看stepswise中哪些被保存下来了
toad_pipe.stepwise.columns2select

4.3 pipeline的bins重调

在使用toad的过程中，发现其中大量的工作其实是在combiner的部分，在符合业务以及符合单调的原则上，并且在尝试更新rules。

在调整toad之后，除了select的部分，combiner以及combiner以下的部分都需要重新fit一遍。这边其实为了不让pipe太过于复杂，还是整体的toad_pipe重新fit，这是因为一旦bins调整，那么woe的值，且stepwise可能会给出不同的结果。

4.3.1 所有的特征做调整

所有特征的rules全部保存在ALL_FEATURE_RULES,。此时，由于所有特征的bins已经提前手动分好，则不需要再让模型去自动算了，在combiner的阶段速度会有极大的提升。

toad_pipe = toad_pipeline()

ALL_FEATURE_RULES = {}

toad_params = {
    'ts__empty' : 0.5,
    'ts__iv' : 0.02,
    'ts__corr' : 0.99,
    'ts__exclude' : None,
    'combiner__method' : 'chi',
    'combiner__min_samples' : 0.05,
    'combiner__save_results' : True,
    'combiner__update_rules' : ALL_FEATURE_RULES,
    'stepwise__estimator' : 'ols',
    'stepwise__direction' : 'both',
    'stepwise__criterion' : 'aic',
    'stepwise__corr' : 0.7,
}

toad_pipe = toad_pipe.set_params(**toad_params)
toad_pipe = toad_pipe.fit(X, Y)

4.3.2 只对部分的特征做调整

只更新部分重要的特征的dict, 这些特征不需要去学习了，combiner的部分直接跳过，然而直接其他的特还是要去让算法去学习

toad_pipe = toad_pipeline()

subset_FEATURE_RULES = {}

toad_params = {
    'ts__empty' : 0.5,
    'ts__iv' : 0.02,
    'ts__corr' : 0.99,
    'ts__exclude' : None,
    'combiner__method' : 'chi',
    'combiner__min_samples' : 0.05,
    'combiner__save_results' : True,
    'combiner__update_rules' : subset_FEATURE_RULES,
    'stepwise__estimator' : 'ols',
    'stepwise__direction' : 'both',
    'stepwise__criterion' : 'aic',
    'stepwise__corr' : 0.7,
}

toad_pipe = toad_pipe.set_params(**toad_params)
toad_pipe = toad_pipe.fit(X, Y)

4.4 pipeline的模块的skip

pipeline的4个模块是一个大的整体，有的时候已经确定下来最优的特征，和最后的bins了，那么也就不需要使用最后的stepwise了，这个时候引入skip跳过这部分，不做额外的计算。

toad_pipe = toad_pipeline()

subset_FEATURE_RULES = {}

toad_params = {
    'ts__empty' : 0.5,
    'ts__iv' : 0.02,
    'ts__corr' : 0.99,
    'ts__exclude' : None,
    'combiner__method' : 'chi',
    'combiner__min_samples' : 0.05,
    'combiner__save_results' : True,
    'combiner__update_rules' : subset_FEATURE_RULES,
    'stepwise__skip' : True,
}

toad_pipe = toad_pipe.set_params(**toad_params)
toad_pipe = toad_pipe.fit(X, Y)

5 后续的模块

是否要再将toad和模型，再和card做一统化的进一步的流水线?这边暂时不建议做，还是保持初衷，pipe越简单越好。

pipe的最终的目标其实就是给出combiner, 再接着将combiner加入ScoreCard即可。但是有个重复训练的问题。

一般都是先做以下

toad_pipe = toad_pipe.fit(Xtrain, Ytrain)
Xtrain_ = toad_pipe.transform(Xtrain)
Xtest_ = toad_pipe.transform(Xtest)
model = LogisticRegression().fit(Xtrain_, Ytrain)
# 查看表现， ks， rocauc
model.score(Xtrain_, Ytrain), model.score(Xtest_, Ytest)

# 查看coef，vif， pvalue， std
model.coef_

在调整pipe的combiner的过程中，也是不断的再根据结果做调整。加入调试完毕之后，特征和bins确定下来后，scorecard又需要重新训练一遍。

是否可以直接将训练好的模型也加到score card中

from toad import ScoreCard_
card = ScoreCard_(toad_pipe.combiner, model, *args, **kwargs)
card.predict(Xtest)
card.export()

[Secbone]

非常好的建议！

我的想法是，可以将toad_pipe这件事情分层实现，即分成 各个接口统一的transformers，如 Selector、Combiner、StepwiseSelector等（最好是可以兼容 sklearn 的 transformer 接口），和 上层便于调用的 Pipeline 两个大层级，既保留各组件的灵活组合，又可以提供一键式的简单使用。

toad_pipe = Pipeline([
    ('selector', Selector(iv = 0.01, empty = 0.9)),
    ('combiner', Combiner(method = 'chi', min_samples = 0.05)),
    ('stepwise', StepwiseSelector(direction = 'both')),
])

toad_pipe['combiner'].update({...})
toad_pipe['selector'].set_params(...)

Pipeline 层可以继承自 sklearn.pipeline，完成兼容。

所以这样看下来，接下来可能主要是对已有的方法进行 transformer 化的改造，这部分我的想法也是，先暂时保留原有的函数式的方法，在此基础上包一层 transformer 化的类，用作 pipeline 组合调用

class Selector(Transformer):
    ...
    def fit(X, y):
        ...
        from toad.selection import select
        df = select(X, y, **self.get_params())
        ...

包括在transformer化的过程中，把中间结果可以保存下来，例如 column2select、stepwise_log 之类的中间或最终结果，不过具体的属性名可以再看看是不是可以简洁一下，个人比较倾向简洁的一个单词的属性名 😸

[Secbone]

3. 发现一个问题, 希望在combiner的fit的部分，尝试传入一个rules_dict, 这个rules_dict是根据之前的结果所总结出来的一个写分箱的结果。想达到这样一个效果，fit的过程中，如果这个特征已经在dict中，则不去做计算，如果不在这个dict中，则做chisqmerge分箱。这里由于不是很想动原来的combiner, 只能复杂的去代码复制过来重复的构建combiner_类。

这里我觉得可以把这部分功能放在 Pipeline 中，对已有 rules 进行 exclude 处理。按道理说放在 Combiner 里可能会更灵活和方便一些，但是这个逻辑会和现在的 Combiner 行为产生混淆（现在的行为是，后一次的结果可以 覆盖/更新 之前的结果），所以个人觉得可以先放在 Combiner 外部，比如 Pipeline 的行为里，之后再看是不是可以合并进去

[Secbone]

4. 另外一点是模块的归属位置，将新的Transformers全部放在pipeline.py下面，还是Transformers在transformer.py下，然后pipeline在pipeline.py下

transformers 个人觉得还是放在 transformer 模块下，不过可以升级 transformer.py 为一个module文件夹，即如下结构：

- toad/
   |- ...
   |- pipeline.py
   |- transformer/
       |- __init__.py
       |- combiner.py
       |- selector.py
       |- ...
   |- ...

这一部分你看是不是需要我先创建一个分支，我把目录结构升级一下，你再来更新? 😄

[FrankDataAnalystPython]

3. 发现一个问题, 希望在combiner的fit的部分，尝试传入一个rules_dict, 这个rules_dict是根据之前的结果所总结出来的一个写分箱的结果。想达到这样一个效果，fit的过程中，如果这个特征已经在dict中，则不去做计算，如果不在这个dict中，则做chisqmerge分箱。这里由于不是很想动原来的combiner, 只能复杂的去代码复制过来重复的构建combiner_类。

这里我觉得可以把这部分功能放在 Pipeline 中，对已有 rules 进行 exclude 处理。按道理说放在 Combiner 里可能会更灵活和方便一些，但是这个逻辑会和现在的 Combiner 行为产生混淆（现在的行为是，后一次的结果可以 覆盖/更新 之前的结果），所以个人觉得可以先放在 Combiner 外部，比如 Pipeline 的行为里，之后再看是不是可以合并进去

emmmm，对这个方法好，我去尝试一下。我还没想到过中exclude的方法去做，对exclude这个还没有特别的熟，之前没怎么用到过，正好去熟悉一下。之前这样做的原因是因为想先确定好bins的分箱的话，combiner就几乎不需要去做fit的动作，可以节省大量的训练的时间。

[FrankDataAnalystPython]

4. 另外一点是模块的归属位置，将新的Transformers全部放在pipeline.py下面，还是Transformers在transformer.py下，然后pipeline在pipeline.py下

transformers 个人觉得还是放在 transformer 模块下，不过可以升级 transformer.py 为一个module文件夹，即如下结构：

- toad/
   |- ...
   |- pipeline.py
   |- transformer/
       |- __init__.py
       |- combiner.py
       |- selector.py
       |- ...
   |- ...

这一部分你看是不是需要我先创建一个分支，我把目录结构升级一下，你再来更新? 😄

如果有时间方便的话，麻烦还请更新一下，我担心一下子把弄乱了，我这边先实现模块，到时候复制到这个目录下，再写入__init__.py即可。估计更改目录结构的时候，也还是需要保持和原来的用法的一致性。

[Secbone]

如果有时间方便的话，麻烦还请更新一下，我担心一下子把弄乱了，我这边先实现模块，到时候复制到这个目录下，再写入__init__.py即可。估计更改目录结构的时候，也还是需要保持和原来的用法的一致性。

我已经更新了一个新的分支 feat/pipeline，把 transform.py 拆分进了文件夹中，还有一些清理工作我会在后续提交，不过基本文件结构应该不变了，你可以再这个基础上再更新你的代码

[Secbone]

绘图模块我觉得目前toad的改进空间还很大，这一部分我暂时还没有完成梳理好怎么样的形式比较好，包括之后使用哪个绘图库作为基础也都没有完全定好，目前可以先按上述的方案实现，具体的绘图模块的改进，可以单独再开一个讨论来把这块儿的内容定一下 😄

[FrankDataAnalystPython]

是的，可视化的部分，我也觉得可以先后期再考虑