上世纪90年代初，以美国运通（Amarican Express）为首的美国信用卡金融公司开始运用数据建模来提升风控能力，解决精准营销等问题。Discover，Capital One紧随其后
1995年，AMEX的风控模型开始试运行，1997年风控系统正式上线，此后几年，AMEX保持高速增长且把不良贷款降到业内最低
2008年，discover将全球数据分析中心搬到上海。从这个中心流出的风控人才，填充了中国各大互金公司
业务类型：有抵押贷（房贷车贷）、信用贷（比如宜人贷）、消费分期贷（手机家电等）、小额现金贷（500/1000/1500）等
风控涉及业务：1）数据采集：包括征信数据，运营商数据，爬虫，网站埋点，历史借款数据，黑名单，第三方数据等
2）反欺诈引擎：主要包括反欺诈规则与反欺诈模型。
3）规则引擎：即常说的策略。主要通过数据分析手段统计不同字段和各个区间的坏账率，然后筛选得到信用较好的人群进行放款
4）风控模型&评分卡：模型算法之间并无显著不同，而是根据其发生的不同时间点进行划分(贷前/贷中/贷后)，即目标产生的方式不一样。通常信贷领域都是以逾期天数来定义目标变量。A卡可以用客户历史逾期天数最大值，B卡可以用多期借款中逾期最大的一次。C卡因为用途不同有不同的建立方法
5）催收：是风控的最终手段。这个环节可以产生很多对模型有帮助的数据，比如催收记录的文字描述，触达率，欺诈标签等等
1）爬虫可以爬取手机APP的信息。我们可以将手机APP分成4类：工具，社交、娱乐、金融。计算每种APP的个数，这样就有了4个特征
2）从运营商数据可以知道客户打了多少电话，发了多少短信，用了多少流量，是否有过欠费等信息
3）征信报告很多时候都是一个简单的征信分数，一般都是得分越高，客户质量越好
4）从基本信息中获取用户画像，比如从身份证中得到年龄、性别、户籍3个特征
黑名单的升级版本就是规则引擎。然而它是靠经验生成的。比如保险公司可能会拒绝连续退货5次或者退货比例达到80%的人购买退货险。规则通常需要投入大量的精力维护，不断更新修改，否则会造成大量的误判。对疑似套现金额、笔数超过一定数目，建议拒绝准入，或做重点关注。XX天内申请借贷数大于某个值，建议拒绝
比如我们可以设定一个准入规则，如职业为公务员、医生、律师等。
还可以设置直接放款原则，比如芝麻分大于750分
目标变量如何确定：以A卡为例，主要通过roll-rate与vintage。举个例子，我们可以定义在8个月逾期超过60天的客户为坏客户，8个月未逾期的为好客户。而八个月逾期在0-60天内为不确定客户，从样本中排除。
1）前期准备工作：不同的模型针对不同的业务场景，在建模项目开始前需要对业务的逻辑和需求有清晰的理解
2）模型设计：包括模型的选择（评分卡还是集成模型），单个模型还是做模型细分。是否需要做拒绝推断，怎么定义观察期、表现期、好坏用户。确定数据来源
3）数据拉取及清洗：根据观察期和表现期的定义从数据池中取数，并进行数据清洗和稳定性验证。数据清洗包括异常、缺失、重复。稳定性验证主要考察变量在时间序列上的稳定性，指标有PSI,IV,平均值/方差等
4）特征工程：主要是特征的预处理和筛选。评分卡主要是通过IV进行筛选。另外会基于对业务的理解进行特征构造，包括特征交叉（两个或以上特征相乘/相除/笛卡尔积），特征转换等
5）模型建立和评估：评分卡可以用逻辑回归，只需要做二分类预测可以选择xgb.模型建好后需要进行模型评估，计算auc,ks。并对模型做交叉验证来评估泛化能力
6）模型上线部署：在风控后台配置模型规则，对于一些复杂的模型比如xgb,一般是将模型文件转换为pmml格式，并封装。在后台上传文件与配置参数
7）模型监控：前期主要是监控模型整体与变量的稳定性。衡量标准主要是PSI（population stability index）。其实psi 就是按分数分区间后，各个分数区间实际与期望占比的差异。如果小于10%，无需更新模型。小于25%，就需要重点关注模型了。如果大于25%就需要更新模型。计算模型psi一般用等频，可以分10箱
1.A卡B卡C卡含义与区别
A卡（application score card）：即申请评分卡，在客户申请处理期，预测客户开户后一定时期内违约拖欠的风险概率，有效的排除了信用不良客户和非目标客户的申请。同时对客户进行风险定价----确定额度与利率。用到的数据主要是用户以往的信用历史，多头借贷，消费记录等信息。
B卡（behavior score card）：行为评分卡，在账户管理期，根据账户历史上所表现出的各种行为特征来预测该账户未来的信贷表现。一是防控贷中风险，二是对用户的额度做一个调整。用到的数据主要是用户在本平台的登录、浏览、消费行为等数据。还有借还款，逾期等借贷表现数据。
C卡（collection score card）：催收评分卡，对逾期账户预测催收策略反应的概率，从而采取相应的催收措施
三张卡的区别：
数据要求不同：A卡一般可做贷款0-1年的信用分析。B卡则是在申请人有了一定行为后，有了较大数据进行的分析。C卡则对数据要求更大，需加入催收后客户反应等属性数据
特征不同：A卡用到的大部分是申请者的背景信息，比如客户填写的基本信息，以及第三方信息。而且这个模型一般也会比较谨慎。B卡利用了很多基于交易的特征。
2.风控领域为何选择逻辑回归模型，有哪些局限性
1）首先是因为逻辑回归客群变化的敏感度不如其他高复杂度模型，因此稳健性好
2）模型直观，系数含义好阐述，易理解
缺点是容易欠拟合，准确度不是很高。另外对数据要求比较高，缺失、异常、特征共线性都比较敏感
3.为何用IV而不是WOE筛选特征
因为IV考虑了分组中样本比例的影响。即使这个分组的WOE很高，但是分组的样本占比很小的话，最终这个特征的预测能力可能还是很小
4.ROC与KS指标(ks在0.2-0.75，auc在0.5-0.9较好)
ROC曲线把TP,FP当作横纵坐标，而KS曲线把TP,FP都当成是纵坐标，横坐标是阀值。KS能找出模型中差异最大的一个分组，大于0.2即可认为有比较好的预测准确性。而ROC能反应整体区分效果
5.分箱方法与badrate单调
目前在行业里，大家用贪心算法进行分箱的比较多，比如best_ks,卡方分箱等。badrate单调性只在连续型数值变量与有序型离散变量（如学历/尺码）分箱的过程中才会考虑。至于为何要考虑badrate单调性，主要是出于业务理解，比如历史逾期越多那么badrate越大。
6.为何不同的风控模型，一般都不会选用相同的特征
被拒绝的人，是因为某些特征表现差。如果用相同的特征做重复筛选，那么随着时间推移，以后建模的样本里面就没有这些人了。这样特征上的样本分布就变了。
7.风控中用的无监督算法有哪些
聚类算法，基于图的离群检测，LOF(局部异常因子)，孤立森林等
8.卡方分箱
卡方分箱是基于合并的数据离散化方法.基本思想是相邻的区间具有类似的类分布,则将之合并.而卡方值是衡量两个区间相似性的标准,卡方值越低越相似.当然也不可能无限合并下去,我们给它设定一个阀值.根据自由度与置信度得到.比如类别数是N，那么自由度就是N-1.而置信度表示发生的概率。一般可以取90%。
9.best-ks分箱
与卡方分箱相反，best-ks分箱是一个逐步拆分的过程。将特征值从小到大排序，KS最大的那个值即为切点，然后把数据分为两部分。重复这个过程，直到箱体数达到我们的预设的阀值即可。
10.拒绝推断（reject inference）
申请评分卡是利用通过审核的授信客户的历史数据来建立模型，但是此模型会忽略原先被拒绝的这部分客群对评分卡模型的影响。需要通过拒绝推论来对模型进行修正，以便使模型更加的精确与稳定。另外，公司的规则变化也可能让过去被拒绝的客户现在能通过。适用于中低通过率的场景。
常用方法：硬性截断法---先用初始模型对拒绝用户进行打分，设置一个阀值。高于此分数标记为好用户，反之为坏用户。然后把标记后的拒绝用户加入样本中重新训练模型。分配法---此方法适用于评分卡。将样本根据评分高低进行分组，并计算各组的违约率。然后对拒绝用户进行打分并按照之前的方法分组，以各组的违约率为抽样比例，随机抽取该分组下的违约用户，指定为坏用户，剩下的标记为好用户。然后将标记好的拒绝用户加入样本重新训练
11.建模过程中如何保证模型的稳定性
1）在数据预处理阶段可以验证变量在时间序列上的稳定性，方法有：计算月IV的差异，观察变量覆盖率的变化，两个时间点的PSI差异等。例如我们选取1-10月的数据集，借鉴K折验证的思想，得到10组验证结果。观察随着月份的推移，模型的变化是否有比较大的趋势变化
2）在变量筛选阶段剔除与业务理解相悖的变量。如果是评分卡，可以剔除区分度太强的变量，模型受这个变量影响太大，稳定性会下降
3）做交叉验证，一种是时间序列上的交叉验证，一种是K折交叉验证
4）选择稳定性好的模型。比如xgb 随机森林等
12.怎么处理高维稀疏特征与弱特征
对于高维稀疏特征，逻辑回归比gbdt效果好。后者的惩罚项主要是树深度与叶子数目，这对稀疏数据来说惩罚并不严厉，容易过拟合。使用逻辑回归评分卡，则可以把特征离散化为0与非0，然后再进行woe编码。
如果用评分卡建模，弱特征一般会被舍弃掉。评分卡的入模特征数不宜过多，一般在15个以下。而xgb对数据的要求不高，而且精度好。一些弱特征进行交叉组合也许有意想不到的效果。
13.模型上线后发现稳定性不佳，或者线上的区分效果不好，怎么调整
模型稳定性不佳首先检查当初建模时有没有考虑特征的稳定性。在模型前期发现稳定性不佳的变量，考虑弃用或用其他变量代替。另外分析线上线下用户和建模时用户的分布差异，考虑在建模时增加拒绝推断的步骤，让建模样本的分布更加接近实际的整体申请用户
线上的效果不好可以从变量角度分析。剔除掉效果不好的变量，挖掘新的变量入模。如果一个模型已上线较长的时间，用户的属性也慢慢发生偏移，那么重新取数做下模型
14.怎么做风控模型冷启动
产品刚上线时，没有积累的用户数据，或者用户没有表现出好坏，此时可以考虑： 1）不做模型，只做规则。凭借业务经验，做一些硬性规则，比如设定用户的准入门槛，考量用户的信用历史与多头风险，可以接入第三方的反欺诈服务和数据产品的规则。也可以结合人工审核来对用户的申请资料做风险评估 2）借助相近模型的数据来建模。
15.样本不平衡问题
除了调整类权重以外，主要采用采样方法来解决。常见的有朴素随机过采样，SMOTE,ADASYN（自适应综合过采样）
16.运营商数据处理
根据通话日期，可以将通话记录分为近7天，近半月，近一月，近三月，近6月等时间窗口。也可以按具体日期划分为工作日、节假日等。根据通话时间，可以将一天划为凌晨、上午、下午、晚上。至于电话号码，一种思路是按照归属地划分为 省市，另一种思路是对号码打标签，根据电话邦、百度手机卫士、搜狗号码通的标记，区分出快递外卖、骚扰电话、金融机构、中介等。甚至根据业务积累区分号码是否是黑名单用户、申请用户或申请被拒用户。用户与不同号码标签的通话情况，可以侧面反应用户的通话习惯和生活特点
17.逐步回归
当自变量之间的关系比较复杂，对于变量的取舍不易把握时，我们可以使用逐步回归的方法进行变量筛选。逐步回归的基本思想是将变量逐个引入模型，每引入一个变量进行F检验，并对已经选入的变量进行t检验，当原来引入的变量在后面的变量引入之后不再显著时，则将原来的变量删除。以确保每次引入引入新的变量之前回归方程中只包含显著性变量
18.在逻辑回归中，为什么常常要做特征组合（特征交叉）
逻辑回归属于广义线性模型，特征组合可以引入非线性特征，提升模型的表达能力
部分引用文章： 8182
风控模型是在良好的建立风控体系、风控评定方式、评分机制等基础上，进行有效的数据分析及评分体系，就是建立常用的风控模型方式。我们以搜易贷的风控系统“风刃”为例。风刃系统不仅是在某一个模型上去判断风险，更是在每一个环节予以应用来指导整个金融行为，在用户申请贷款时判断风险，在平台放款时判断申请意愿的真实性以及骗贷概率，在贷后判断逾期的可能性，都是从用户行为习惯来观察。此外，风刃系统还运用人工智能学习，在获客管理上通过筛选用户来源渠道及用户特征聚类的实时分析，去寻找正常人群中可能存在的小部分的异常人群，从而防范骗贷行为。风刃系统不仅是在某一个模型上去判断风险，更是在每一个环节予以应用来指导整个金融行为，在用户申请贷款时判断风险，在平台放款时判断申请意愿的真实性以及骗贷概率，在贷后判断逾期的可能性，都是从用户行为习惯来观察。此外，风刃系统还运用人工智能学习，在获客管理上通过筛选用户来源渠道及用户特征聚类的实时分析，去寻找正常人群中可能存在的小部分的异常人群，从而防范骗贷行为。风刃系统不仅是在某一个模型上去判断风险，更是在每一个环节予以应用来指导整个金融行为，在用户申请贷款时判断风险，在平台放款时判断申请意愿的真实性以及骗贷概率，在贷后判断逾期的可能性，都是从用户行为习惯来观察。此外，风刃系统还运用人工智能学习，在获客管理上通过筛选用户来源渠道及用户特征聚类的实时分析，去寻找正常人群中可能存在的小部分的异常人群，从而防范骗贷行为。
大数据风控在金融科技中的应用和问题
一、为什么要用大数据风控？
不论是银行还是消费金融公司，互联网小贷公司等其他金融机构，金融机构普遍有风控需求，底层业务逻辑几乎完全相同，只是面对客群，金融产品、风险偏好存在差异。
银行等传统机构本质上是风险经营。一方面，监管层对金融机构的风控能力提出很高要求， 另一方面，风控直接会影响金融机构的利润水平。
因此，大数据风控直接解决金融机构的核心需求，价值度最大。大数据风控能够能够在用户画像，反欺诈，信用评级等方面大大提高金融机构的效率和风控能力，是金融企业发展过程中必须结合的一项科技手段。
二、大数据产业情况介绍
目前大数据行业主要有三类玩家：
以人行征信、鹏元征信、前海征信、银联智策为主的数据机构，他们特点是和传统的银行，公安部，工商局，航空公司，社保局等国家机关合作，提供公民基本身份证信息、银行卡信息、航空出行信息、企业工商信息等，他们的特点是对外提供数据查询，数据丰富有价值，缺点是风控产品偏弱。以蚂蚁金服、腾讯征信、百度金融为主的互联网公司，他们的特点是各自都有一块基于电商、社交、搜索的巨量数据，同时一些外部数据，形成自己的风控产品和数据输出能力，这些互联网公司刚开始只是和自己的战略合作企业合作输出风控，现在也慢慢对外提供2B的风控产品。同盾科技、百融金服、帮盛科技、聚信立、数美科技等创业技术公司，在互联网巨头还没有对外提供风控技术和传统数据机构风控技术还不强的时候，他们的出现弥补了P2P金融和现金贷对风控产品的巨大需求，他们的数据是整合多方数据源，不断的为2B企业提供风控模型和数据，并且获得了一些网贷数据积累。
三、大数据风控的覆盖流程
大数据覆盖信贷领域各个流程，重点是获客、身份验证和授信环节，贷中后环节。
获客环节建立用户画像，跟踪用户完整生命周期；身份验证环节，通过身份验证，活体识别等技术解决申请人是否本人的问题，关联分析则是利用图关联技术，找出欺诈团伙；授信环节汇聚多方数据源，通过建模进行风险定价，金融科技服务商输出信用评分给机构使用；贷中后环节，主要是排查异常客户，及时报警，以及逾期客户失联修复等。
大数据在信贷过程中的应用
四、大数据风控的价值点分析
1.数据
大数据风控中什么是最重要的？
答案是：数据。
数据的大数据风控中的核心中的核心，没有什么比数据直接告诉金融机构某个目标客户是黑名单客户，逾期严重客户更简单和高效的事情了。
数据最好能有海量数据，覆盖足够多的用户；用户数据价值密度高、噪音少，数据清洗容易；用户数据维度多，能够形成丰富的用户画像；自身业务场景能够获取有价值数据 。
2.技术
对于有些金融机构来讲，如果风控标准很严格，其实排查不能准入的客户其实是不难的，但是对于大部分金融机构来讲，风控和业务是互斥的，为了提高业务量，就必须降低准入标准，但是又要防范风险，这就需要借助技术手段，通过反欺诈建模和信用建模方式，对一下白户进行评估，以及评估客户信用水平，以决定是否准入。
技术要求有强大的底层技术架构能力，良好的企业级产品输出能力和大数据清洗和建模能力，未来还需要结合Al等技术，形成智能的风控和反欺诈平台。
3.场景
理财，保险，汽车金融，现金贷等金融服务，对应的场景不同，对建模的要求也不同，建模能力要求对客户的业务场景非常理解，模型才能适合行业特征。需要经验丰富的建模团队和行业专家队伍；服务过行业标杆客户，了解客户的业务场景；深度理解业务需求。
五、大数据风控的在信贷中应用
我们以百融系统为例，介绍大数据风控在信贷过程中的流程：
百融大数据风控应用贷款流程
当前的信贷审批流程主要分为人工审核和自动审核，对于客户资质好，信用好的客户，只要能通过负面信息，欺诈信息，信用评估，那么系统自 动审批通过。对负面信息和欺诈风险没有通过的客户，系统可以自动拒绝或者申请人工复核，对于信用评分不高的客户，需要人工介入审核。
六、常用的大数据行业数据
央行征信报告：一般持牌金融机构有央行征信介入权限，包括个人的执业资格记录、行政奖励和处罚记录、法院诉讼和强制执行记录、欠税记录等。司法信息：最高法以及省市各级法院的最新公布名单，包括执行法院、立案时间、执行案号、执行标的、案件状态、执行依据、执行机构、生效法律文书确定的义务、被执行人的履行情况、失信被执行人的行为等信息。公安信息：覆盖公安系统涉案、在逃和有案底人员信息，包括案发时间、案件详情如诈骗案/生产、销售假药案等信息。信用卡信息：银行储蓄卡/信用卡支出、收入、 逾期等信息。航旅信息：包含过去一年中，每个季度的飞行城市、飞行次数、座位层次等数据。社交信息：包含社交账号匹配类型、社交账号性别、社交账号粉丝数等。运营商信息：核查运营商账户在网时长、在网状态、消费档次等信息。网贷黑名单：根据个人姓名和身份证号码验证是否有网贷逾期，黑名单信息。还有驾驶证状态，租车黑名单，电商消费记录等等。
七、大数据行业存在的问题
目前整个大数据行业面临的问题主要是客户隐私泄露问题，像公安，法院等信息由于信息敏感，其实是游走在法律监管空白地带。
在百行征信成立之前，各家数据机构的数据其实没有打通，数据的有效性会打折扣，预计百行征信数据出来之后，因为结合了各家数据之长，数据连贯性会好一些。
各个大数据公司在数据收集和清洗方式不同，会造成数据污染，这样输出的数据会有一定的不准确性。
目前公民数据主要来自于线下收集和网络行为记录，数据的存在一定的滞后性，单纯线下收集的数据存在一定的延迟性。
大数据还处于发展初期，目前比较大的问题还是数据量不够大，不够全，以及如何协调数据开放和公民隐私之间的矛盾，未来还需要结合人工智能和区块链，物联网等技术，实现数据的不可篡改，数据收集及时等能力，从而更好为金融服务。
