以财智BBD新经济指数的结构进程为例，提出大数据剖析的五步法，即问题辨认、数据可行性证明、数据预备、树立模型、评价结
当下，大数据现已上升到国家战略。2016年3月17日出炉的《国民经济和社会开展十三五个五年计划规划大纲》提出，要“施行国家大数据战略，把大数据作为根底性战略资源，全面施行促进大数据开展举动，加速推进数据资源共享敞开和开发运用，助力工业转型晋级和社会办理立异”。从“推进数据资源共享敞开和开发运用”，到完结“助力工业转型晋级和社会办理立异”的夸姣愿景，离不开牢靠稳健的大数据剖析。
可是，关于什么是大数据剖析、谁该运用大数据剖析等要害问题，现在一些盛行观点值得商讨。有业界人士提出，“每个从业人员都该考虑大数据剖析”。更有观点认为“大数据剖析首要依托机器学习和大规模核算”，其要点在大数据搜集存储和根本架构等方面的技能、数据发掘算法、可视化等方面，而很少评论怎么根据数据树立符合我国实际的模型和产品、怎么查验大数据剖析作用等问题。
本文以财智BBD新经济指数的结构进程为例，提出大数据剖析的五步法，即问题辨认、数据可行性证明、数据预备、树立模型、评价成果。这个事例标明，并非大数据就必定是全数据；大数据剖析也不是对一切个别都适用；对数据、技能和相应关范畴的问题的殷切知道，是高质量大数据剖析的条件。期望本文能够抛砖引玉，引发对大数据剖析的适用性、牢靠稳健的大数据剖析规范、怎么健康开展大数据工业等问题更深化的评论。
大数据剖析的榜首步是要明晰界定需求答复的问题。对问题的界定有两个规范，一是明晰、二是符合实际。结构新经济指数的布景，是我国现已进入本钱回报率下降、劳作力萎缩、人口老龄化、外需疲软的经济开展“新常态”。因为现有不少核算材料都描写了传统职业的下滑与窘境，仅从追寻传统职业的变迁的视点，就难以对我国经济的未来走势坚持达观。
可是我国经济开展并非没有亮色。尽管劳作力人口呈现萎缩，但我国的人力本钱堆集仍然在上升。根据笔者参加的教育部人力本钱测算成果，曩昔30年我国人力本钱的均匀年增速为5.53%，而未来20年估计均匀年增速不会低于这个速度。根据人社部材料，2015年工作局势整体安稳，年底乡镇挂号失业率为4.05%。人力本钱的快速堆集，为立异型经济的开展供给了人力根底。工作局势没有呈现大的动摇也标明，传统经济的窘境催生了新经济的呈现和生长、减轻了经济转型带来的震动。
关于正在生长的新经济，揭露数据只能供给零散的衡量。假如核算材料只记录了传统经济的下滑却不能反映代表我国未来经济添加点的新经济的改变，必定会对我国未来的经济走向，给出过错的画面。因而，咱们的方针是添补上述空白，测验来描写、追寻新经济在整个经济中的开展和变迁。咱们尽管无法直接衡量新经济GDP，却能够经过大数据来查询经济生活中各出产要素的改变。这儿界定的问题是 “我国经济每一元钱的产出中，新经济占的比重是多少？”在没有官方核算数据的情况下，能够经过大数据手法来衡量新经济职业中技能、劳作力和本钱等出产要素占全职业技能、劳作力和本钱等出产要素的比重。这使得衡量新经济的相对重要性成为可能。
因为尚无对新经济范畴的界定规范，首要需求明晰何为新经济。根据关于我国长时刻的查询和对方针的了解，咱们提出，新经济是更符合我国未来资源禀赋结构的经济形式，具有以下三个特征：榜首，高人力本钱投入、高科技投入、轻财物；第二，可继续的较快添加；第三，符合工业开展方向。
从头经济指数的比方能够看到，辨认问题环节需求考虑到数据的可行性，更需求对我国相应国情有较明晰的认知。
证明现有数据是否满意丰厚、精确，致使能够为问题供给答案，是大数据剖析的第二步，项目是否可行取决于这步的定论。大数据和传统数据的生成办法有实质不同。传统数据往往是在辨认问题、根据问题规划问卷、之后打开查询取得的数据，而大数据却是企业或许个别各类活动发生的隶属产品。作为隶属产品，大数据往往不是为了特定数据项目生成，也存在较高噪音。这就要求数据可行性证明进程需求细心琢磨，现有数据得出来的定论是否满意牢靠。因为大数据剖析技能实质归于数据发掘法，过度拟合问题往往是大数据剖析的难点。过度拟合问题最首要的一个症状是难以外推，即在一个区域一个时期能够做出很好猜测的模型， 在另一个区域另一个时期却体现很糟。
因而，在数据可行性证明首要触及三个环节。榜首，厘清项目需求的大数据、小数据和专业知识；第二，完结从笼统概念到具体方针的履行；第三，调查数据的代表性。
关于新经济指数而言，数据的可行性证明要处理以下问题：榜首，怎么细化笼统规范？第二，可否运用大数据辨认出归于新经济的企业？第三，数据是否能够支撑对全国新经济情况的衡量？
结构新经济指数需求大数据、小数据和我国经济的知道和判别，这三者缺一不可。例如，要承认“高人力本钱投入、高科技投入、轻财物”的职业，咱们要用到2010年我国各职业投入产出表、第六次人口普查和2008年经济普查数据；承认可继续的较快添加的职业，需求用到工业普查数据和经济普查数据；承认是否符合工业开展方向，则需求从历年工业方针计划中查找相关信息，如2012年的《国务院关于加速培养和开展战略性新兴工业的决议》和2015年的《我国制作2025》。再如，《2014美国新经济指数》（2014 State New Economy Index）陈述方针系统、硅谷指数（Silicon Valley Index）等世界闻名新经济和立异指数系统也为创立新经济指数供给了很好的参阅。上述数据和材料都不归于大数据范畴，却是选用大数据剖析成果的可信度的根基。
证明数据可行性的要点是将笼统概念进一步细化到能够选用的数据条目，这往往需求依托专业判别和参阅国内外通行规范。首要要收拾哪些笼统概念需求被细化，然后调查获取细化信息是否可行。每一个项目在履行进程中都有其难点，因而需求在数据可行性证明环节愈加明晰对难点的处理战略。对新经济指数而言，需求细化的笼统概念有“高”、“可继续”、“较快”等规范，履行难点是怎么辨认新经济企业。
笼统规范的细化需求专业知识和对国内外相关行情的认知。关于衡量“高”、“可继续”、“较快”，新经济指数挑选劳作者酬劳与经营盈利之和占添加值之比超越70%、劳作力均匀教育年限超越12年、研制经费支出占主经营务收入的比重独占鳌头、固定财物占总财物30%以下的职业；继续五年增速在一切四位数代码职业中排名前10%的职业，等等。
辨认新经济企业是数据证明的难点。尽管大数据发掘技能能够获取企业称号等信息，但不少企业没有四位数职业代码，也就无法直接辨认一家企业是否归于新经济职业。咱们的处理战略是根据既有企业称号信息又有事务经营范围信息的企业样本，从《核算用产品分类目录》找到相关代码，再从《国民经济职业分类》中找到职业代码。在此根底上树立模型，运用企业称号的要害词来猜测其他企业所属职业。
大数据的代表性是证明数据可行性的必要进程，在这部分需求明晰，运用的数据是整体仍是子样本，假如是子样本，数据的代表性怎么。需求留意的是，一个项目选用的大数据是否是数据整体，许多时分取决于要处理的问题。例如，谷歌具有一切用户阅读的历史记录，假如用该数据剖析谷歌用户阅读习气，那么该数据是整体；但假如用这个数据来猜测美国流感趋势时，那么适宜的整体便是一切美国人，不是一切运用谷歌查找流感信息的用户。
在新经济指数结构进程中，因为选用某些区域的具体数据外推到全国其他区域简略遇到过度拟合问题，因而，数据的搜集方针是分项方针在全国的整体。咱们的十一项分项方针中，有六项是相应方针在全国的整体；别的五项尽管不是整体，但也都到达整体的至少70%。一方面，未来数据搜集技能的提高能够将别的五项方针的搜集也到达整体的程度。别的一方面，咱们的模型选用的是相对方针而不是绝对值，因而，即使一些方针尚不是整体，咱们也能够根据大数定理，信任在数据量满意大的情况下，咱们的数据核算出比例能够无限趋近于我国的实在情况。
大数据剖析中，辨认问题和数据可行性证明往往不是一步完结的。比方，假如将问题辨认为怎么衡量新经济GDP，就无法经过数据可行性证明。在考虑数据可得性的根底上从头界说问题才干够添加对项目可行性的决心。在实际操作中，当榜首步发生改变时，第二步数据可行性的证明要点也需调整。因而需求重复琢磨这两步，才干找到进入下一步的最佳符合点。
数据预备环节需求收拾剖析所需每个条目的数据，为下一步树立模型做好从充沛预备。这种预备能够分为数据的搜集预备和清洗收拾预备两步。
为大数据剖析做数据搜集预备时，往往不能逃避下列问题：项目的数据预算有多少？装备的人员设备是否满意？项目预期数据搜集的完结期限？项目计划用什么办法搜集数据？哪些数据是能够经过本身尽力来获取，哪些数据需求经过购买取得？哪些数据获取中会存在时刻和经费上的不承认性？假如一些重要问题的答案是否定的或许迷糊的，就可能需求从头回到数据可行性证明环节。这一点，关于期望用大数据剖析做产品的小微企业、新创企业尤为重要。
新经济指数的数据搜集首要依托BBD的大数据搜集和收拾才干。为核算新经济指数，历经数月的预备，咱们一共搜集了5200余万条招聘信息、270万条新企业挂号信息、376万条招标/招标数据、2.8万条危险投资数据、5000余条三板上市数据、580万条专利挂号数据、30万条专利搬运数据，别的还包含用以核算城市人口流动信息的实时铁路出票量数据、机场航班流量数据。由此发生的数据总量算计超越370G。
尽管数据收拾包含不少惯例处理，可是高质量的数据收拾工作需求数据预备团队时刻对项目方针了然于胸。例如，咱们期望根据网上的招聘信息核算出全国新添加的招聘需求，但简略将一切招聘信息中的需求人数相加并不能满意咱们的要求。这是因为需求招聘企业常常会屡次发布相同一条信息，因而不去掉重复信息就会夸张人才需求。可是，有些企业隔段时刻发布的相同的招聘信息确实是新的招聘需求，假如去掉一切的重复信息又会轻视用工需求。这就要求在数据收拾阶段，关于去重的不同频率作出测验。在新经济指数的拟定中，咱们测验了按月去重（即假定下一个月发布的相同的招聘信息算作新招聘）和按年去重（即假定下一年发布相同的招聘信息才算作新招聘信息）这样不同的规范，来调查对新经济方针稳健性的影响。咱们发现因为运用比例方针，按月或许按年去重差异不大，因而终究采纳按月去重的办法来收拾招聘信息。
大数据剖析项目需求树立的模型能够分为两类。关于这两类模型，团队都需求在树立模型、证明模型的牢靠性方面下功夫。
大数据产品对应的项目可能有对应的专业范畴模型，例如信用危险办理需求用到的违约概率(PD) 模型，违约丢失率模型（LGD）模型；商场危险办理要用到的VaR，sVaR模型等。数据团队需求明晰为何挑选某个专业范畴的模型。
结构新经济指数时，咱们根据经济理论树立核算指数的模型。咱们选用科布道格拉斯出产方程的方式，那么新经济占总经济产出的比例即:
其间K， H，A，L别离代表物质本钱、人力本钱、技能水平和劳作力。 为各个要素投入的产出弹性，θ则代表各出产要素投入新经济的比例。这一模型为后边选用各比例核算新经济指数供给了模型结构。
这类模型包含剖析结构化数据的数据发掘算法模型；处理非结构化数据的语义引擎；可视化战略等。盛行观点中的大数据剖析首要会集在对第二类模型的评论上，因而本文从简。
结构新经济指数进程中，这类模型首要用于辨认新经济企业。将一切企业分为新经济企业或许非新经济企业的使命，首要要运用270万家新企业作为练习数据来树立“企业称号 -- 职业短语 -- 职业辨认”模型。接着对一切企业的称号进行分词，运用上面得到模型核算每个企业的职业概率。这儿选用的首要是多元logit回归模型。
树立模型时既需求强壮运算才干，也需求专家的片面判别。例如，新经济指数中，各要素投入新经济的比例能够运用大数据搜集得到，但产出弹性却因无法观测，需求必定的事前判别。例如，2014年我国第三工业的劳作者酬劳占添加值比重约为47.2%，考虑到新经济职业是“以高质量劳作力为首要要素投入”的职业，咱们将劳作者投入弹性定为40%。又如，承认哪个短语―职业辨认模型牢靠时，新经济指数要求辨认程序职业判别精确度到达95%左右。因为模型的树立和核算离不开专家的片面判别，为保证项目质量，模型团队陈述成果时应明晰哪些信息是由算法决议的、哪些是由片面判别完结的。
评价成果阶段是要评价上述进程得到的成果是否满意谨慎牢靠，并保证数据剖析成果能够有利于决议计划。评价成果包含定量评价和定性评价两部分。
定量评价是需求重视片面规范的牢靠性。数据发掘剖析办法在核算上尽管依托技能，但不少要害节点依托片面规范。例如，决议计划树在什么时分停、做聚类剖析时势前要定几类；练习样本和查验样本的巨细联系等。对触及片面规范的各项方针，定量评价需求做稳健性查验。例如，关于新经济指数而言，劳作、本钱和技能的产出弹性的设定首要根据专家判别，因而在结构进程中，咱们经过调整弹性值的办法来调查新经济指数的稳健性。
定性评价的要点是调查大数据剖析的成果是否合理、计划是否可行。例如，新经济指数是否比较精确地描写了我国新经济的比重的问题，便是对成果的定性评价要求。这需求政府、企业、学界各方在对新经济指数有必定了解之后才干承认。因而新经济指数选用的战略是先试运行一段时刻，查看各种参数是否合理、核算是否精确到位，再正式发布。
在评价其他选用大数据剖析的成果时，因为定性评价往往需求一段时刻之后才干完结，因而将大数据剖析成果用于实际时，需求采纳审慎进程。例如企业期望根据大数据定论对出产战略做出调整，能够考虑渐进式办法从传统出产形式逐步调整到大数据产品主张的形式，以削减模型失误带来的丢失。
我国将施行国家大数据战略，这关于大数据工业和对我国经济可继续添加，都是振奋人心的好消息。可是，因为大数据往往是一些经济活动的顺便产品，大数据剖析产品是否牢靠需求镇定的脑筋和充沛的证明。在大数据工业鼓起的时分，要避免过于迷信大数据和大数据相关技能，却忽视数据剖析、疏忽我国国情的倾向。本文以新经济指数为例，有如下首要查询。
榜首，大数据剖析不只是机器学习和大规模运算，需求触及问题辨认、数据可行性证明、数据预备、树立模型和评价成果五步。这个进程往往不是一步到位、需求在某些环节重复进行，才干终究取得相对安稳的剖析成果。
第二，大数据剖析并非适用于每个项目，只要经过了数据可行性证明的项目，才可考虑大数据剖析。
第三，高质量的大数据剖析，需求有满意的预算来包括获取大数据取得、装备剖析数据的人员和设备的相关费用。细小企业、创业企业在考虑大数据剖析时需从费用视点对项目可行性作更多证明。
第四，大数据剖析离不开小数据和专业判别。高质量的大数据剖析需求既懂技能、又对相应范畴的问题有深入认知的跨界团队的深度协作。
终究，关于大数据剖析的成果，还需求交由决议计划相关人以及各方专家评价，给予必定的时刻来承认大数据剖析有利于终究决议计划。
总结以上各点能够看到，在开展大数据工业时，不只需求重视搜集存储、根本架构、数据发掘算法、可视化等方面的技能， 也需求对谨慎牢靠的大数据剖析加大投入，促进大数据工业健康开展，终究完结助力工业转型晋级和社会办理立异的愿景。