[ 億歐導(dǎo)讀 ]“檸檬車”通常用來形容有人買了一輛二手車后才發(fā)現(xiàn)其中有缺陷，讓人覺得像吃了檸檬后那種酸酸澀澀的難受的感覺。Carfax是一家美國中型電子商務(wù)與二手車大數(shù)據(jù)公司，其主要業(yè)務(wù)是通過互聯(lián)網(wǎng)消費(fèi)者提供二手車估值報(bào)告。

編者注：本文節(jié)選自《實(shí)戰(zhàn)大數(shù)據(jù)：DT時(shí)代智能組織工作方法》（中信出版集團(tuán)）一書。原文作者江曉東曾是Carfax創(chuàng)新核心項(xiàng)目的一員。本文主要以Carfax作為大數(shù)據(jù)業(yè)務(wù)應(yīng)用創(chuàng)新成功的案例，介紹一個(gè)兩人團(tuán)隊(duì)是如何從確認(rèn)和收集小數(shù)據(jù)開始，直到做出壟斷歐美二手車市場(chǎng)的大數(shù)據(jù)產(chǎn)品全過程。

消滅“檸檬車”

美國經(jīng)濟(jì)學(xué)家喬治·阿克爾洛夫1970年發(fā)表的一篇著名的學(xué)術(shù)論文《檸檬市場(chǎng)：質(zhì)量不確定性和市場(chǎng)機(jī)制》。阿克爾洛夫在這篇論文中，把二手車市場(chǎng)作為在買賣雙方掌握的信息（數(shù)據(jù)）不對(duì)稱條件下，導(dǎo)致二手車質(zhì)量不確定性的一個(gè)經(jīng)典經(jīng)濟(jì)學(xué)研究案例。“檸檬車”通常用來形容有人買了一輛二手車后才發(fā)現(xiàn)其中有缺陷，讓人覺得像吃了檸檬后那種酸酸澀澀的難受的感覺。為此，阿克爾洛夫與邁克爾·斯彭斯和約瑟夫·斯蒂格利茨一起分享了2001年的諾貝爾經(jīng)濟(jì)學(xué)獎(jiǎng)。

Carfax是一家美國中型電子商務(wù)與二手車大數(shù)據(jù)公司，其主要業(yè)務(wù)是通過互聯(lián)網(wǎng)向美國、加拿大和歐洲個(gè)人消費(fèi)者和企業(yè)提供二手車市場(chǎng)上轎車和輕型卡車車史報(bào)告。說得通俗點(diǎn)，也就是讓買賣雙方知道他們交易的二手車是否為“檸檬車”并以此作為交易決策依據(jù)。

計(jì)算機(jī)專家巴尼特和會(huì)計(jì)師羅伯特·克拉克于1984年在美國密蘇里州的哥倫比亞市成立Carfax。該公司成立的初衷，即巴尼特意識(shí)到有些車主在出售汽車時(shí)惡意回?fù)芷嚴(yán)锍瘫?。巴尼特和羅伯特·克拉克看到了這個(gè)問題的嚴(yán)重性及其可能產(chǎn)生的巨大商機(jī)，決心用計(jì)算機(jī)技術(shù)來揭穿這種欺詐并以此為契機(jī)創(chuàng)立了自己的公司。

到2013年底，這家企業(yè)已擁有800多名員工，各種大數(shù)據(jù)產(chǎn)品和服務(wù)年產(chǎn)值估計(jì)達(dá)8億美元。它擁有的車史數(shù)據(jù)達(dá)110億條，而且每天都在以百萬條的速度增加、更新。這些數(shù)據(jù)涵蓋全美國、加拿大和歐洲部分國家公路上行駛的轎車和輕型卡車，包括這些車輛的車主歷史統(tǒng)計(jì)、車禍記錄、是否被水淹過、是否被火燒過、是否別人偷來的車、里程表是否被人往回?fù)苓^、是否屬于召回檢查或問題車以及日常保養(yǎng)的細(xì)節(jié)等等。

如今在美國或加拿大，你買到新車后第三個(gè)月，你的汽車注冊(cè)信息就會(huì)被輸入這家公司的大數(shù)據(jù)儲(chǔ)存工場(chǎng)里。然后你的汽車維修、保養(yǎng)、警察報(bào)告的車禍等相關(guān)信息就會(huì)源源不斷地被這家公司收集、歸類，從而形成該車的車史檔案。在北美買賣二手車，無論是個(gè)人還是經(jīng)銷商，Carfax的車史報(bào)告是必不可少的重要參考。

確認(rèn)數(shù)據(jù)

無論企業(yè)或個(gè)人掌握的技術(shù)多先進(jìn)、多強(qiáng)大，做任何項(xiàng)目，弄清市場(chǎng)需求和業(yè)務(wù)用例永遠(yuǎn)是第一步。企業(yè)要想知道汽車的里程表是否準(zhǔn)確，邏輯上可以這樣實(shí)現(xiàn)：

在知道了該車出廠時(shí)間、歷任車主、每任車主擁有此車時(shí)的里程表具體讀數(shù)、該車平常的用途（出租、商用或自駕等用以估計(jì)其年平均里程數(shù)）等條件后，通過數(shù)據(jù)整合，進(jìn)而估算出該車的大致里程數(shù)。而企業(yè)要獲得這些數(shù)據(jù)就必須和多個(gè)機(jī)構(gòu)打交道，包括汽車制造商（擁有汽車原始身份信息即車輛識(shí)別號(hào)碼）、經(jīng)銷商（汽車身份信息和汽車購買以及銷售時(shí)間信息等）及車管所（管理車主注冊(cè)數(shù)據(jù)包括汽車身份信息、注冊(cè)時(shí)間、車主信息、車主易手信息）等。例如，一個(gè)私家車主，每天正常上下班就在10平方公里范圍內(nèi)活動(dòng)，一年下來，年平均里程應(yīng)該就在1萬公里左右。一輛車如果被開了5年，其間沒有換車主，但里程表顯示只有2萬公里，那么這輛車的里程表很可能就被回?fù)苓^。

以下這些簡單的數(shù)據(jù)可以用來檢查一輛二手車的車主歷史記錄：

 汽車身份證號(hào)（VIN）

 顏色

 種類

 系列

 車身類型

 廠商

 數(shù)據(jù)類型

 使用對(duì)象

 使用形式

 汽車購進(jìn)日期

 汽車賣出日期

 里程表讀數(shù)

 數(shù)據(jù)記錄日期

帶著這個(gè)理念和所需要的數(shù)據(jù)要求，Carfax兩位創(chuàng)始人開始上路了。

收集數(shù)據(jù)

收集和獲取大數(shù)據(jù)一般3個(gè)途徑，即購買、整合利用現(xiàn)有大數(shù)據(jù)，或利用大數(shù)據(jù)工具在（移動(dòng)）互聯(lián)網(wǎng)和其他數(shù)據(jù)源里搜索、截獲所需數(shù)據(jù)，以及各種方法的混合使用。

Carfax的兩位創(chuàng)始人帶著自己的創(chuàng)意，信心十足地敲響了擁有汽車數(shù)據(jù)的政府服務(wù)機(jī)構(gòu)—密蘇里州哥倫比亞市的車管所的大門?？上О湍崽睾土_伯特的首戰(zhàn)失敗，按這個(gè)州的法律，除非有法庭介入，任何人都不能輕易獲得車主的隱私信息。

巴尼特和羅伯特·克拉克沒有放棄。他們打聽到密蘇里州當(dāng)?shù)氐囊恍┢嚱?jīng)銷商協(xié)會(huì)（屬非營利組織）有部分這方面的數(shù)據(jù)，并對(duì)他們講的故事感興趣。兩人隨即和這些協(xié)會(huì)取得聯(lián)系。由于汽車經(jīng)銷商協(xié)會(huì)是非營利機(jī)構(gòu)，他們對(duì)這種數(shù)據(jù)要價(jià)不高。就這樣，通過改變數(shù)據(jù)采購渠道及與這些汽車經(jīng)銷商協(xié)會(huì)的創(chuàng)造性合作，即以購買源數(shù)據(jù)和交換數(shù)據(jù)的方式，巴尼特建立了簡單的數(shù)據(jù)庫并創(chuàng)造出美國歷史上第一個(gè)汽車史檔案報(bào)告。Carfax與這些協(xié)會(huì)通過數(shù)據(jù)交換的方式，在免費(fèi)分享二手車報(bào)告的同時(shí)，又通過這些協(xié)會(huì)向其會(huì)員宣傳。很快，當(dāng)?shù)叵M(fèi)者在購買二手車時(shí)對(duì)這個(gè)報(bào)告的需求就越來越多。

由于Carfax業(yè)務(wù)量持續(xù)增加，聲譽(yù)和影響逐漸傳出州外，不斷有外州消費(fèi)者和公司聯(lián)系希望他們也提供相關(guān)報(bào)告。Carfax開始考慮向全美國推廣這項(xiàng)服務(wù)。Carfax這時(shí)采取了幾個(gè)重大有效的策略，包括雇用職業(yè)律師向各州法院要求各州政府在保護(hù)車主個(gè)人隱私信息的前提下，允許其開放二手車數(shù)據(jù)；雇用職業(yè)游說經(jīng)理人到法律嚴(yán)格的州議會(huì)，說服其通過相關(guān)法律使各地政府車管所、公路交通安全管理局、警察局和消防局開放其二手車數(shù)據(jù)。

在市場(chǎng)推銷方面，公司成功通過“口碑推薦”的營銷方式，將全美各地汽車經(jīng)銷商協(xié)會(huì)逐一攻破。他們以收購和數(shù)據(jù)交換的方式，拿到了這些汽車經(jīng)銷商協(xié)會(huì)掌握的所有二手車數(shù)據(jù)。美國加州保護(hù)消費(fèi)者隱私的法律比較嚴(yán)，他們尋求公開汽車信息數(shù)據(jù)遲遲未果，最后只好訴諸法庭，控告加州政府阻撓數(shù)據(jù)公開，經(jīng)過整整4年時(shí)間，最終于2004年達(dá)成一個(gè)雙方都滿意的解決方案。時(shí)任州長的施瓦辛格最后在法律文件上簽字，他們獲得夢(mèng)寐以求的、除去用戶隱私的汽車大數(shù)據(jù)，業(yè)務(wù)也因此在加州蓬勃展開。

存儲(chǔ)數(shù)據(jù)

從接觸汽車數(shù)據(jù)開始，Carfax收集到的數(shù)據(jù)就有規(guī)則和非規(guī)則兩種:

規(guī)則數(shù)據(jù)：一般從可提供規(guī)范數(shù)據(jù)的汽車經(jīng)銷商、保險(xiǎn)公司、車行、車管所、警察局等處購得。這些機(jī)構(gòu)有自己的數(shù)據(jù)人才和技術(shù)，可以按合同把其擁有的數(shù)據(jù)做成非常規(guī)范的、Carfax認(rèn)可的格式，以便Carfax能直接導(dǎo)入自己的數(shù)據(jù)庫中儲(chǔ)存。

非規(guī)則數(shù)據(jù)：例如大致可以看清車牌號(hào)的汽車圖片（被報(bào)失竊的汽車，被水淹過的汽車等）、保存在磁卡上的汽車記錄、一大堆從事故車上拆下來的車牌照片、手寫的各種汽車保修單復(fù)印件等，Carfax通常是從各種專業(yè)的連鎖汽修店、汽車事故數(shù)據(jù)收集網(wǎng)站等地方廉價(jià)購得這些數(shù)據(jù)。

這些非常規(guī)的數(shù)據(jù)才是Carfax競(jìng)爭獲勝的秘密武器。因?yàn)橐?guī)范的數(shù)據(jù)誰都可以輕易獲取。而這些不規(guī)范的數(shù)據(jù)中往往藏有特殊的價(jià)值。企業(yè)只有花大量功夫才能把藏在這些數(shù)據(jù)里的、有特殊價(jià)值的信息挖掘出來。舉個(gè)簡單例子，一輛車被偷了，警察不知道，或其被盜記錄還沒有正式記錄在案，而失主把失竊的愛車照片發(fā)布在互聯(lián)網(wǎng)上特定的汽車論壇里了。Carfax通過掃描技術(shù)，定期到網(wǎng)上尋找這類信息。他們找到這類圖片后，把其中的車牌號(hào)跟相關(guān)車管所的車牌號(hào)比對(duì)，從而獲得這款車的身份號(hào)（VIN），再到數(shù)據(jù)庫中自動(dòng)比對(duì)其他信息。等到車輛所需的信息完全確認(rèn)后，這款車就上了Carfax被盜車黑名單。買車的人或車行一查Carfax車史報(bào)告就知道這是贓物，不能買。他們每年還通過這種服務(wù)幫警察抓盜車賊。

Carfax通常采用以下方法來儲(chǔ)藏這兩種類數(shù)據(jù)：

 對(duì)規(guī)則數(shù)據(jù)，采用VMS這種傳統(tǒng)的大型機(jī)服務(wù)器來儲(chǔ)存各種各樣的原始數(shù)據(jù)和報(bào)表。優(yōu)點(diǎn)是穩(wěn)定性和可靠性強(qiáng)，不容易被黑客攻擊等。

 像其他企業(yè)一樣使用關(guān)系數(shù)據(jù)庫來存儲(chǔ)規(guī)則數(shù)據(jù)。設(shè)計(jì)開發(fā)自己的Oracle數(shù)據(jù)庫和數(shù)據(jù)工場(chǎng)及各種數(shù)據(jù)集市等。

 對(duì)不規(guī)則的數(shù)據(jù)則用各種大型磁盤、特殊軟件來保存。

隨著時(shí)間的推移，這些大量的非規(guī)則數(shù)據(jù)積累起來，其價(jià)值越來越重要。Carfax擁有的數(shù)據(jù)總量也從2002年的兩億條，突飛猛進(jìn)到2012年的100億條。傳統(tǒng)的關(guān)系數(shù)據(jù)庫和數(shù)據(jù)工場(chǎng)都已經(jīng)無法有效駕馭這些真正的大數(shù)據(jù)了。

經(jīng)過數(shù)月的評(píng)估和爭論后，到2013年春天，企業(yè)高層終于決定放棄原來的老數(shù)據(jù)庫平臺(tái)和VMS大型機(jī)，采用時(shí)下流行的、開放源代碼基礎(chǔ)上的文本數(shù)據(jù)庫。所有數(shù)據(jù)逐步轉(zhuǎn)入MonoDB的NoSQL數(shù)據(jù)庫，同時(shí)更新50多個(gè)服務(wù)器、10幾個(gè)超級(jí)硬盤和6個(gè)節(jié)點(diǎn)。

如今，Carfax從7.6萬個(gè)數(shù)據(jù)源獲得的海量二手車數(shù)據(jù)，無論格式如何，都可以先直接丟進(jìn)這個(gè)新的、超大型數(shù)據(jù)庫系統(tǒng)里。他們接著再對(duì)源數(shù)據(jù)進(jìn)行清理、整合、重構(gòu)、重新定義、分門別類、建立新老數(shù)據(jù)間關(guān)聯(lián)關(guān)系，然后把所有大數(shù)據(jù)儲(chǔ)存在五個(gè)出租場(chǎng)地、跨區(qū)域的超大型數(shù)據(jù)（存儲(chǔ)）中心，以便進(jìn)行下一步的數(shù)據(jù)分析、管理和產(chǎn)品設(shè)計(jì)。這五個(gè)大型數(shù)據(jù)中心里，其中兩個(gè)做內(nèi)部數(shù)據(jù)支持，其他三個(gè)中心則對(duì)外支持企業(yè)和個(gè)人用戶市場(chǎng)。他們同時(shí)還額外租用了一個(gè)第三方主機(jī)托管做數(shù)據(jù)備份。這種存儲(chǔ)結(jié)構(gòu)除了大幅度提高數(shù)據(jù)存儲(chǔ)的方便性和靈活性外，這三個(gè)中心每個(gè)承擔(dān)約33%的數(shù)據(jù)承載量，可以對(duì)用戶的搜尋需求提供迅速及時(shí)的反應(yīng)。

管理數(shù)據(jù)

儲(chǔ)存大數(shù)據(jù)后，如何有效管理大數(shù)據(jù)是另外一個(gè)挑戰(zhàn)。數(shù)據(jù)管理職能往往包括對(duì)所獲大數(shù)據(jù)的審計(jì)、剖析、清洗、分類、更新、模式化、風(fēng)險(xiǎn)管理和用戶權(quán)限管理等各項(xiàng)內(nèi)容。

由于二手車報(bào)告上的數(shù)據(jù)來自不同的數(shù)據(jù)源，企業(yè)對(duì)其進(jìn)行數(shù)據(jù)集成和數(shù)據(jù)變換是數(shù)據(jù)日常管理中至關(guān)重要的一環(huán)。在把各方收集到的源數(shù)據(jù)通過分辨、確認(rèn)、清洗、集成、變換和存儲(chǔ)進(jìn)數(shù)據(jù)庫以前，商務(wù)分析和管理人士需要對(duì)其進(jìn)行“審計(jì)”，即確認(rèn)供應(yīng)商提供的數(shù)據(jù)是否與其合同承諾的相符，如源數(shù)據(jù)數(shù)目是否吻合、格式是否符合期望的標(biāo)準(zhǔn)、數(shù)據(jù)可用、不可用的比例如何，源數(shù)據(jù)與企業(yè)的商業(yè)用途是否高度相關(guān)，源數(shù)據(jù)的質(zhì)量如何，是否有無法辨認(rèn)的數(shù)字、文字、不完整的汽車事故和保修記錄描述等。

其次是“數(shù)據(jù)剖析分析”，即對(duì)源數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析，從中發(fā)現(xiàn)諸如有多少數(shù)據(jù)可以用在企業(yè)正在進(jìn)行和未來規(guī)劃的產(chǎn)品中等。

“數(shù)據(jù)清洗”工作往往由數(shù)據(jù)分析師來完成。他們要檢查所有數(shù)據(jù)，看其是否符合基本格式要求，是否含有那些最重要的數(shù)據(jù)單位，如車輛識(shí)別代號(hào)（VIN），跟此汽車相關(guān)的重要事件（如重大保修，召回等）、任何事故的日期及其描述記錄等。繼而通過數(shù)據(jù)庫程序把符合要求的、可用的數(shù)據(jù)提取出來，把可修正的數(shù)據(jù)修正好，剩余無法利用的數(shù)據(jù)可能會(huì)退回?cái)?shù)據(jù)供應(yīng)商。

數(shù)據(jù)清洗完成后，數(shù)據(jù)分析師就通過軟件程序把數(shù)據(jù)輸入數(shù)據(jù)庫，并按“公用來源–從政府那里獲得的數(shù)據(jù)”和“私有來源–從非政府渠道獲得的數(shù)據(jù)”區(qū)分開來?！皵?shù)據(jù)分類”的其他方面是把數(shù)據(jù)按業(yè)務(wù)歸屬、保密屬性、可公開程度、用戶支持和訪問權(quán)限等分門別類，從而在需要之時(shí)便于搜索查詢和跟蹤其使用情況。隨著企業(yè)通過開發(fā)大數(shù)據(jù)進(jìn)入不同業(yè)務(wù)領(lǐng)域的需求日益增加，對(duì)海量數(shù)據(jù)進(jìn)行快速分類和關(guān)聯(lián)的任務(wù)就越來越重要。分類原則和指導(dǎo)方向也會(huì)隨著業(yè)務(wù)的變化而變化，并由此影響未來數(shù)據(jù)庫的設(shè)計(jì)和更新。

在管理海量數(shù)據(jù)時(shí)，企業(yè)不同業(yè)務(wù)部門會(huì)使用和接觸相同的數(shù)據(jù)，這些數(shù)據(jù)可能會(huì)經(jīng)過計(jì)算衍生出新的數(shù)據(jù)，由于每個(gè)員工來自不同的業(yè)務(wù)背景，在用自己熟悉的業(yè)務(wù)術(shù)語來詮釋這些數(shù)據(jù)并進(jìn)行內(nèi)部溝通和交流時(shí)，為了提高效率和避免溝通中產(chǎn)生歧義，還需要制定企業(yè)內(nèi)部統(tǒng)一的元數(shù)據(jù)規(guī)則和數(shù)據(jù)字典。有了這些數(shù)據(jù)管理工具，每個(gè)員工都可以很清晰地知道到哪里可以找到自己想要的數(shù)據(jù)、它們的記錄如何演變、它們的專業(yè)定義如何、它們背后的計(jì)算公式是什么、衍生出的邏輯關(guān)聯(lián)如何、誰有權(quán)可以更改這些數(shù)據(jù)等。

數(shù)據(jù)模式化是數(shù)據(jù)庫管理工作中非常重要的步驟。在掌握了二手車的大量相關(guān)數(shù)據(jù)后，我們會(huì)對(duì)其進(jìn)行分析、抽象，從中找出圍繞著包括汽車身份代號(hào)（VIN）、相關(guān)核心業(yè)務(wù)（如二手車經(jīng)銷商、保修公司、保險(xiǎn)公司、銀行等）在內(nèi)的各種信息間的關(guān)聯(lián)關(guān)系，進(jìn)而確定其數(shù)據(jù)庫、數(shù)據(jù)工場(chǎng)和數(shù)據(jù)集合的架構(gòu)，通過邏輯和物理建模手段最終創(chuàng)建和實(shí)現(xiàn)對(duì)應(yīng)的中央控制或分布式數(shù)據(jù)儲(chǔ)存方式。數(shù)據(jù)管理的范疇往往包括數(shù)據(jù)更新、模型再設(shè)計(jì)、結(jié)構(gòu)調(diào)整、最優(yōu)化、性能調(diào)試、報(bào)表生成和風(fēng)險(xiǎn)管理等職能。每天輸入數(shù)據(jù)庫的這些數(shù)據(jù)在經(jīng)過了一系列的格式化、歸類處理后，就變成了Carfax龐大資產(chǎn)的重要部分。

分析計(jì)算數(shù)據(jù)

Carfax在面對(duì)自己擁有和管理的海量二手車數(shù)據(jù)時(shí)，如何分析并找出其中的特殊價(jià)值？

筆者當(dāng)年所在的產(chǎn)品研發(fā)團(tuán)隊(duì)主要日常任務(wù)就是根據(jù)客戶和企業(yè)的戰(zhàn)略規(guī)劃需求，通過數(shù)據(jù)分析和計(jì)算方法，去驗(yàn)證來自管理層、市場(chǎng)部和推銷部門的一個(gè)個(gè)假設(shè)，發(fā)現(xiàn)藏在這些數(shù)據(jù)背后的模式、數(shù)據(jù)鏈關(guān)系圖、未知的數(shù)據(jù)關(guān)聯(lián)性等。

我們起初所有的分析都圍繞一部車的歷史細(xì)節(jié)，屬于“向后看”式分析。后來，慢慢開始通過數(shù)據(jù)的歷史沉淀，在找到相關(guān)二手車可靠性和安全性數(shù)據(jù)后，結(jié)合政府的汽車碰撞試驗(yàn)數(shù)據(jù)，形成了對(duì)某些車型及其系列的“安全可靠性”分析，開始朝“向前看”的預(yù)測(cè)式方向靠近，從而使買主在購買二手車時(shí)，可以在參考某類車的歷史和其他綜合指標(biāo)后，對(duì)其未來幾年的使用做最靠譜的判斷，從而做出最明智的購車選擇。

Carfax的數(shù)據(jù)分析師和產(chǎn)品團(tuán)隊(duì)成員往往混雜在一起，他們根據(jù)具體業(yè)務(wù)需求與市場(chǎng)、銷售、運(yùn)營部門緊密合作，這些都使得以業(yè)務(wù)變化為導(dǎo)向的數(shù)據(jù)分析更接近市場(chǎng)需求。對(duì)于同一部車不同的車史產(chǎn)品供應(yīng)商而言，誰擁有的數(shù)據(jù)越多越全，數(shù)據(jù)分析結(jié)果越詳細(xì)，誰就擁有絕對(duì)的競(jìng)爭優(yōu)勢(shì)。在大數(shù)據(jù)產(chǎn)品的競(jìng)爭市場(chǎng)里，價(jià)格戰(zhàn)的策略派不上太大用場(chǎng)。用戶不會(huì)為了省錢，冒險(xiǎn)去買數(shù)據(jù)不全的產(chǎn)品。

筆者2002年進(jìn)入Carfax數(shù)據(jù)研發(fā)團(tuán)隊(duì)時(shí)，其核心產(chǎn)品“車史報(bào)告”上還沒有汽車保修記錄這項(xiàng)內(nèi)容。雖然企業(yè)高層早就想把這些內(nèi)容加進(jìn)去，但由于大部分保修記錄屬于半規(guī)則性數(shù)據(jù)，市場(chǎng)上沒有一家企業(yè)能順利處理這類數(shù)據(jù)（也就是今天意義上的大數(shù)據(jù)）。當(dāng)時(shí)公司只是知道這種數(shù)據(jù)非常重要，花了大價(jià)錢購買了上億條這類數(shù)據(jù)存起來，閑置但又占儲(chǔ)存空間。

當(dāng)時(shí)Carfax買來的這些半規(guī)則數(shù)據(jù)有幾千萬條，要求三個(gè)月內(nèi)完成從數(shù)據(jù)分析到提取有價(jià)值數(shù)據(jù)，到完成初步分析報(bào)告的全過程。筆者跟研發(fā)團(tuán)隊(duì)其他成員經(jīng)過詳細(xì)討論和辯論，決定先去掉與此項(xiàng)目業(yè)務(wù)要求不相關(guān)的數(shù)據(jù)。我用數(shù)據(jù)庫編程和統(tǒng)計(jì)軟件把各種跟汽車識(shí)別號(hào)、汽車保修記錄與日期相關(guān)的關(guān)鍵名詞/組及其描述、相關(guān)的動(dòng)詞等提取出來，如“潤滑”“機(jī)油”“泵”“發(fā)動(dòng)機(jī)”“變速器”“點(diǎn)火”“空氣囊”“安全制動(dòng)”“制動(dòng)器”“轉(zhuǎn)向”“活塞連桿”“燃油”“轉(zhuǎn)換”“裝”“卸”“拆”等。然后把它們相關(guān)的整句提取出來。這個(gè)過程結(jié)束后，就只剩一千多萬條與汽車保修直接相關(guān)的有用數(shù)據(jù)了。

數(shù)據(jù)產(chǎn)品研發(fā)

雖然大數(shù)據(jù)工具在日新月異地變化，但是駕馭數(shù)據(jù)分析和算法邏輯的能力是形成這類產(chǎn)品的關(guān)鍵。Carfax的幾大核心產(chǎn)品中，“熱賣二手車”是市場(chǎng)部與數(shù)據(jù)分析團(tuán)隊(duì)合作的一個(gè)經(jīng)典。傳統(tǒng)來說，汽車經(jīng)銷商只是付年費(fèi)給Carfax以便使用其車史報(bào)告。為了留住客戶，Carfax通過對(duì)一些企業(yè)客戶歷年的銷售業(yè)績、車型及其車史報(bào)告關(guān)聯(lián)分析，發(fā)現(xiàn)很多買車人對(duì)每月的促銷并不總是很在意，除非價(jià)錢與別的商家相差太大。但當(dāng)經(jīng)銷商同時(shí)提供促銷車的免費(fèi)車史報(bào)告后，買車人的購車意愿就大大增強(qiáng)了。Carfax于是嘗試性地把車史特別報(bào)告植入其線上促銷廣告中，結(jié)果該經(jīng)銷商當(dāng)月的銷售量大大增加。

就這樣，Carfax為大批汽車經(jīng)銷商設(shè)計(jì)和量身定制了“熱賣二手車”促銷輔助產(chǎn)品。這款產(chǎn)品與汽車經(jīng)銷商月銷售二手車?yán)壌黉N，在幫助其快速售出當(dāng)月促銷產(chǎn)品的同時(shí)，鞏固了客戶忠誠度，提高了客戶滿意度，迫使競(jìng)爭對(duì)手跟進(jìn)，同時(shí)為Carfax開辟新的營利渠道。

處理海量半規(guī)則、非規(guī)則數(shù)據(jù)在2003年還不像今天這樣有眾多方便的工具可供選擇，Carfax之所以能比所有對(duì)手提前兩年做出產(chǎn)品來，全靠杰出的數(shù)據(jù)分析和算法邏輯能力作為后盾。

此后，他們還與企業(yè)客戶一起開發(fā)了大數(shù)據(jù)協(xié)同解決方案，研發(fā)了一系列成功的創(chuàng)新產(chǎn)品。其中與銀行和保險(xiǎn)業(yè)合作的大數(shù)據(jù)產(chǎn)品特別值得一提。大多數(shù)美國人買車都要從銀行貸款、買車險(xiǎn)。對(duì)于二手車來說，貸款和保險(xiǎn)數(shù)額取決于個(gè)人征信（大數(shù)據(jù)當(dāng)下在中國的另類火爆應(yīng)用，美國已非常成熟）和該車的歷史記錄。而Carfax作為行業(yè)領(lǐng)軍企業(yè)，其20多年的大數(shù)據(jù)產(chǎn)品創(chuàng)新成績是當(dāng)然的合作選擇。由于他們擁有全北美和歐洲發(fā)達(dá)國家的大部分二手車記錄，其創(chuàng)新做法也非常直截了當(dāng)。Carfax先為合作銀行和保險(xiǎn)公司等客戶設(shè)置專屬賬號(hào)，再根據(jù)銀行和保險(xiǎn)公司提供的二手車樣本數(shù)據(jù)，很快調(diào)出這些車的詳細(xì)歷史數(shù)據(jù)。

創(chuàng)新團(tuán)隊(duì)依據(jù)這些客戶的眾多業(yè)務(wù)原則，與客戶一起決定數(shù)據(jù)的篩選，對(duì)數(shù)據(jù)分析和計(jì)算制定詳細(xì)的規(guī)則，把300多條規(guī)則（計(jì)算公式）植入客戶對(duì)應(yīng)的不同業(yè)務(wù)里（如商業(yè)銀行、信用社、保險(xiǎn)、財(cái)產(chǎn)擔(dān)保和專業(yè)汽車貸款等），進(jìn)行相關(guān)數(shù)據(jù)演算。他們最終為不同行業(yè)、不同企業(yè)定制了不同的車史報(bào)告產(chǎn)品，為客戶在批準(zhǔn)合理的汽車貸款、保險(xiǎn)和擔(dān)保額方面提供精準(zhǔn)的數(shù)據(jù)支持。

Carfax的創(chuàng)新案例對(duì)于中國的大數(shù)據(jù)創(chuàng)新有很多特別的啟發(fā)意義。根據(jù)Carfax的調(diào)查，當(dāng)一個(gè)國家的二手車數(shù)量達(dá)到千萬輛后，車史報(bào)告就開始出現(xiàn)市場(chǎng)需求了。進(jìn)入2015年，隨著政府和社會(huì)對(duì)大數(shù)據(jù)技術(shù)及其運(yùn)用的廣泛重視，無論今后國內(nèi)是否能出現(xiàn)類似Carfax的產(chǎn)品，最關(guān)鍵的是——一個(gè)開放的大數(shù)據(jù)環(huán)境，對(duì)企業(yè)、政府和個(gè)人做創(chuàng)新都至關(guān)重要。

本文選自《實(shí)戰(zhàn)大數(shù)據(jù)：DT時(shí)代智能組織工作方法》（中信出版集團(tuán)）