數據世界,如同浩瀚星際,人類對數據世界進行不懈的探索,而探索的成果又推動人類不斷進化。我們探索數據的目的不僅僅是追求真理,更是讓整個世界更加自由,并最終實現人類的自由。
2017年12月8日,愛德威信息科技(上海)有限公司CEO蘇迭受邀參加由聯合利華CMI組織主辦的首屆U家CMI & exCMI - Innovation Seminar,與會嘉賓來自聯合利華、博士、雅詩蘭黛、億滋、GSK、達能、百事、卡夫、可口可樂、殼牌、固特異等行業知名企業。會上蘇迭發表了主題為《探索,讓我們不斷進化;數據,讓世界更加自由》的演講,講述了愛德威以追求人類自由為己任,對電商領域大數據進行探索的不同階段及歷程。
愛德威對電商大數據的探索開始于2009年。在楊帆啟航前,我們發現數據行業存在兩個問題:一是數據源的問題,獲取數據的一般途徑是外部購買或者交換合作,如果不愿意交換合作或購買,那么就無法獲得數據源;二是數據價格問題,線下數據價格貴的問題由來已久,市場上數據的價格可以用“天價“來形容,通常一個品類的數據動輒幾十萬,甚至上百萬/年。
針對這兩個行業問題,我們進行了探索和顛覆:一是收集公開的數據,通過網絡技術對電商網站的公開數據進行爬取和整理,形成自有的數據庫;二是低單價售賣數據。通過這兩種嘗試,我們推進了數據行業內數據源的自由和購買的自由,讓更多人可以有渠道有能力獲得數據,而不讓數據成為一種稀缺品。
在這一階段,我們以網店店鋪和品牌商為目標客戶,開發了自己的第一個電商大數據產品——情報通,并于2009年10月上線。初期數據覆蓋阿里系的淘寶和天貓平臺。情報通的數據產品特點可用兩個字概括:快、準。數據基本實時更新,準確率達95%。數據切分為六大模塊——行業、品牌、店鋪、SKU、營銷組合、鉆展,從上至下全方位展示實時的銷售數據,為3000多家付費客戶提供電商實操的監測與參考。
時間推移至2014年,情報通上線后,隨著國內外電商行業呈幾何級地飛速增長,電商平臺也如雨后春筍般出現,我們的數據僅僅覆蓋國內的阿里平臺是不夠的,應該擴大覆蓋范圍,我們發現仍舊有未解決的問題,一是缺乏公開銷量數據,除了阿里平臺以外,亞馬遜、雅虎、京東、蘇寧易購、國美在線、唯品會等其他電商平臺均未公開銷量數據;二是缺乏sample數,如果采用建模估算的方法,則沒有足夠的sample數做支撐。
當時,基于已積累5年的阿里數據以及嚴密的數學計算,我們用阿里的數據進行建模計算其他網站的銷量,包括日本樂天、亞馬遜、雅虎、京東等,經過一次又一次的失敗與嘗試,我們最終達到了樂天平臺90%的店鋪數據誤差范圍在10%以內的準確率,推進了數據估算的自由。
在此階段,我們針對日本客戶推出了第二款產品——Nint,即日本版的情報通,于2014年9月上線,數據覆蓋日本三大電商平臺,樂天、亞馬遜和雅虎,約占日本電商市場50%以上的份額。
當然,我們的全球化目標并不止步于此,我們計劃在2019年上線全球亞馬遜的數據,屆時我們在全球電商數據的覆蓋率將從現在的35%達到50%。2015年,我們又上線了新產品——ECdataway數據威,這是一款針對品牌商客戶的產品,覆蓋所有國內主流電商平臺,包括淘寶、天貓、京東、網易考拉、蘇寧易購、國美在線、唯品會、聚美優品、貝貝網等,占國內電商市場份額的90%以上,可對市場、品牌、店鋪、價格、SKU等多維度進行交叉分析。
這一階段我們的主要發展方向是全球、全網,產品特點也是全,不斷擴大數據源,盡量覆蓋更多的電商平臺,為客戶提供全面的電商視野。
只解決了數據源和數據估算的問題是不夠的,面對每天上億條實時更新的海量數據,我們又有了新的難題:一是數據的整理問題,數據量如此之大,不可能通過人工進行清洗和整理;二是數據的使用問題,和線下數據不同,線上數據多且雜,如何通過海量數據提煉出對現實有指導意義的洞察和觀點,如何利用數據對現實的市場分析和運營工作提供幫助,這是值得思考的問題。
首先,我們利用人工智能幫助我們解決數據的整理問題,即采用AI+數據清洗的模式,讓機器學習數據清洗的邏輯,并結合各種分類及文本算法,優化數據清洗中的人工與機器工作分配比重,極大地提高準確率及效率,推進數據整理的自由;為了解決第二個問題,我們開始用人工智能為客戶提供解決方案和定制化服務,幫助其解決實際工作中的市場策略制定,實現數據使用的自由。最近,我們研發了兩項解決方案:,一是價格監控,我們為客戶實時追蹤SKU的價格變化,監測所有折扣、滿減、優惠券、紅包、拍立減、買贈等活動動態,計算最終的打折價格,,同時我們也為客戶提供競爭對手的價格變化和折扣深度分析,作為其制定合理的有競爭力的價格策略的參考依據;二是研發中的智能顯微鏡,我們在AI的幫助下快速對數據進行平臺、價格段、屬性等多維度的切分,通過與行業水平和對標競爭對手的數據進行對比,迅速找到客戶表現好抑或不好的細分市場,上至淘寶、京東、天貓等平臺維度,下至奶粉段數、輪胎尺寸等詳細的產品屬性,均能迅速切分,精準定位。
以龐大的數據庫為基礎,在AI 的助力下,我們的數據產品逐漸形成了細的特點,用AI去使用細分維度的數據,來提供解決方案。
面對紛繁復雜的數據世界,愛德威作為先行軍中的一員,充分發揮了探索精神。如同引力奇點被認為是宇宙大爆炸的起始點一樣,探索精神也是我們踏上探索數據世界之旅的起點。在探索精神的引爆下,我們的數據精、全、快、細的特點如同中子、質子、電子等粒子形態,不斷膨脹,在經歷了由熱到冷的變化后,最終凝聚成了情報通、Nint、數據威、價格監控、智能顯微鏡等一個個產品和解決方案,共同構成了愛德威這片星系。
我們相信,通過我們不斷的努力,一次次的探索,最終將實現數據領域的自由,而數據的自由也終將讓整個世界更加自由。很高興能有機會讓更多的人聽到愛德威的公司愿景與發展歷程,我們也將不忘初心,繼續努力前行。