3月23日上午10點,涂鴉智能技術總監(jiān)--柯都敏帶著“5個月完成涂鴉智能第一代技術架構,平穩(wěn)支撐涂鴉智能一年從零到幾十億數(shù)據(jù)發(fā)展。”的業(yè)界佳話參加了第四場發(fā)布:
本次分享主要為眾多開發(fā)者及技術愛好者、從業(yè)者介紹涂鴉智能云上架構設計和借助阿里云實現(xiàn)輕運維高可用性監(jiān)控的實戰(zhàn)經(jīng)驗,同時也介紹了網(wǎng)絡安全、權限控制等特定場景下利用阿里云結合涂鴉自身優(yōu)勢效率的解決特定問題。
AM 9:36:
直播前半小時,柯總依舊在于阿里云技術負責人做最后的技術分享討論及細節(jié)確認...
AM 10:00:
開始了...
涂鴉智能技術總監(jiān)--柯都敏
AM 10:43:
柯總在線上與眾多技術愛好者,開發(fā)者及同業(yè)伙伴精彩互動討論中。
涂鴉智能云第二代
隨著業(yè)務量的增加,數(shù)據(jù)庫壓力逐漸增大。涂鴉智能云第二代架構中,進行了拆分分層,相對于第一代架構,網(wǎng)關層幾乎不存在改動,實現(xiàn)風險可控;
中間層進行模塊化拆分,服務化治理方面采用阿里的Dubbo,同時也進行了一些對應的改進,使其更加適應用于網(wǎng)關層,通過配置中心動態(tài)配置生效。
同時使用Dubbo monitor對服務進行監(jiān)控,同時自行開發(fā)了服務化治理的調(diào)用依賴等。
目前,涂鴉智能內(nèi)部服務已經(jīng)有十幾種之多。數(shù)據(jù)庫方面,通過涂鴉科技自行開發(fā)數(shù)據(jù)庫中間件,實現(xiàn)路由、分庫分表、主從備份等操作。通過對架構的優(yōu)化,第二代架構對業(yè)務有了更好的支撐:
數(shù)據(jù)方面,目前可以處理日峰值30T數(shù)據(jù)上傳;可以運行幾十億用戶核心數(shù)據(jù);支持實時日志搜索和分析報警以及支持離線和實時數(shù)據(jù)處理。
模塊化方面,對業(yè)務服務模塊化拆分,做到可獨立發(fā)布部署;同時服務治理工具可分析服務調(diào)用情況按需擴容;通過性能和可用性監(jiān)控,及時發(fā)現(xiàn)技術瓶頸,同時支持服務熱發(fā)布。
網(wǎng)關方面,通過網(wǎng)關隔離內(nèi)外數(shù)據(jù);同時采用網(wǎng)關服務組裝業(yè)務場景,使得模塊顆粒更細化;除此之外,網(wǎng)關提供了多種安全機制支持多業(yè)務場景;網(wǎng)關可以進行平行擴展,并且沒有性能瓶頸;網(wǎng)關作為統(tǒng)一的數(shù)據(jù)出入口,可以方便進行日志分析跟蹤。
中間件方面,通過自主開發(fā)數(shù)據(jù)組件支持分庫分表、主從讀寫等操作;同時對Mq等中間服務封裝,便于架構選型;此外架構中盡量多的使用阿里云來減少維護成本。同時通過配置中心,滿足了網(wǎng)關接口的實時更新的需求。
涂鴉智能云使用經(jīng)驗技巧
涂鴉智能基于阿里云的深度定制優(yōu)化設計,在RAM權限,不同的客戶端使用不同的Key,隱藏超級Key,采用RAM自定義權限細化到每個用戶,通過對業(yè)務拆分減少了安全風險。
在云監(jiān)控技巧,通過對ECS、RDS、OCS等常規(guī)監(jiān)控,如何出現(xiàn)報警時,可以做到及時的修改。通過自定義監(jiān)控服務的存活情況,由于自定義監(jiān)控的信息量有限,后期又開發(fā)了自主監(jiān)控,監(jiān)控信息內(nèi)加上日志分析出來的鏈接地址,如果有報警情況出現(xiàn)時,可用過該鏈接地址準確找到問題所在。通過SLB進行內(nèi)部服務管理,首先SLB內(nèi)網(wǎng)免費使用,十分靈活。前端Nodejs服務器調(diào)用后端API時,通過SLB搭建內(nèi)網(wǎng),避免內(nèi)網(wǎng)服務器更換、下線時帶來的不可用性。此外,還通過SLB管理ZooKeeper集群,無需對代碼進行變更,避免了風險。OSS方面,通過OSS的圖片服務降低了成本,還可以通過OSS管理內(nèi)部的運維小工具,通過OSS的Python的Client自主化運維一些服務器。
插播 Q&A:
(阿里云)問:作為技術人員,可以分享下這幾年的創(chuàng)業(yè)經(jīng)驗嗎?
(柯總)答:創(chuàng)業(yè)這一段時間感觸頗大,在公司時更專注于做自己的事情,對其他知識了解不多,比較安分。創(chuàng)業(yè)時,不僅要著重提高自己的技術,同時還需要關注團隊的發(fā)展,將整個鏈路連接起來,成長很大。
?。ò⒗镌疲﹩枺阂粋€完美的架構應該經(jīng)歷哪些發(fā)展過程的?
?。驴偅┐穑簜€人認為沒有最完美的架構,最適合業(yè)務的架構就是最好的,
目前涂鴉智能基于自身云架構技術優(yōu)勢的設計、工具開發(fā)、運維經(jīng)驗無論安全性還是監(jiān)控效率都是業(yè)界領先且非常適合我們的客戶的...
“涂鴉云”基于ECS安全組的權限控制
涂鴉云基于阿里云ECS安全組的權限控制。在ECS安全組沒有上市前,采用的是在每臺機器上部署防火墻方式,在不同的服務器上部署的防火墻規(guī)則也不同,當需要修改防火墻時,需要上機處理,十分繁瑣,
通過ECS安全組,將相應的防火墻規(guī)則進行梳理,比如可以將所有的日志分析服務器添加到日志分析服務安全組內(nèi),十分靈活。另外安全組內(nèi)可進行內(nèi)網(wǎng)通信,阿里云自帶的安全組和自定義的安全組之間也進行了打通。
涂鴉智能基于ECS API自行開發(fā)了一套工具:這套工具可以獲取機器列表和信息(RAM權限),然后通過主機Tag管理給每臺機器打上Tag,不同的開發(fā)人員只能接觸與之對應的機器。通過Tag標記,可以使得主機按需管理,批量運維,同時還可以根據(jù)Tag類型做對應的可用性監(jiān)控。
通過對所有數(shù)據(jù)的實時分析,利用Tag的標記來明確服務的類型,基于服務類型來調(diào)用分析結果。比如可以分析出網(wǎng)關在一定時間內(nèi)的錯誤量,以及網(wǎng)絡的響應時間等信息。如果錯誤量或響應時間超過一定的閥值,可以進行自動化報警,無需人工,開發(fā)人員通過報警提供的URL地址快速定位問題的所在。
在安全性遠遠超過以前的基礎上,在主機管理、批量運維、可用性監(jiān)控、定位問題方面效率大大提高...
同時也保證了涂鴉智能云在網(wǎng)絡訪問時間、穩(wěn)定性、使用成本、技術支持上有了相較同業(yè)者更大的優(yōu)勢。
關于分享者:
柯都敏:涂鴉智能技術總監(jiān)。近10年互聯(lián)網(wǎng)從業(yè)經(jīng)歷,曾任職阿里巴巴(曾負責aliyun.com業(yè)務技術和架構,云os云服務架構,淘點點服務端等業(yè)務。團隊成員多為阿里技術專家更有華為公有云業(yè)務負責人和知名互聯(lián)網(wǎng)餐飲品牌創(chuàng)業(yè)者),2014年9月加入涂鴉科技,5個月完成涂鴉科技第一二代技術架構,平穩(wěn)支撐涂鴉一年從零到幾十億數(shù)據(jù)快速發(fā)展
涂鴉智能:一家專業(yè)的智能硬件解決方案提供商,以云平臺為核心、軟硬件結合的方式提供智能生活服務,安全快速穩(wěn)定地推進中國制造業(yè)轉(zhuǎn)型升級,促進傳統(tǒng)產(chǎn)業(yè)“互聯(lián)網(wǎng)+”有效深入的融合,“中國制造”轉(zhuǎn)型“中國智造”?;谕盔f智能的一站式硬件智能化解決方案,廠商只需要專注于自己最擅長的領域,最大化提升硬件品質(zhì),讓產(chǎn)品更具競爭力,給用戶更好的體驗。目前涂鴉科技旗下?lián)碛型盔f智能硬件平臺和自有軟硬件產(chǎn)品。2015年獲得了NEA千萬美元A輪投資。