軟件工程由于需要不斷迭代開(kāi)發(fā),因此要對(duì)源代碼進(jìn)行版本管理。Android源代碼工程(AOSP)也不例外,它采用Git來(lái)進(jìn)行版本管理。AOSP作為一個(gè)大型開(kāi)放源代碼工程,由許許多多子項(xiàng)目組成,因此不能簡(jiǎn)單地用Git進(jìn)行管理,它在Git的基礎(chǔ)上建立了一套自己的代碼倉(cāng)庫(kù),并且使用工具Repo進(jìn)行管理。工欲善其事,必先利其器。本文就對(duì)AOSP代碼倉(cāng)庫(kù)及其管理工具repo進(jìn)行分析,以便提高我們?nèi)粘i_(kāi)發(fā)效率。
《Android系統(tǒng)源代碼情景分析》――點(diǎn)擊下載
現(xiàn)代的代碼版本管理工具,SVN和Git是最流行的。SVN是一種集中式的代碼管理工具,需要有一個(gè)中心服務(wù)器,而Git是一種分布式的代碼管理工具。不需要一個(gè)中心服務(wù)器。不需要中心服務(wù)器意味著在沒(méi)有網(wǎng)絡(luò)的情況下,Git也能進(jìn)行版本管理。因此,單從這一點(diǎn)出發(fā),Git就比SVN要方便很多。當(dāng)然,Git和SVN相比,還有許多不同的理念設(shè)計(jì),但是總的來(lái)說(shuō),Git越來(lái)越受到大家的青睞,尤其是在開(kāi)源社區(qū)。君不見(jiàn),Linux是采用Git進(jìn)行版本管理,而越來(lái)越火的GitHub,提供也是Git代碼管理服務(wù)。本文不打算分析Git與SVN的區(qū)別,以及Git的使用方法,不過(guò)強(qiáng)烈建議大家先去了解Git,然后再看下面的內(nèi)容。這里推薦一本Git書(shū)籍《Pro Git》,它是GitHub的員工Scott Chacon撰寫(xiě)的,對(duì)Git的使用及其原理都介紹得非常詳細(xì)和清晰。
前面提到,AOSP是由許許多項(xiàng)目組成的,例如,在A(yíng)ndroid 4.2中,就包含了329個(gè)項(xiàng)目,每一個(gè)項(xiàng)目都是一個(gè)獨(dú)立的Git倉(cāng)庫(kù)。這意味著,如果我們要?jiǎng)?chuàng)建一個(gè)AOSP分支來(lái)做feature開(kāi)發(fā),那么就需要到每一個(gè)子項(xiàng)目去創(chuàng)建對(duì)應(yīng)的分支。這顯然不能手動(dòng)地到每一個(gè)子項(xiàng)目里面去創(chuàng)建分支,必須要采用一種自動(dòng)化的方式來(lái)處理。這些自動(dòng)化處理工作就是由Repo工具來(lái)完成的。當(dāng)然,Repo工具所負(fù)責(zé)的自動(dòng)化工作不只是創(chuàng)建分支那么簡(jiǎn)單,查看分支狀態(tài)、提交代碼、更新代碼等基礎(chǔ)Git操作它都可以完成。
Repo工具實(shí)際上是由一系列的Python腳本組成的,這些Python腳本通過(guò)調(diào)用Git命令來(lái)完成自己的功能。比較有意思的是,組成Repo工具的那些Python腳本本身也是一個(gè)Git倉(cāng)庫(kù)。這個(gè)Git倉(cāng)庫(kù)在A(yíng)OSP里面就稱(chēng)為Repo倉(cāng)庫(kù)。我們每次執(zhí)行Repo命令的時(shí)候,Repo倉(cāng)庫(kù)都會(huì)對(duì)自己進(jìn)行一次更新。
上面我們討論的是Repo倉(cāng)庫(kù),但是實(shí)際上我們執(zhí)行Repo命令想操作的是AOSP。這就要求Repo命令要知道AOSP都包含有哪些子項(xiàng)目,并且要知道這些子項(xiàng)目的名稱(chēng)、倉(cāng)庫(kù)地址是什么。換句話(huà)說(shuō),就是Repo命令要知道AOSP所有子項(xiàng)目的Git倉(cāng)庫(kù)元信息。我們知道,AOSP也是不斷地迭代法變化的,例如,它的每一個(gè)版本所包含的子項(xiàng)目可能都是不一樣的。這意味著需要通過(guò)另外一個(gè)Git倉(cāng)庫(kù)來(lái)管理AOSP所有的子項(xiàng)目的Git倉(cāng)庫(kù)元信息。這個(gè)Git倉(cāng)庫(kù)在A(yíng)OSP里面就稱(chēng)為Manifest倉(cāng)庫(kù)。
到目前為止,我們提到了三種類(lèi)型的Git倉(cāng)庫(kù),分別是Repo倉(cāng)庫(kù)、Manifest倉(cāng)庫(kù)和AOSP子項(xiàng)目倉(cāng)庫(kù)。Repo倉(cāng)庫(kù)通過(guò)Manifest倉(cāng)庫(kù)可以獲得所有AOSP子項(xiàng)目倉(cāng)庫(kù)的元信息。有了這些元信息之后,我們就可以通過(guò)Repo倉(cāng)庫(kù)里面的Python腳本來(lái)操作AOSP的子項(xiàng)目。那么,Repo倉(cāng)庫(kù)和Manifest倉(cāng)庫(kù)又是怎么來(lái)的呢?答案是通過(guò)一個(gè)獨(dú)立的Repo腳本來(lái)獲取,這個(gè)Repo腳本位于A(yíng)OSP的一個(gè)官方網(wǎng)站上,我們可以通過(guò)HTTP協(xié)議來(lái)下載。
現(xiàn)在,我們就通過(guò)一個(gè)圖來(lái)來(lái)勾勒一下整個(gè)AOSP的Picture,它由Repo腳本、Repo倉(cāng)庫(kù)、Manifest倉(cāng)庫(kù)和AOSP子項(xiàng)目倉(cāng)庫(kù)組成,如圖1所示:

圖1 Repo腳本、Repo倉(cāng)庫(kù)、Manifest倉(cāng)庫(kù)和AOSP子項(xiàng)目倉(cāng)庫(kù)
接下來(lái)我們就看看上述腳本和倉(cāng)庫(kù)是怎么來(lái)的。
1. Repo腳本
從官方網(wǎng)站可以知道,Repo腳本可以通過(guò)以下命令來(lái)獲取:
$ curl http://commondatastorage.googleapis.com/git-repo-downloads/repo > ~/bin/repo $ chmod a+x ~/bin/repo
也就是可以通過(guò)curl工具從http://commondatastorage.googleapis.com/git-repo-downloads/repo獲得,并且保存在文件~/bin/repo中。由于~/bin/repo是一個(gè)python腳本,我們通過(guò)chmod命令賦予它可執(zhí)行的權(quán)限,以便接下來(lái)我們可以通過(guò)repo命令來(lái)運(yùn)行它。
2. Repo倉(cāng)庫(kù)
我們下載好Repo腳本之后,要選通過(guò)以下命令來(lái)安裝一個(gè)Repo倉(cāng)庫(kù):
$ repo init -u https://android.googlesource.com/platform/manifest
這個(gè)命令實(shí)際上是包含了兩個(gè)操作:安裝Repo倉(cāng)庫(kù)和Manifest倉(cāng)庫(kù)。其中,Manifest倉(cāng)庫(kù)的地址由-u后來(lái)帶的參數(shù)給出。這一小節(jié)我們先分析Repo倉(cāng)庫(kù)的安裝過(guò)程,在接下來(lái)的第3小節(jié)中,再分析Manifest倉(cāng)庫(kù)的安裝過(guò)程。
我們看看Repo腳本是如何執(zhí)行repo init命令的:
def main(orig_args): repo_main, rel_repo_dir = _FindRepo() cmd, opt, args = _ParseArguments(orig_args) wrapper_path = os.path.abspath(__file__) my_main, my_git = _RunSelf(wrapper_path) if not repo_main: if opt.help: _Usage() if cmd == 'help': _Help(args) if not cmd: _NotInstalled() if cmd == 'init': if my_git: _SetDefaultsTo(my_git) try: _Init(args) except CloneFailure: ...... sys.exit(1) repo_main, rel_repo_dir = _FindRepo() else: _NoCommands(cmd) if my_main: repo_main = my_main ver_str = '.'.join(map(str, VERSION)) me = [repo_main, '--repo-dir=%s' % rel_repo_dir, '--wrapper-version=%s' % ver_str, '--wrapper-path=%s' % wrapper_path, '--'] me.extend(orig_args) me.extend(extra_args) try: os.execv(repo_main, me) except OSError as e: ...... sys.exit(148) if __name__ == '__main__': main(sys.argv[1:])
_FindRepo在從當(dāng)前目錄開(kāi)始往上遍歷直到根據(jù)目錄。如果中間某一個(gè)目錄下面存在一個(gè).repo/repo目錄,并且該.repo/repo存在一個(gè)main.py文件,那么就會(huì)認(rèn)為當(dāng)前是AOSP中執(zhí)行Repo腳本,這時(shí)候它就會(huì)返回文件main.py的絕對(duì)路徑和當(dāng)前查找目錄下的.repo子目錄的絕對(duì)路徑給調(diào)用者。在上述情況下,實(shí)際上是說(shuō)明Repo倉(cāng)庫(kù)已經(jīng)安裝過(guò)了。
_FindRepo的實(shí)現(xiàn)如下所示:
repodir = '.repo' # name of repo's private directory S_repo = 'repo' # special repo repository REPO_MAIN = S_repo + '/main.py' # main script def _FindRepo(): """Look for a repo installation, starting at the current directory. """ curdir = os.getcwd() repo = None olddir = None while curdir != '/' / and curdir != olddir / and not repo: repo = os.path.join(curdir, repodir, REPO_MAIN) if not os.path.isfile(repo): repo = None olddir = curdir curdir = os.path.dirname(curdir) return (repo, os.path.join(curdir, repodir))
_ParseArguments無(wú)非是對(duì)Repo的參數(shù)進(jìn)行解析,得到要執(zhí)行的命令及其對(duì)應(yīng)的參數(shù)。例如,當(dāng)我們調(diào)用“repo init -u https://android.googlesource.com/platform/manifest”的時(shí)候,就表示要執(zhí)行的命令是init,這個(gè)命令后面跟的參數(shù)是“-u https://android.googlesource.com/platform/manifest”。同時(shí),如果我們調(diào)用“repo sync”,就表示要執(zhí)行的命令是sync,這個(gè)命令沒(méi)有參數(shù)。
_RunSelf檢查Repo腳本所在目錄是否存在一個(gè)Repo倉(cāng)庫(kù),如果存在的話(huà),就從該倉(cāng)庫(kù)克隆一個(gè)新的倉(cāng)庫(kù)到執(zhí)行Repo腳本的目錄來(lái)。實(shí)際上就是從本地克隆一個(gè)新的Repo倉(cāng)庫(kù)。如果不存在的話(huà),那么就需要從遠(yuǎn)程地址克隆一個(gè)Repo倉(cāng)庫(kù)到本地來(lái)。這個(gè)遠(yuǎn)程地址是Hard Code在Repo腳本里面。
_RunSelf的實(shí)現(xiàn)如下所示:
def _RunSelf(wrapper_path): my_dir = os.path.dirname(wrapper_path) my_main = os.path.join(my_dir, 'main.py') my_git = os.path.join(my_dir, '.git') if os.path.isfile(my_main) and os.path.isdir(my_git): for name in ['git_config.py', 'project.py', 'subcmds']: if not os.path.exists(os.path.join(my_dir, name)): return None, None return my_main, my_git return None, None
從這里我們就可以看出,如果Repo腳本所在的目錄存在一個(gè)Repo倉(cāng)庫(kù),那么要滿(mǎn)足以下條件:
(1). 存在一個(gè).git目錄;
(2). 存在一個(gè)main.py文件;
(3). 存在一個(gè)git_config.py文件;
(4). 存在一個(gè)project.py文件;
(5). 存在一個(gè)subcmds目錄。
上述目錄和文件實(shí)際上都是一個(gè)標(biāo)準(zhǔn)的Repo倉(cāng)庫(kù)所具有的。
我們?cè)倩氐絤ain函數(shù)中。如果調(diào)用_FindRepo得到的repo_main的值等于空,那么就說(shuō)明當(dāng)前目錄還沒(méi)有安裝Repo倉(cāng)庫(kù),這時(shí)候Repo后面所跟的參數(shù)只能是help或者init,否則的話(huà),就會(huì)顯示錯(cuò)誤信息。如果Repo后面跟的參數(shù)是help,就打印出Repo腳本的幫助文檔。
我們關(guān)注Repo后面跟的參數(shù)是init的情況。這時(shí)候看一下調(diào)用_RunSelf的返回值my_git是否不等于空。如果不等于空的話(huà),那么就說(shuō)明Repo腳本所在目錄存一個(gè)Repo倉(cāng)庫(kù),這時(shí)候就調(diào)用_SetDefaultsTo設(shè)置等一會(huì)要克隆的Repo倉(cāng)庫(kù)源。
_SetDefaultsTo的實(shí)現(xiàn)如下所示:
GIT = 'git' REPO_URL = 'https://gerrit.googlesource.com/git-repo' REPO_REV = 'stable' def _SetDefaultsTo(gitdir): global REPO_URL global REPO_REV REPO_URL = gitdir proc = subprocess.Popen([GIT, '--git-dir=%s' % gitdir, 'symbolic-ref', 'HEAD'], stdout = subprocess.PIPE, stderr = subprocess.PIPE) REPO_REV = proc.stdout.read().strip() proc.stdout.close() proc.stderr.read() proc.stderr.close() if proc.wait() != 0: _print('fatal: %s has no current branch' % gitdir, file=sys.stderr) sys.exit(1) 如果Repo腳本所在目錄不存在一個(gè)Repo倉(cāng)庫(kù),那么默認(rèn)就將https://gerrit.googlesource.com/git-repo設(shè)置為一會(huì)要克隆的Repo倉(cāng)庫(kù)源,并且要克隆的分支是stable。否則的話(huà),就以該Repo倉(cāng)庫(kù)作為克隆源,并且以該Repo倉(cāng)庫(kù)的當(dāng)前分支作為要克隆的分支。
從前面的分析就可以知道,當(dāng)我們執(zhí)行"repo init"命令的時(shí)候:
(1). 如果我們只是從網(wǎng)上下載了一個(gè)Repo腳本,那么在執(zhí)行Repo命令的時(shí)候,就會(huì)從遠(yuǎn)程克隆一個(gè)Repo倉(cāng)庫(kù)到當(dāng)前執(zhí)行Repo腳本的目錄來(lái)。
(2). 如果我們從網(wǎng)上下載的是一個(gè)帶有Repo倉(cāng)庫(kù)的Repo腳本,那么在執(zhí)行Repo命令的時(shí)候,就可以從本地克隆一個(gè)Repo倉(cāng)庫(kù)到當(dāng)前執(zhí)行Repo腳本的目錄來(lái)。
我們?cè)倮^續(xù)看main函數(shù)的實(shí)現(xiàn),它接下來(lái)調(diào)用_Init在當(dāng)前執(zhí)行Repo腳本的目錄下安裝一個(gè)Repo倉(cāng)庫(kù):
def _Init(args): """Installs repo by cloning it over the network. """ opt, args = init_optparse.parse_args(args) ...... url = opt.repo_url if not url: url = REPO_URL extra_args.append('--repo-url=%s' % url) branch = opt.repo_branch if not branch: branch = REPO_REV extra_args.append('--repo-branch=%s' % branch) ...... if not os.path.isdir(repodir): try: os.mkdir(repodir) except OSError as e: ...... sys.exit(1) _CheckGitVersion() try: if NeedSetupGnuPG(): can_verify = SetupGnuPG(opt.quiet) else: can_verify = True dst = os.path.abspath(os.path.join(repodir, S_repo)) _Clone(url, dst, opt.quiet) if can_verify and not opt.no_repo_verify: rev = _Verify(dst, branch, opt.quiet) else: rev = 'refs/remotes/origin/%s^0' % branch _Checkout(dst, branch, rev, opt.quiet) except CloneFailure: ...... 如果我們?cè)趫?zhí)行Repo腳本的時(shí)候,沒(méi)有通過(guò)--repo-url和--repo-branch來(lái)指定Repo倉(cāng)庫(kù)的源地址和分支,那么就使用由REPO_URL和REPO_REV所指定的源地址和分支。從前面的分析可以知道,REPO_URL和REPO_REV要么指向遠(yuǎn)程地址https://gerrit.googlesource.com/git-repo和分支stable,要么指向Repo腳本所在目錄的Repo倉(cāng)庫(kù)和該倉(cāng)庫(kù)的當(dāng)前分支。
_Init函數(shù)繼續(xù)檢查當(dāng)前執(zhí)行Repo腳本的目錄是否存在一個(gè).repo目錄。如果不存在的話(huà),那么就新創(chuàng)建一個(gè)。接著是否需要驗(yàn)證等一會(huì)克隆回來(lái)的Repo倉(cāng)庫(kù)的GPG。如果需要驗(yàn)證的話(huà),那么就會(huì)在調(diào)用_Clone函數(shù)來(lái)克隆好Repo倉(cāng)庫(kù)之后,調(diào)用_Verify函數(shù)來(lái)驗(yàn)證該Repo倉(cāng)庫(kù)的GPG。
最關(guān)鍵的地方就在于函數(shù)_Clone函數(shù)和_Checkout函數(shù)的調(diào)用,前者用來(lái)從url指定的地方克隆一個(gè)倉(cāng)庫(kù)到dst指定的地方來(lái),實(shí)際上就是克隆到當(dāng)前目錄下的./repo/repo目錄來(lái),后者在克隆回來(lái)的倉(cāng)庫(kù)中將branch分支checkout出來(lái)。
函數(shù)_Clone的實(shí)現(xiàn)如下所示:
def _Clone(url, local, quiet): """Clones a git repository to a new subdirectory of repodir """ try: os.mkdir(local) except OSError as e: _print('fatal: cannot make %s directory: %s' % (local, e.strerror), file=sys.stderr) raise CloneFailure() cmd = [GIT, 'init', '--quiet'] try: proc = subprocess.Popen(cmd, cwd = local) except OSError as e: ...... ...... _InitHttp() _SetConfig(local, 'remote.origin.url', url) _SetConfig(local, 'remote.origin.fetch', '+refs/heads/*:refs/remotes/origin/*') if _DownloadBundle(url, local, quiet): _ImportBundle(local) else: _Fetch(url, local, 'origin', quiet) 這個(gè)函數(shù)首先是調(diào)用"git init"在當(dāng)前目錄下的.repo/repo子目錄初始化一個(gè)Git倉(cāng)庫(kù),接著再調(diào)用_SetConfig函來(lái)設(shè)置該Git倉(cāng)庫(kù)的url信息等。再接著調(diào)用_DownloadBundle來(lái)檢查指定的url是否存在一個(gè)clone.bundle文件。如果存在這個(gè)clone.bundle文件的話(huà),就以它作為Repo倉(cāng)庫(kù)的克隆源。
函數(shù)_DownloadBundle的實(shí)現(xiàn)如下所示:
def _DownloadBundle(url, local, quiet): if not url.endswith('/'): url += '/' url += 'clone.bundle' ...... if not url.startswith('http:') and not url.startswith('https:'): return False dest = open(os.path.join(local, '.git', 'clone.bundle'), 'w+b') try: try: r = urllib.request.urlopen(url) except urllib.error.HTTPError as e: if e.code in [403, 404]: return False ...... raise CloneFailure() except urllib.error.URLError as e: ...... raise CloneFailure() try: if not quiet: _print('Get %s' % url, file=sys.stderr) while True: buf = r.read(8192) if buf == '': return True dest.write(buf) finally: r.close() finally: dest.close() Bundle文件是Git提供的一種機(jī)制,用來(lái)解決不能正常通過(guò)git、ssh和http等網(wǎng)絡(luò)協(xié)議從遠(yuǎn)程地址克隆Git倉(cāng)庫(kù)的問(wèn)題。簡(jiǎn)單來(lái)說(shuō),就是我們可以用“git bundle”命令來(lái)在一個(gè)Git倉(cāng)庫(kù)創(chuàng)建一個(gè)Bundle文件,這個(gè)Bundle文件就會(huì)包含Git倉(cāng)庫(kù)的提交歷史。把這個(gè)Bundle文件通過(guò)其它方式拷貝到另一臺(tái)機(jī)器上,就可以將它作為一個(gè)本地Git倉(cāng)庫(kù)來(lái)使用,而不用去訪(fǎng)問(wèn)遠(yuǎn)程網(wǎng)絡(luò)。
回到函數(shù)_Clone中,如果存在對(duì)應(yīng)的clone.bundle文件,并且能成功下載到該clone.bundle,接下來(lái)就調(diào)用函數(shù)_ImportBundle將它作為源倉(cāng)庫(kù)克隆為新的Repo倉(cāng)庫(kù)。函數(shù)_ImportBundle的實(shí)現(xiàn)如下所示:
def _ImportBundle(local): path = os.path.join(local, '.git', 'clone.bundle') try: _Fetch(local, local, path, True) finally: os.remove(path)
結(jié)合_Clone函數(shù)和_ImportBundle函數(shù)就可以看出,從clone.bundle文件克隆Repo倉(cāng)庫(kù)和從遠(yuǎn)程url克隆Repo倉(cāng)庫(kù)都是通過(guò)函數(shù)_Fetch來(lái)實(shí)現(xiàn)的。區(qū)別就在于調(diào)用函數(shù)_Fetch時(shí)指定的第三個(gè)參數(shù),前者是已經(jīng)下載到本地的一個(gè)clone.bundle文件路徑,后者是origin(表示遠(yuǎn)程倉(cāng)庫(kù)名稱(chēng))。
函數(shù)_Fetch的實(shí)現(xiàn)如下所示:
def _Fetch(url, local, src, quiet): if not quiet: _print('Get %s' % url, file=sys.stderr) cmd = [GIT, 'fetch'] if quiet: cmd.append('--quiet') err = subprocess.PIPE else: err = None cmd.append(src) cmd.append('+refs/heads/*:refs/remotes/origin/*') cmd.append('refs/tags/*:refs/tags/*') proc = subprocess.Popen(cmd, cwd = local, stderr = err) if err: proc.stderr.read() proc.stderr.close() if proc.wait() != 0: raise CloneFailure() 函數(shù)_Fetch實(shí)際上就是通過(guò)“git fetch”從指定的倉(cāng)庫(kù)源克隆一個(gè)新的Repo倉(cāng)庫(kù)到當(dāng)前目錄下的.repo/repo子目錄來(lái)。
注意,以上只是克隆好了一個(gè)Repo倉(cāng)庫(kù),接下來(lái)還需要從這個(gè)Repo倉(cāng)庫(kù)checkout出一個(gè)分支來(lái),才能正常工作。從Repo倉(cāng)庫(kù)checkout出一個(gè)分支是通過(guò)調(diào)用函數(shù)_Checkout來(lái)實(shí)現(xiàn)的:
def _Checkout(cwd, branch, rev, quiet): """Checkout an upstream branch into the repository and track it. """ cmd = [GIT, 'update-ref', 'refs/heads/default', rev] if subprocess.Popen(cmd, cwd = cwd).wait() != 0: raise CloneFailure() _SetConfig(cwd, 'branch.default.remote', 'origin') _SetConfig(cwd, 'branch.default.merge', 'refs/heads/%s' % branch) cmd = [GIT, 'symbolic-ref', 'HEAD', 'refs/heads/default'] if subprocess.Popen(cmd, cwd = cwd).wait() != 0: raise CloneFailure() cmd = [GIT, 'read-tree', '--reset', '-u'] if not quiet: cmd.append('-v') cmd.append('HEAD') if subprocess.Popen(cmd, cwd = cwd).wait() != 0: raise CloneFailure() 要checkout出來(lái)的分支由參數(shù)branch指定。從前面的分析可以知道,如果當(dāng)前執(zhí)行的Repo腳本所在目錄存在一個(gè)Repo倉(cāng)庫(kù),那么參數(shù)branch描述的就是該倉(cāng)庫(kù)當(dāng)前checkout出來(lái)的分支。否則的話(huà),參數(shù)branch描述的就是從遠(yuǎn)程倉(cāng)庫(kù)克隆回來(lái)的“stable”分支。
需要注意的是,這里從倉(cāng)庫(kù)checkout出分支不是使用“git checkout”命令來(lái)實(shí)現(xiàn)的,而是通過(guò)更底層的Git命令“git update-ref”來(lái)實(shí)現(xiàn)的。實(shí)際上,“git checkout”命令也是通過(guò)“git update-ref”命令來(lái)實(shí)現(xiàn)的,只不過(guò)它進(jìn)行了更高層的封裝,更方便使用。如果我們?nèi)シ治鼋M成Repo倉(cāng)庫(kù)的那些Python腳本命令,就會(huì)發(fā)現(xiàn)它們基本上都是通過(guò)底層的Git命令來(lái)完成Git功能的。
3. Manifest倉(cāng)庫(kù)
我們接著再分析下面這個(gè)命令的執(zhí)行:
repo init -u https://android.googlesource.com/platform/manifest
如前所述,這個(gè)命令安裝好Repo倉(cāng)庫(kù)之后,就會(huì)調(diào)用該Repo倉(cāng)庫(kù)下面的main.py腳本,對(duì)應(yīng)的文件為.repo/repo/main.py,它的入口函數(shù)的實(shí)現(xiàn)如下所示:
def _Main(argv): result = 0 opt = optparse.OptionParser(usage="repo wrapperinfo -- ...") opt.add_option("--repo-dir", dest="repodir", help="path to .repo/") ...... repo = _Repo(opt.repodir) try: try: init_ssh() init_http() result = repo._Run(argv) or 0 finally: close_ssh() except KeyboardInterrupt: ...... result = 1 except ManifestParseError as mpe: ...... result = 1 except RepoChangedException as rce: # If repo changed, re-exec ourselves. # argv = list(sys.argv) argv.extend(rce.extra_args) try: os.execv(__file__, argv) except OSError as e: ...... result = 128 sys.exit(result) if __name__ == '__main__': _Main(sys.argv[1:]) 從前面的分析可以知道,通過(guò)參數(shù)--repo-dir傳進(jìn)來(lái)的是AOSP根目錄下的.repo目錄,這是一個(gè)隱藏目錄,里面保存的是Repo倉(cāng)庫(kù)、Manifest倉(cāng)庫(kù),以及各個(gè)AOSP子項(xiàng)目倉(cāng)庫(kù)。函數(shù)_Main首先是調(diào)用init_ssh和init_http來(lái)初始化網(wǎng)絡(luò)環(huán)境,接著再調(diào)用前面創(chuàng)建的一個(gè)_Repo對(duì)象的成員函數(shù)_Run來(lái)解析要執(zhí)行的命令,并且執(zhí)行這個(gè)命令。
_Repo類(lèi)的成員函數(shù)_Run的實(shí)現(xiàn)如下所示:
from subcmds import all_commands class _Repo(object): def __init__(self, repodir): self.repodir = repodir self.commands = all_commands # add 'branch' as an alias for 'branches' all_commands['branch'] = all_commands['branches'] def _Run(self, argv): result = 0 name = None glob = [] for i in range(len(argv)): if not argv[i].startswith('-'): name = argv[i] if i > 0: glob = argv[:i] argv = argv[i + 1:] break if not name: glob = argv name = 'help' argv = [] gopts, _gargs = global_options.parse_args(glob) ...... try: cmd = self.commands[name] except KeyError: ...... return 1 cmd.repodir = self.repodir cmd.manifest = XmlManifest(cmd.repodir) ...... try: result = cmd.Execute(copts, cargs) except DownloadError as e: ...... result = 1 except ManifestInvalidRevisionError as e: ...... result = 1 except NoManifestException as e: ...... result = 1 except NoSuchProjectError as e: ...... result = 1 finally: ...... return result Repo腳本能執(zhí)行的命令都放在目錄.repo/repo/subcmds中,該目錄每一個(gè)python文件都對(duì)應(yīng)一個(gè)Repo命令。例如,“repo init”表示要執(zhí)行命令腳本是.repo/repo/subcmds/init.py。
_Repo類(lèi)的成員函數(shù)_Run首先是在repo后面所帶的參數(shù)中,不是以橫線(xiàn)“-”開(kāi)始的第一個(gè)選項(xiàng),該選項(xiàng)就代表要執(zhí)行的命令,該命令的名稱(chēng)就保存在變量name中。接著根據(jù)變量name的值在_Repo類(lèi)的成員變量commands中找到對(duì)應(yīng)的命令模塊cmd,并且指定該命令模塊cmd的成員變量repodir和manifest的值。命令模塊cmd的成員變量repodir描述的就是AOSP的.repo目錄,成員變量manifest指向的是一個(gè)XmlManifest對(duì)象,它描述的是AOSP的Repo倉(cāng)庫(kù)和Manifest倉(cāng)庫(kù)。
我們看看XmlManifest類(lèi)的構(gòu)造函數(shù),它定義在文件.repo/repo/xml_manifest.py文件中:
class XmlManifest(object): """manages the repo configuration file""" def __init__(self, repodir): self.repodir = os.path.abspath(repodir) self.topdir = os.path.dirname(self.repodir) self.manifestFile = os.path.join(self.repodir, MANIFEST_FILE_NAME) ...... self.repoProject = MetaProject(self, 'repo', gitdir = os.path.join(repodir, 'repo/.git'), worktree = os.path.join(repodir, 'repo')) self.manifestProject = MetaProject(self, 'manifests', gitdir = os.path.join(repodir, 'manifests.git'), worktree = os.path.join(repodir, 'manifests')) ......
XmlManifest作了描述了AOSP的Repo目錄(repodir)、AOSP 根目錄(topdir)和Manifest.xml文件(manifestFile)之外,還使用兩個(gè)MetaProject對(duì)象描述了AOSP的Repo倉(cāng)庫(kù)(repoProject)和Manifest倉(cāng)庫(kù)(manifestProject)。
在A(yíng)OSP中,每一個(gè)子項(xiàng)目(或者說(shuō)倉(cāng)庫(kù))都用一個(gè)Project對(duì)象來(lái)描述。Project類(lèi)定義在文件.repo/repo/project.py文件中,用來(lái)封裝對(duì)各個(gè)項(xiàng)目的基礎(chǔ)Git操作,例如,對(duì)項(xiàng)目進(jìn)行暫存、提交和更新等。它的構(gòu)造函數(shù)如下所示:
class Project(object): def __init__(self, manifest, name, remote, gitdir, worktree, relpath, revisionExpr, revisionId, rebase = True, groups = None, sync_c = False, sync_s = False, clone_depth = None, upstream = None, parent = None, is_derived = False, dest_branch = None): """Init a Project object. Args: manifest: The XmlManifest object. name: The `name` attribute of manifest.xml's project element. remote: RemoteSpec object specifying its remote's properties. gitdir: Absolute path of git directory. worktree: Absolute path of git working tree. relpath: Relative path of git working tree to repo's top directory. revisionExpr: The `revision` attribute of manifest.xml's project element. revisionId: git commit id for checking out. rebase: The `rebase` attribute of manifest.xml's project element. groups: The `groups` attribute of manifest.xml's project element. sync_c: The `sync-c` attribute of manifest.xml's project element. sync_s: The `sync-s` attribute of manifest.xml's project element. upstream: The `upstream` attribute of manifest.xml's project element. parent: The parent Project object. is_derived: False if the project was explicitly defined in the manifest; True if the project is a discovered submodule. dest_branch: The branch to which to push changes for review by default. """ self.manifest = manifest self.name = name self.remote = remote self.gitdir = gitdir.replace('//', '/') if worktree: self.worktree = worktree.replace('//', '/') else: self.worktree = None self.relpath = relpath self.revisionExpr = revisionExpr if revisionId is None / and revisionExpr / and IsId(revisionExpr): self.revisionId = revisionExpr else: self.revisionId = revisionId self.rebase = rebase self.groups = groups self.sync_c = sync_c self.sync_s = sync_s self.clone_depth = clone_depth self.upstream = upstream self.parent = parent self.is_derived = is_derived self.subprojects = [] self.snapshots = {} self.copyfiles = [] self.annotations = [] self.config = GitConfig.ForRepository( gitdir = self.gitdir, defaults = self.manifest.globalConfig) if self.worktree: self.work_git = self._GitGetByExec(self, bare=False) else: self.work_git = None self.bare_git = self._GitGetByExec(self, bare=True) self.bare_ref = GitRefs(gitdir) self.dest_branch = dest_branch # This will be filled in if a project is later identified to be the # project containing repo hooks. self.enabled_repo_hooks = [] Project類(lèi)構(gòu)造函數(shù)的各個(gè)參數(shù)的含義見(jiàn)注釋?zhuān)@里為了方便描述,用中文描述一下:
revisionExpr、revisionId、rebase、groups、sync_c、sync_s和upstream:每一個(gè)項(xiàng)目在.repo/repo/manifest.xml文件中都有對(duì)應(yīng)的描述,這幾個(gè)屬性的值就來(lái)自于該manifest.xml文件對(duì)自己的描述的,它們的含義可以參考.repo/repo/docs/manifest-format.txt文件
parent:父項(xiàng)目
is_derived:如果一個(gè)項(xiàng)目含有子模塊(也是一個(gè)Git倉(cāng)庫(kù)),那么這些子模塊也會(huì)用一個(gè)Project對(duì)象來(lái)描述,這些Project的
is_derived屬性會(huì)設(shè)置為true
dest_branch:用來(lái)code review的分支
這里重點(diǎn)說(shuō)一下項(xiàng)目的Git倉(cāng)庫(kù)目錄和工作目錄的概念。一般來(lái)說(shuō),一個(gè)項(xiàng)目的Git倉(cāng)庫(kù)目錄(默認(rèn)為.git目錄)是位于工作目錄下面的,但是Git支持將一個(gè)項(xiàng)目的Git倉(cāng)庫(kù)目錄和工作目錄分開(kāi)來(lái)存放。在A(yíng)OSP中,Repo倉(cāng)庫(kù)的Git目錄(.git)位于工作目錄(.repo/repo)下,Manifest倉(cāng)庫(kù)的Git目錄有兩份拷貝,一份(.git)位于工作目錄(.repo/manifests)下,另外一份位于.repo/manifests.git目錄,其余的AOSP子項(xiàng)目的工作目錄和Git目錄都是分開(kāi)存放的,其中,工作目錄位于A(yíng)OSP根目錄下,Git目錄位于.repo/repo/projects目錄下。
此外,每一個(gè)AOSP子項(xiàng)目的工作目錄也有一個(gè).git目錄,不過(guò)這個(gè).git目錄是一個(gè)符號(hào)鏈接,鏈接到.repo/repo/projects對(duì)應(yīng)的Git目錄。這樣,我們就既可以在A(yíng)OSP子項(xiàng)目的工作目錄下執(zhí)行Git命令,也可以在其對(duì)應(yīng)的Git目錄下執(zhí)行Git命令。一般來(lái)說(shuō),要訪(fǎng)問(wèn)到工作目錄的命令(例如git status)需要在工作目錄下執(zhí)行,而不需要訪(fǎng)問(wèn)工作目錄(例如git log)可以在Git目錄下執(zhí)行。
Project類(lèi)有兩個(gè)成員變量work_git和bare_git,它們指向的都是一個(gè)_GitGetByExec對(duì)象。用來(lái)封裝對(duì)Git命令的執(zhí)行。其中,前者在執(zhí)行Git命令的時(shí)候,會(huì)將當(dāng)前目錄設(shè)置為項(xiàng)目的工作目錄,而后者在執(zhí)行的時(shí)候,不會(huì)設(shè)置當(dāng)前目錄,但是會(huì)將環(huán)境變量GIT_DIR的值設(shè)置為項(xiàng)目的Git目錄,也就是.repo/projects目錄下面的那些目錄。通過(guò)這種方式,Project類(lèi)就可以根據(jù)需要來(lái)在工作目錄或者Git目錄下執(zhí)行Git命令。
回到XmlManifest類(lèi)的構(gòu)造函數(shù)中,由于Repo和Manifest也是屬于Git倉(cāng)庫(kù),所以我們也需要?jiǎng)?chuàng)建一個(gè)Project對(duì)象來(lái)描述它們。不過(guò),由于它們是比較特殊的Git倉(cāng)庫(kù)(用來(lái)描述AOSP子項(xiàng)目元信息的Git倉(cāng)庫(kù)),所以我們就使用另外一個(gè)類(lèi)型為MetaProject的對(duì)象來(lái)描述它們。MetaProject類(lèi)是從Project類(lèi)繼承下來(lái)的,定義在project.py文件中,如下所示:
class MetaProject(Project): """A special project housed under .repo. """ def __init__(self, manifest, name, gitdir, worktree): Project.__init__(self, manifest = manifest, name = name, gitdir = gitdir, worktree = worktree, remote = RemoteSpec('origin'), relpath = '.repo/%s' % name, revisionExpr = 'refs/heads/master', revisionId = None, groups = None) 既然MetaProject類(lèi)是從Project類(lèi)繼承下來(lái)的,那么它們的Git操作幾乎都可以通過(guò)Project類(lèi)來(lái)完成的。實(shí)際上,MetaProject類(lèi)和Project類(lèi)目前的區(qū)別不是太大,可以認(rèn)為是基本相同的。使用MetaProject類(lèi)來(lái)描述Repo倉(cāng)庫(kù)和Manifest倉(cāng)庫(kù),主要是為了強(qiáng)調(diào)它們是用來(lái)描述AOSP子項(xiàng)目倉(cāng)庫(kù)的元信息的。
回到_Repo類(lèi)的成員函數(shù)_Run中,創(chuàng)建好用來(lái)描述Repo倉(cāng)庫(kù)和Manifest倉(cāng)庫(kù)的XmlManifest對(duì)象之后,就開(kāi)始執(zhí)行跟在repo腳本后面的不帶橫線(xiàn)“-”的選項(xiàng)所表示的命令。在我們這個(gè)場(chǎng)景中,這個(gè)命令就是init,它對(duì)應(yīng)的Python模塊為.repo/repo/subcmds/init.py,入口函數(shù)為定義在該模塊的Init類(lèi)的成員函數(shù)Execute,它的實(shí)現(xiàn)如下所示:
class Init(InteractiveCommand, MirrorSafeCommand): ...... def Execute(self, opt, args): ...... self._SyncManifest(opt) self._LinkManifest(opt.manifest_name) ......
Init類(lèi)的成員函數(shù)Execute主要就是調(diào)用另外兩個(gè)成員函數(shù)_SyncManifest和_LinkManifest來(lái)完成克隆Manifest倉(cāng)庫(kù)的工作。
Init類(lèi)的成員函數(shù)_SyncManifest的實(shí)現(xiàn)如下所示:
class Init(InteractiveCommand, MirrorSafeCommand): ...... def _SyncManifest(self, opt): m = self.manifest.manifestProject is_new = not m.Exists if is_new: ...... m._InitGitDir(mirror_git=mirrored_manifest_git) if opt.manifest_branch: m.revisionExpr = opt.manifest_branch else: m.revisionExpr = 'refs/heads/master else: if opt.manifest_branch: m.revisionExpr = opt.manifest_branch else: m.PreSync() ...... if not m.Sync_NetworkHalf(is_new=is_new): ...... sys.exit(1) if opt.manifest_branch: m.MetaBranchSwitch(opt.manifest_branch) ...... m.Sync_LocalHalf(syncbuf) ...... if is_new or m.CurrentBranch is None: if not m.StartBranch('default'): ...... sys.exit(1) Init類(lèi)的成員函數(shù)_SyncManifest執(zhí)行以下操作:
(1). 檢查本地是否存在Manifest倉(cāng)庫(kù),即檢查用來(lái)描述Manifest倉(cāng)庫(kù)MetaProject對(duì)象m的成員變量mExists值是否等于true。如果不等于的話(huà),那么就說(shuō)明本地還沒(méi)有安裝過(guò)Manifest倉(cāng)庫(kù)。這時(shí)候就需要調(diào)用該MetaProject對(duì)象m的成員函數(shù)_InitGitDir來(lái)在.repo/manifests目錄初始化一個(gè)Git倉(cāng)庫(kù)。
(2). 調(diào)用用來(lái)描述Manifest倉(cāng)庫(kù)MetaProject對(duì)象m的成員函數(shù)Sync_NetworkHalf來(lái)從遠(yuǎn)程倉(cāng)庫(kù)中克隆一個(gè)新的Manifest倉(cāng)庫(kù)到本地來(lái),或者更新本地的Manifest倉(cāng)庫(kù)。這個(gè)遠(yuǎn)程倉(cāng)庫(kù)的地址即為在執(zhí)行"repo init"命令時(shí),通過(guò)-u指定的url,即https://android.googlesource.com/platform/manifest。
(3). 檢查"repo init"命令后面是否通過(guò)-b指定要在Manifest倉(cāng)庫(kù)中checkout出來(lái)的分支。如果有的話(huà),那么就調(diào)用用來(lái)描述Manifest倉(cāng)庫(kù)MetaProject對(duì)象m的成員函數(shù)MetaBranchSwitch做一些清理工作,以便接下來(lái)可以checkout到指定的分支。
(4). 調(diào)用用來(lái)描述Manifest倉(cāng)庫(kù)MetaProject對(duì)象m的成員函數(shù)Sync_LocaHalf來(lái)執(zhí)行checkout分支的操作。注意,要切換的分支在前面已經(jīng)記錄在MetaProject對(duì)象m的成員變量revisionExpr中。
(5). 如果前面執(zhí)行的是新安裝Manifest倉(cāng)庫(kù)的操作,并且沒(méi)有通過(guò)-b選項(xiàng)指定要checkout的分支,那么默認(rèn)就checkout出一個(gè)default分支。
接下來(lái),我們就主要分析MetaProject類(lèi)的成員函數(shù)_InitGitDir、Sync_NetworkHalf和Sync_LocaHalf的實(shí)現(xiàn)。這幾個(gè)函數(shù)實(shí)際上都是由MetaProject的父類(lèi)Project來(lái)實(shí)現(xiàn)的,因此,下面我們就分析Project類(lèi)的成員函數(shù)_InitGitDir、Sync_NetworkHalf和Sync_LocaHalf的實(shí)現(xiàn)。
Project類(lèi)的成員函數(shù)_InitGitDir的成員函數(shù)的實(shí)現(xiàn)如下所示:
class Project(object): ...... def _InitGitDir(self, mirror_git=None): if not os.path.exists(self.gitdir): os.makedirs(self.gitdir) self.bare_git.init() ......
Project類(lèi)的成員函數(shù)_InitGitDir首先是檢查項(xiàng)目的Git目錄是否已經(jīng)存在。如果不存在,那么就會(huì)首先創(chuàng)建這個(gè)Git目錄,然后再調(diào)用成員變量bare_git所描述的一個(gè)_GitGetByExec對(duì)象的成員函數(shù)init來(lái)在該目錄下初始化一個(gè)Git倉(cāng)庫(kù)。
_GitGetByExec類(lèi)的成員函數(shù)init是通過(guò)另外一個(gè)成員函數(shù)__getattr__來(lái)實(shí)現(xiàn)的,如下所示:
class Project(object): ...... class _GitGetByExec(object): ...... def __getattr__(self, name): """Allow arbitrary git commands using pythonic syntax. This allows you to do things like: git_obj.rev_parse('HEAD') Since we don't have a 'rev_parse' method defined, the __getattr__ will run. We'll replace the '_' with a '-' and try to run a git command. Any other positional arguments will be passed to the git command, and the following keyword arguments are supported: config: An optional dict of git config options to be passed with '-c'. Args: name: The name of the git command to call. Any '_' characters will be replaced with '-'. Returns: A callable object that will try to call git with the named command. """ name = name.replace('_', '-') def runner(*args, **kwargs): cmdv = [] config = kwargs.pop('config', None) ...... if config is not None: ...... for k, v in config.items(): cmdv.append('-c') cmdv.append('%s=%s' % (k, v)) cmdv.append(name) cmdv.extend(args) p = GitCommand(self._project, cmdv, bare = self._bare, capture_stdout = True, capture_stderr = True) if p.Wait() != 0: ...... r = p.stdout try: r = r.decode('utf-8') except AttributeError: pass if r.endswith('/n') and r.index('/n') == len(r) - 1: return r[:-1] return r return runner 從注釋可以知道,_GitGetByExec類(lèi)的成員函數(shù)__getattr__使用了一個(gè)trick,將_GitGetByExec類(lèi)沒(méi)有實(shí)現(xiàn)的成員函數(shù)間接地以屬性的形式來(lái)獲得,并且將該沒(méi)有實(shí)現(xiàn)的成員函數(shù)的名稱(chēng)作為git的一個(gè)參數(shù)來(lái)執(zhí)行。也就是說(shuō),當(dāng)執(zhí)行_GitGetByExec.init()的時(shí)候,實(shí)際上是透過(guò)成員函數(shù)__getattr__執(zhí)行了一個(gè)"git init"命令。這個(gè)命令就正好是用來(lái)初始化一個(gè)Git倉(cāng)庫(kù)。
我們?cè)賮?lái)看Project類(lèi)的成員函數(shù)Sync_NetworkHalf的實(shí)現(xiàn):
class Project(object): ...... def Sync_NetworkHalf(self, quiet=False, is_new=None, current_branch_only=False, clone_bundle=True, no_tags=False): """Perform only the network IO portion of the sync process. Local working directory/branch state is not affected. """ if is_new is None: is_new = not self.Exists if is_new: self._InitGitDir() ...... if not self._RemoteFetch(initial=is_new, quiet=quiet, alt_dir=alt_dir, current_branch_only=current_branch_only, no_tags=no_tags): return False ......
Project類(lèi)的成員函數(shù)Sync_NetworkHalf主要執(zhí)行以下的操作:
(1). 檢查本地是否已經(jīng)存在對(duì)應(yīng)的Git倉(cāng)庫(kù)。如果不存在,那么就先調(diào)用另外一個(gè)成員函數(shù)_InitGitDir來(lái)初始化該Git倉(cāng)庫(kù)。
(2). 調(diào)用另外一個(gè)成員函 主站蜘蛛池模板: 浦江县| 随州市| 托里县| 镇平县| 深圳市| 临江市| 衡水市| 永仁县| 遂平县| 精河县| 柏乡县| 中超| 兴安县| 莱芜市| 咸丰县| 富川| 揭西县| 满洲里市| 高唐县| 潼南县| 斗六市| 桂东县| 泾川县| 屏东县| 中阳县| 岑溪市| 息烽县| 都江堰市| 望都县| 门头沟区| 肥城市| 郯城县| 宿州市| 兴安盟| 雅安市| 忻城县| 京山县| 新沂市| 涟源市| 府谷县| 府谷县|