文档章节

[WebKit内核] JavaScriptCore深度解析--基础篇(一)字节码生成及语法树的构建

q
 qiugc
发布于 2015/03/27 13:39
字数 1177
阅读 11
收藏 0
点赞 0
评论 0

     看到HorkeyChen写的文章《[WebKit] JavaScriptCore解析--基础篇(三)从脚本代码到JIT编译的代码实现》,写的很好,深受启发。想补充一些Horkey没有写到的细节比如字节码是如何生成的等等,为此成文。


      JSC对JavaScript的处理,其实与Webkit对CSS的处理许多地方是类似的,它这么几个部分:

(1)词法分析->出来词语(Token);

(2)语法分析->出来抽象语法树(AST:Abstract Syntax Tree);

(3)遍历抽象语法树->生成字节码(Bytecode);

(4)用解释器(LLInt:Low Level Interpreter)执行字节码;

(5)如果性能不够好就用Baseline JIT编译字节码生成机器码、然后执行此机器码;

(6)如果性能还不够好,就用DFG JIT重新编译字节码生成更好的机器码、然后执行此机器码;

(7)最后,如果还不好,就祭出重器--虚拟器(LLVM:Low Level Virtual Machine)来编译DFG的中间表示代码、生成更高优化的机器码并执行。接下来,我将会用一下系列文章描述此过程。

      其中,步骤1、2是类似的,3、4、5步的思想,CSS JIT也是采用类似方法,请参考[1]。想写写JSC的文章,用菜鸟和愚公移山的方式,敲开JSC的冰山一角。

本篇主要描述词法和语法解析的细节。

 一、 JavaScriptCore的词法分析器工作流程分析

    W3C是这么解释词法和语法工作流程的:


 词法器Tokenizer的工作过程如下,就是不断从字符串中寻找一个个的词(Token),比如找到连续的“true”字符串,就创建一个TokenTrue。词法器工作过程如下:

JavaScriptCore/interpreter/interpreter.cpp:
template <typename CharType>

[cpp] view plaincopy在CODE上查看代码片派生到我的代码片

  1. template <ParserMode mode> TokenType LiteralParser<CharType>::Lexer::lex(LiteralParserToken<CharType>& token)  

  2. {  

  3.     while (m_ptr < m_end && isJSONWhiteSpace(*m_ptr))  

  4.         ++m_ptr;  

  5.   

  6.     if (m_ptr >= m_end) {  

  7.         token.type = TokEnd;  

  8.         token.start = token.end = m_ptr;  

  9.         return TokEnd;  

  10.     }  

  11.     token.type = TokError;  

  12.     token.start = m_ptr;  

  13.     switch (*m_ptr) {  

  14.         case '[':  

  15.             token.type = TokLBracket;  

  16.             token.end = ++m_ptr;  

  17.             return TokLBracket;  

  18.         case ']':  

  19.             token.type = TokRBracket;  

  20.             token.end = ++m_ptr;  

  21.             return TokRBracket;  

  22.         case '(':  

  23.             token.type = TokLParen;  

  24.             token.end = ++m_ptr;  

  25.             return TokLParen;  

  26.         case ')':  

  27.             token.type = TokRParen;  

  28.             token.end = ++m_ptr;  

  29.             return TokRParen;  

  30.         case ',':  

  31.             token.type = TokComma;  

  32.             token.end = ++m_ptr;  

  33.             return TokComma;  

  34.         case ':':  

  35.             token.type = TokColon;  

  36.             token.end = ++m_ptr;  

  37.             return TokColon;  

  38.         case '"':  

  39.             return lexString<mode, '"'>(token);  

  40.         case 't':  

  41.             if (m_end - m_ptr >= 4 && m_ptr[1] == 'r' && m_ptr[2] == 'u' && m_ptr[3] == 'e') {  

  42.                 m_ptr += 4;  

  43.                 token.type = TokTrue;  

  44.                 token.end = m_ptr;  

  45.                 return TokTrue;  

  46.             }  

  47.             break;  

  48.         case '-':  

  49.         case '0':  

[cpp] view plaincopy在CODE上查看代码片派生到我的代码片

  1.         ...  

  2.         case '9':  

  3.             return lexNumber(token);  

  4.     }  

  5.     if (m_ptr < m_end) {  

  6.         if (*m_ptr == '.') {  

  7.             token.type = TokDot;  

  8.             token.end = ++m_ptr;  

  9.             return TokDot;  

  10.         }  

  11.         if (*m_ptr == '=') {  

  12.             token.type = TokAssign;  

  13.             token.end = ++m_ptr;  

  14.             return TokAssign;  

  15.         }  

  16.         if (*m_ptr == ';') {  

  17.             token.type = TokSemi;  

  18.             token.end = ++m_ptr;  

  19.             return TokAssign;  

  20.         }  

  21.         if (isASCIIAlpha(*m_ptr) || *m_ptr == '_' || *m_ptr == '$')  

  22.             return lexIdentifier(token);  

  23.         if (*m_ptr == '\'') {  

  24.             return lexString<mode, '\''>(token);  

  25.         }  

  26.     }  

  27.     m_lexErrorMessage = String::format("Unrecognized token '%c'", *m_ptr).impl();  

  28.     return TokError;  

  29. }  

      经过此过程,一个完整的JSC世界的Token就生成了。然后,再进行语法分析,生成抽象语法树.


JavaScriptCore/parser/parser.cpp:

[cpp] view plaincopy在CODE上查看代码片派生到我的代码片

  1. <span style="font-family: Arial, Helvetica, sans-serif;">PassRefPtr<ParsedNode> Parser<LexerType>::parse(JSGlobalObject* lexicalGlobalObject, Debugger* debugger, ExecState* debuggerExecState, JSObject** exception)</span>  

[cpp] view plaincopy在CODE上查看代码片派生到我的代码片

  1. {  

  2.     ASSERT(lexicalGlobalObject);  

  3.     ASSERT(exception && !*exception);  

  4.     int errLine;  

  5.     UString errMsg;  

  6.   

  7.     if (ParsedNode::scopeIsFunction)  

  8.         m_lexer->setIsReparsing();  

  9.   

  10.     m_sourceElements = 0;  

  11.   

  12.     errLine = -1;  

  13.     errMsg = UString();  

  14.   

  15.     UString parseError = parseInner();  

  16.     。。。  

  17. }  


UString Parser<LexerType>::parseInner()

[cpp] view plaincopy在CODE上查看代码片派生到我的代码片

  1. {  

  2.     UString parseError = UString();  

  3.       

  4.     unsigned oldFunctionCacheSize = m_functionCache ? m_functionCache->byteSize() : 0;  

[cpp] view plaincopy在CODE上查看代码片派生到我的代码片

  1. //抽象语法树Builder:  

  2. ASTBuilder context(const_cast<JSGlobalData*>(m_globalData), const_cast<SourceCode*>(m_source));  

  3. if (m_lexer->isReparsing())  

  4.     m_statementDepth--;  

  5. ScopeRef scope = currentScope();  

[cpp] view plaincopy在CODE上查看代码片派生到我的代码片

  1. //开始解析生成语法树的一个节点:  

  2. SourceElements* sourceElements = parseSourceElements<CheckForStrictMode>(context);  

  3. if (!sourceElements || !consume(EOFTOK))  


         举例说来,根据Token的类型,JSC认为输入的Token是一个常量声明,就会使用如下的模板函数生成语法节点(Node),然后放入ASTBuilder里面:

[cpp] view plaincopy在CODE上查看代码片派生到我的代码片

  1. JavaScriptCore/bytecompiler/NodeCodeGen.cpp:  

  2. template <typename LexerType>  

  3. template <class TreeBuilder> TreeConstDeclList Parser<LexerType>::parseConstDeclarationList(TreeBuilder& context)  

  4. {  

  5.     failIfTrue(strictMode());  

  6.     TreeConstDeclList constDecls = 0;  

  7.     TreeConstDeclList tail = 0;  

  8.     do {  

  9.         next();  

  10.         matchOrFail(IDENT);  

  11.         const Identifier* name = m_token.m_data.ident;  

  12.         next();  

  13.         bool hasInitializer = match(EQUAL);  

  14.         declareVariable(name);  

  15.         context.addVar(name, DeclarationStacks::IsConstant | (hasInitializer ? DeclarationStacks::HasInitializer : 0));  

  16.         TreeExpression initializer = 0;  

  17.         if (hasInitializer) {  

  18.             next(TreeBuilder::DontBuildStrings); // consume '='  

  19.             initializer = parseAssignmentExpression(context);  

  20.         }  

  21.         tail = context.appendConstDecl(m_lexer->lastLineNumber(), tail, name, initializer);  

  22.         if (!constDecls)  

  23.             constDecls = tail;  

  24.     } while (match(COMMA));  

  25.     return constDecls;  

  26. }  

      接下来,就会调用BytecodeGenerator::generate生成字节码,具体分下节分析。我们先看看下面来自JavaScript的一个个语法树节点生成字节码的过程:

JavaScriptCore/bytecompiler/NodeCodeGen.cpp:
RegisterID* BooleanNode::emitBytecode(BytecodeGenerator& generator, RegisterID* dst)

[cpp] view plaincopy在CODE上查看代码片派生到我的代码片

  1. {  

  2.     if (dst == generator.ignoredResult())  

  3.         return 0;  

  4.     return generator.emitLoad(dst, m_value);  

  5. }  

     以下是我准备写的文章题目:

一、 JavaScriptCore的词法分析器工作流程分析;

二、 JavaScriptCore的语法分析器工作流程分析;

三、 JavaScriptCore的字节码生成流程分析;

四、 LLInt解释器工作流程分析;

五、 Baseline JIT编译器的工作流程分析;

六、 DFG JIT编译器的工作流程分析;

七、LLVM虚拟机的工作流程分析;

八、JavaScriptCore的未来展望;

     文笔粗糙,不善表达,希望能越写越好。


第一时间获得博客更新提醒,以及更多技术信息分享,欢迎关注个人微信公众平台:程序员互动联盟(coder_online),扫一扫下方二维码或搜索微信号coder_online即可关注,我们可以在线交流。


© 著作权归作者所有

共有 人打赏支持
q
粉丝 5
博文 20
码字总数 19649
作品 0
海淀
[WebKit内核] JavaScriptCore深度解析--基础篇(一)字节码生成及语法树的构建

看到HorkeyChen写的文章《[WebKit] JavaScriptCore解析--基础篇(三)从脚本代码到JIT编译的代码实现》,写的很好,深受启发。想补充一些Horkey没有写到的细节比如字节码是如何生成的等等,为此...

MichaelWH
2015/03/28
0
0
web开发之浏览器(一)----常见浏览器及内核

常用浏览器及内核如下: 使用Trident内核的浏览器:IE、Maxthon、TT、The World,360的兼容模式和IE模式等; 使用Gecko内核的浏览器:Netcape6及以上版本、FireFox、MozillaSuite/SeaMonkey;...

Oo-Space
2014/12/24
0
0
How Webkit works笔记

主要是参考google的这个幻灯片 webkit的作用就是将html,css,javascript渲染成web page。 它的主要组件有: api接口 webkit,webkit2 和平台的具体实现做绑定 bindings。绑定的准确定义我还...

yhchinabest
04/15
0
0
各大浏览器内核(Rendering Engine)

记得刚开始写网页的时候,听童鞋们说各大浏览器的内核,也是懵懵懂懂的,知一不知其二,今天特地查一下: 内核只是一个通俗的说法,其英文名称为“Layout engine”,翻译过来就是“排版引擎”...

柒月-小妖精
2013/11/12
0
3
chromium浏览器开发系列第三篇:chromium源码目录说明

附上上两篇文章地址,方便大家查看: 下载源码 编译源码 上两篇介绍了下载源码和编译源码,这次主要介绍chromium的源码目录结构,我也是通过源码和官网结合来跟大家说,如果有说的不准确的,...

ghost045
2015/04/09
0
2
[转]Webkit内核探究【1】——Webkit简介

注:【转载请注明文章来源、保持原样】 出处:http://www.cnblogs.com/jyli/archive/2010/01/31/1660355.html 作者:李嘉昱 研究Webkit内核已经有一段时间了,在这期间我花了很多时间去研读w...

bin.feng
2010/12/15
0
0
chromium浏览器开发系列第三篇:chromium源码目录结构

上两篇介绍了下载源码和编译源码,这次主要介绍chromium的源码目录结构,我也是通过源码和官网结合来跟大家说,如果有说的不准确的,欢迎交流。 另外,官网的不一定准确,他们其实也很懒,所...

yistn
2015/04/09
0
0
Android WebView基本介绍

大部分内容为网上整理其它高人的帖子,现只作整理,用于查看: 在Android手机中内置了一款高性能webkit内核浏览器,在SDK中封装为一个叫做WebView组件。 什么是webkit WebKit是Mac OS X v10....

TracyZhang
2012/04/23
0
2
浏览器内核Trident/Gecko/WebKit/Presto

原文网址链接http://tools.yesky.com/19/34456519.shtml “浏览器内核”主要指渲染引擎(Rendering Engine),负责解析网页语法(如HTML、JavaScript)并渲染、展示网页。因此,所谓的浏览器内核...

数通畅联
2015/02/06
0
0
[转]WebKit 在 Windows 平台下编译小结

WebKit 是世界公认的优秀的开源浏览器内核。具有渲染速度快,灵活可定制,多平台支持等优点。国内知名的Maxthon 和 UCWeb 都将WebKit选作浏览器内核。谷歌公司和苹果公司也分别在WebKit 基础...

bin.feng
2010/12/15
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

win10 上安装解压版mysql

1.效果 2. 下载MySQL 压缩版 下载地址: https://downloads.mysql.com/archives/community/ 3. 配置 3.1 将下载的文件解压到合适的位置 我最终将myql文件 放在:D:\develop\mysql 最终放的位...

Lucky_Me
11分钟前
0
0
linux服务器修改mtu值优化cpu

一、jumbo frames 相关 1、什么是jumbo frames Jumbo frames 是指比标准Ethernet Frames长的frame,即比1518/1522 bit大的frames,Jumbo frame的大小是每个设备厂商规定的,不属于IEEE标准;...

问题终结者
26分钟前
0
0
expect脚本同步文件expect脚本指定host和要同步的文件 构建文件分发系统批量远程执行命令

expect脚本同步文件 在一台机器上把文件同步到多台机器上 自动同步文件 #!/usr/bin/expectset passwd "123456"spawn rsync -av root@192.168.133.132:/tmp/12.txt /tmp/expect {"yes...

lyy549745
26分钟前
0
0
36.rsync下 日志 screen

10.32/10.33 rsync通过服务同步 10.34 linux系统日志 10.35 screen工具 10.32/10.33 rsync通过服务同步: rsync还可以通过服务的方式同步。那需要开启一个服务,他的架构是cs架构,客户端服务...

王鑫linux
34分钟前
0
0
matplotlib 保存图片时的参数

简单绘图 import matplotlib.pyplot as pltplt.plot(range(10)) 保存为csv格式,放大后依然很清晰 plt.savefig('t1.svg') 普通保存放大后会有点模糊文件大小20多k plt.savefig('t5.p...

阿豪boy
39分钟前
0
0
java 8 复合Lambda 表达式

comparator 比较器复合 //排序Comparator.comparing(Apple::getWeight);List<Apple> list = Stream.of(new Apple(1, "a"), new Apple(2, "b"), new Apple(3, "c")) .collect(......

Canaan_
昨天
0
0
nginx负载均衡

一、nginx 负载均衡 拓扑图: 主机信息: 1、负载均衡器1(lb1):192.168.10.205 RHEL7.5 2、负载均衡器2(lb2):192.168.10.206 RHEL7.5 3、web服务器1(web01):192.168.10.207 Centos...

人在艹木中
昨天
0
0
做了一个小网站

做了一个小网站 www.kanxs123.com

叶落花开
昨天
0
0
继社会佩奇之后,又尝试了可爱的蓝胖子,有趣 Python

#哆啦A梦# !/usr/bin/env python3# -*- coding: utf-8 -*-# @Author: dong dong# @Env: python 3.6from turtle import *# 无轨迹跳跃def my_goto(x, y): penup(...

Py爱好
昨天
0
0
shell及python脚本方式登录服务器

一、问题 在工作过程中,经常会遇见需要登录服务器,并且因为安全的原因,需要使用交互的方式登录,而且shell、python在工作中也经常用到,并且可以提供交互的功能。都是利用了expect、spawn...

yangjianzhou
昨天
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部