所以开始在LuvvieScript上取得进展,然后在Twitter上开始了一段时间... https://twitter.com/gordonguthrie/status/389659700741943296
Anthony Ramine https://twitter.com/nokusu指出我做错了,我应该通过Core Erlang而不是Erlang AST将Erlang编译成JavaScript。这对我来说是一个令人信服但没有吸引力的选择... Twitter不是讨论这个问题的合适媒介,我想我应该在这里写下来,并获得一些建议。
战略概述
LuvvieScript有三个核心要求:
- 编译为相同且高性能Javascript的Erlang的有效子集
- 完整的源Map,以便可以在浏览器中使用LuvvieScript而不是Javascript进行调试
- 一个“运行时”客户端javascript环境(带有服务器端通信),用于执行LuvvieScript模块(一种页面内管理器......)
第三个选项有点超出了这场辩论的范围,但前两个是核心。
这是一个懒惰的必然结果--我想使用尽可能多的Erlang和Javascript语法工具(词法分析器、解析器、标记化器、AST转换等),并编写最少的代码。
当前想法
当前编写代码的方式为以下结构:
- 将代码编译为ErlangAST(具有行号)
- 标记代码(保留注解和白色),并使用这些标记构建将行/列信息Map到标记的字典
- 合并字典和AST,给予一个行/列AST(可以对不同属性的fns进行分组)
- 我将这个新的ErlangAST转换为在SpiderMonkey解析器API https://developer.mozilla.org/en-US/docs/SpiderMonkey/Parser_API中实现的Javascript AST
- 我使用Javascript实用程序(如brushtail)来改变Javascript AST https://github.com/puffnfresh/brushtail中的tail调用
- 使用JavaScript实用程序(如ESCodeGen)发出JavaScript https://github.com/Constellation/escodegen
基本上,我会得到一个Erlang AST,如下所示:
[{function,
{19,{1,9}},
atom1_fn,0,
[{clause,
{19,none},
[],
[[]],
[{match,
{20,none},
[{var,{20,{5,6}},'D'}],
[{atom,{20,{11,15}},blue}]},
{var,{21,{5,6}},'D'}]}]}]},
字符串
然后我把它转换成一个Javascript JSON AST,如下所示:
{
"type": "Program",
"body": [
{
"type": "VariableDeclaration",
"declarations": [
{
"type": "VariableDeclarator",
"id": {
"type": "Identifier",
"name": "answer",
"loc": {
"start": {
"line": 2,
"column": 4
},
"end": {
"line": 2,
"column": 10
}
}
},
"init": {
"type": "BinaryExpression",
"operator": "*",
"left": {
"type": "Literal",
"value": 6,
"raw": "6",
"loc": {
"start": {
"line": 2,
"column": 13
},
"end": {
"line": 2,
"column": 14
}
}
},
"right": {
"type": "Literal",
"value": 7,
"raw": "7",
"loc": {
"start": {
"line": 2,
"column": 17
},
"end": {
"line": 2,
"column": 18
}
}
},
"loc": {
"start": {
"line": 2,
"column": 13
},
"end": {
"line": 2,
"column": 18
}
}
},
"loc": {
"start": {
"line": 2,
"column": 4
},
"end": {
"line": 2,
"column": 18
}
}
}
],
"kind": "var",
"loc": {
"start": {
"line": 2,
"column": 0
},
"end": {
"line": 2,
"column": 19
}
}
}
],
"loc": {
"start": {
"line": 2,
"column": 0
},
"end": {
"line": 2,
"column": 19
}
}
}
埃尔·普罗布莱莫
Anthony的观点很好-- Core Erlang是一种比Erlang更简化、更规则的语言,应该比普通的Erlang更容易转换为Javascript,但它没有很好的文档记录。
我可以很容易地得到一个类似AST的Core Erlang表示:
{c_module,[],
{c_literal,[],basic_types},
[{c_var,[],{atom1_fn,0}},
{c_var,[],{atom2_fn,0}},
{c_var,[],{bish_fn,1}},
{c_var,[],{boolean_fn,0}},
{c_var,[],{float_fn,0}},
{c_var,[],{int_fn,0}},
{c_var,[],{module_info,0}},
{c_var,[],{module_info,1}},
{c_var,[],{string_fn,0}}],
[],
[{{c_var,[],{int_fn,0}},{c_fun,[],[],{c_literal,[],1}}},
{{c_var,[],{float_fn,0}},{c_fun,[],[],{c_literal,[],2.3}}},
{{c_var,[],{boolean_fn,0}},{c_fun,[],[],{c_literal,[],true}}},
{{c_var,[],{atom1_fn,0}},{c_fun,[],[],{c_literal,[],blue}}},
{{c_var,[],{atom2_fn,0}},{c_fun,[],[],{c_literal,[],'Blue 4 U'}}},
{{c_var,[],{string_fn,0}},{c_fun,[],[],{c_literal,[],"string theory"}}},
{{c_var,[],{bish_fn,1}},
{c_fun,[],
[{c_var,[],'_cor0'}],
{c_case,[],
{c_var,[],'_cor0'},
[{c_clause,[],
[{c_literal,[],bash}],
{c_literal,[],true},
{c_literal,[],berk}},
{c_clause,[],
[{c_literal,[],bosh}],
{c_literal,[],true},
{c_literal,[],bork}},
{c_clause,
[compiler_generated],
[{c_var,[],'_cor1'}],
{c_literal,[],true},
{c_primop,[],
{c_literal,[],match_fail},
[{c_tuple,[],
[{c_literal,[],case_clause},
{c_var,[],'_cor1'}]}]}}]}}},
{{c_var,[],{module_info,0}},
{c_fun,[],[],
{c_call,[],
{c_literal,[],erlang},
{c_literal,[],get_module_info},
[{c_literal,[],basic_types}]}}},
{{c_var,[],{module_info,1}},
{c_fun,[],
[{c_var,[],'_cor0'}],
{c_call,[],
{c_literal,[],erlang},
{c_literal,[],get_module_info},
[{c_literal,[],basic_types},{c_var,[],'_cor0'}]}}}]}
但是没有行col/nos。所以我可以得到一个生成JS的AST--但关键是不能生成SourceMap。
问题1如何获得所需的行信息-(我已经可以从“普通”Erlang标记中获得列信息...)
Erlang Core在生产过程中与普通Erlang稍有不同,因为它开始用函数调用中的变量名替换自己的内部变量名,这也会导致一些源代码Map问题。下面的Erlang子句就是一个例子:
bish_fn(A) ->
case A of
bash -> berk;
bosh -> bork
end.
Erlang AST很好地保留了名称:
[{function,
{31,{1,8}},
bish_fn,1,
[{clause,
{31,none},
[{var,{31,{11,12}},'A'}],
[[]],
[{'case',
{32,none},
[{var,{32,{11,12}},'A'}],
[{clause,
{33,none},
[{atom,{33,{9,13}},bash}],
[[]],
[{atom,{34,{13,17}},berk}]},
{clause,
{35,none},
[{atom,{35,{9,13}},bosh}],
[[]],
[{atom,{36,{13,17}},bork}]}]}]}]}]},
Core Erlang已经改变了函数中调用的参数的名称:
'bish_fn'/1 =
%% Line 30
fun (_cor0) ->
%% Line 31
case _cor0 of
%% Line 32
<'bash'> when 'true' ->
'berk'
%% Line 33
<'bosh'> when 'true' ->
'bork'
( <_cor1> when 'true' ->
primop 'match_fail'
({'case_clause',_cor1})
-| ['compiler_generated'] )
end
问题2是否可以在Core Erlang中保留或Map变量名?
问题3我很欣赏Core Erlang的明确设计,它使编译到Erlang和编写工具来改变Erlang代码变得容易-但问题是,它真的会使编译出Erlang变得容易吗?
选项
我可以派生核心的erlang代码并添加一个源代码Map选项,但我在这里打了懒人牌...
更新
作为对Eric的回应,我应该澄清一下我是如何生成Core Erlang cerl记录的。我首先使用以下命令将普通Erlang编译为Core Erlang:
c(some_module, to_core)
然后我在这个函数中使用core_scan
和core_parse
,这个函数是从compiler.erl
中截取的:
compile(File) ->
case file:read_file(File) of
{ok,Bin} ->
case core_scan:string(binary_to_list(Bin)) of
{ok,Toks,_} ->
case core_parse:parse(Toks) of
{ok, Mod} ->
{ok, Mod};
{error,E} ->
{error, {parse, E}}
end;
{error,E,_} ->
{error, {scan, E}}
end;
{error,E} ->
{error,{read, E}}
end.
问题是我如何/我能让工具链发出一个带注解的AST。我想我需要自己添加这些选项:(
2条答案
按热度按时间sg24os4d1#
1.行号是作为注解提供的。如果您查看一下cerl模块(我非常推荐您使用它),您会发现几乎所有内容都需要一个注解列表。其中一个注解是一个表示行号的未修饰数字。如果我没有记错的话,对于Core AST,atom1_fn var位于第10行。AST如下所示:
{c_变量,[10],{原子1_fn,0}}
1.不,你必须自己做所有的簿记工作。外面没有任何东西可以帮你做。
1.我不太明白这个问题。
Anthony所说的关于Core Erlang的一切都是真的,这也是我选择Core Erlang作为Joxa的目标语言的原因,我从中学到的教训是,虽然Core Erlang是一种非常容易的目标语言,但它有两个主要的缺点,建议不要使用它。
1.您将无法使用在ErlangAST上工作的工具。例如,编译为ErlangSource的能力。CoreErlangto/from源代码编译器有很多错误,根本无法工作。这在许多实用领域是一个重大的胜利。
由于上述原因,我实际上正在将Joxa重定向到ErlangAST。
顺便说一句,你可能会对这个项目感兴趣。https://github.com/5HT/shen。它是一个已经存在并正在工作的ErlangAST的JavaScript编译器。尽管我对它没有太多的经验。
**编辑:您实际上可以看到一个从Erlang源代码生成的core erlang AST。这对学习如何编译到core有很大帮助。
erlware_commons
repo中的ec_compile
有很多实用函数可以帮助您。wd2eg0qa2#
你是怎么得到核心Erlang的?我一直在用
字符串
在这里我得到了一个很好的结构,有c_let c_variable等和很好的行号。但是,我注意到它和我在使用c(“",[to_core])时得到的Core Erlang不一样。例如,我在每次访问记录时得到一个c_case,而这在c(“",[to_core])生成的.core文件中得到了优化。
建议使用什么方法来获取CoreErlang作为Erlang处理的内部结构?
我先尝试了其他的东西,但后来行号没有设置。