有做大数据etl平台方向的巨佬嘛

C4 P0T4T0

2021-06-07T00:02:24+00:00

有做大数据etl平台方向的巨佬嘛
有个自己的项目想要找人一起做，目前的想法是先把东西做出来，后边计划看情况定
主要特点的话
1. 插件化etl平台
2. 多计算引擎支持(flink/spark/local)
3. 全链路监控和错误收集
4. 控制台和命令行客户端支持
目前的团队规模
1.设计和核心代码编写主要是我
2.前端一个
3. web后台一个
我们都算是技术还行，可以自己搞定一面的选手。
希望你：
java或者scala熟练, 代码质量高，负责和我一起进行核心框架开发
另外如果有同行巨佬指点下就更好了，怕自己一个人想的不完善
早上手机打字，可能有些想法表达的不清楚
有兴趣的可以爬楼了解下
有想法的可以回复或者私信[img]http://img.nga.178.com/attachments/mon_201209/14/-47218_5052bc4cc6331.png[/img]
[img]https://img.nga.178.com/attachments/mon_202106/15/-7Q2o-by66ZcT3cS10y-7f.jpeg[/img]
[img]https://img.nga.178.com/attachments/mon_202106/15/-7Q2o-kdtgZbT3cS10y-eu.jpeg[/img]

联系方式的话
wx：WeiWan5675

C4 P0T4T0

之前发过it板，结果没什么人看到应该[img]http://img.nga.178.com/attachments/mon_201209/14/-47218_5052bc521c04b.png[/img]

justroxas

1.你这个用来干嘛
2.能帮我赚多少或者节约多少

cal_modz

你这个有什么用？

梦`

你的ppt写得怎么样啊？

C4 P0T4T0

[quote][pid=524548369,27209786,1]Reply[/pid] Post by [uid=176696]dindin1234[/uid] (2021-06-15 08:15):
1.你这个用来干嘛
2.能帮我赚多少或者节约多少[/quote]额不知道您是否做过etl
我截取下我关于项目介绍的readme吧，这段我觉得可以解释项目的价值了

在主楼[img]http://img.nga.178.com/attachments/mon_201209/14/-47218_5052bc521c04b.png[/img]

hk81

这个不是有不少现成的东西么，一般公司拼拼凑凑就可以，你要卖钱估计比较难

C4 P0T4T0

[quote][pid=524549336,27209786,1]Reply[/pid] Post by [uid=1949670]堕落阿毛[/uid] (2021-06-15 08:21):
这个不是有不少现成的东西么，一般公司拼拼凑凑就可以，你要卖钱估计比较难[/quote]对我知道，所以才要做关于原因我编辑到主楼了[img]http://img.nga.178.com/attachments/mon_201209/14/-47218_5052bc521c04b.png[/img]

!1cyy

你这玩意有什么用？
做日志监控？做性能分析？
毛用

另外flink spark全是坑，一脚一个坑踩屎

Chimcham62

“先把东西做出来，后面计划看情况定”[s:a2:哦嗬嗬嗬]

C4 P0T4T0

[quote][pid=524549634,27209786,1]Reply[/pid] Post by [uid=41106535]不能还倒霉[/uid] (2021-06-15 08:23):
你这玩意有什么用？
做日志监控？做性能分析？
毛用
另外flink spark全是坑，一脚一个坑踩屎[/quote]关于坑：
我可以get到你说的这些坑问题
你说的这些坑，对于我们来说可能就是要解决的问题
需要基于源码做二次开发的
关于用途：
我编辑在主楼了

Jace_

不知道你要干嘛，平台中台我们公司都有做
ETL抽取只是手段
后续还有DW层STD层等等层面的数据分析
之后还有AI,BI，可视化之类的东西
不是你这么三言两语能让人明白你要做的

C4 P0T4T0

[quote][pid=524550251,27209786,1]Reply[/pid] Post by [uid=3438242]w17[/uid] (2021-06-15 08:27):
不知道你要干嘛，平台中台我们公司都有做
ETL抽取只是手段
后续还有DW层STD层等等层面的数据分析
之后还有AI,BI，可视化之类的东西
不是你这么三言两语能让人明......[/quote]我明白所以我现在只是抛砖引玉
简单的说我们要做的是数据流处理平台
etl只是其中一个典型场景

C4 P0T4T0

[quote][pid=524550251,27209786,1]Reply[/pid] Post by [uid=3438242]w17[/uid] (2021-06-15 08:27):
不知道你要干嘛，平台中台我们公司都有做
ETL抽取只是手段
后续还有DW层STD层等等层面的数据分析
之后还有AI,BI，可视化之类的东西
不是你这么三言两语能让人明......[/quote]另外关于etl抽取手段这里，可能我描述的不准确
更准确的含义是
乐高化的数据流处理平台