kas
2021-05-09T07:28:23+00:00
现在有个需求就是需要从同花顺软件上每隔5-10分钟爬一些数据到excel进行简单的计算,这个需求大概要多少预算,或者说有没有模版直接套一个。
你这不叫需求。是个人用还是商用,c端还是b端,app还是web,频率、数据格式、来源都是固定还是可调,保存要什么格式,出错了要不要处理,数据量大的话要集群还是干等。这才叫需求。
[quote][pid=516406113,26775247,1]Reply[/pid] Post by [uid=42436049]西子终结者[/uid] (2021-05-16 15:39):
你这不叫需求。是个人用还是商用,c端还是b端,app还是web,频率、数据格式、来源都是固定还是可调,保存要什么格式,出错了要不要处理,数据量大的话要集群还是干等。这才叫需求。[/quote]新手,对这个没接触过,个人自己使用,电脑端,需要每个5-10分钟获取一些数据,数据量不大,最好是保存成excel格式,进行简单的计算。
看反爬难度 一顿饭到几万块不等[s:a2:不明觉厉]
[s:a2:偷吃] 为啥从同花顺爬, 有些数据有开放的API让你爬的
这个如果同花顺的数据包没加密还好说,虽然不太可能
直接从软件内存爬涉及知识产权问题,类似游戏外挂,逆向工程不合法
另一种就是读取屏幕识别,但是这样做有点蠢
最好是能从网页爬的,至少不涉及逆向法律问题
你先说什么数据吧,常见的量能 成交 股价 有开发平台的,不需要去同花顺
大佬们,我不知道用爬合不合适,我的本意是从同花顺网站或者软件,获取一些数据,比如:有多少个涨停板,具体是哪些涨停板,代码是多少,连续涨停板有多少个,有多少跌停板等等这些数据。
[quote][pid=516406113,26775247,1]Reply[/pid] Post by [uid=42436049]西子终结者[/uid] (2021-05-16 15:39):
你这不叫需求。是个人用还是商用,c端还是b端,app还是web,频率、数据格式、来源都是固定还是可调,保存要什么格式,出错了要不要处理,数据量大的话要集群还是干等。这才叫需求。[/quote]你这些是产品经理要细化的东西
来自客户的需求就是楼主那种
只要不是五彩斑斓的黑那种就算人话
[quote][pid=516408347,26775247,1]Reply[/pid] Post by [uid=3277411]火车不是推的[/uid] (2021-05-16 15:52):
大佬们,我不知道用爬合不合适,我的本意是从同花顺网站或者软件,获取一些数据,比如:有多少个涨停板,具体是哪些涨停板,代码是多少,连续涨停板有多少个,有多少跌停板等等这些数据。[/quote]。。。如果是我来做大概会在tushare或者搜狐金融或者别的什么不反扒的地方把所有股票的每日历史OHLCV的tick数据都拿下来 然后用excel或者python生成多日的涨跌幅列 然后筛选打印一下大于等于10%的股票和多日等于10%的列
感觉直接爬同花顺感觉难度比这个方式大
[quote][pid=516407741,26775247,1]Reply[/pid] Post by [uid=60766025]Mazexal[/uid] (2021-05-16 15:49):
[s:a2:偷吃] 为啥从同花顺爬, 有些数据有开放的API让你爬的[/quote]麻烦问下层主是否爬过啊,求指点迷津。