有个问题麻烦请教一下程序员。

kas-avatar

kas

2021-05-09T07:28:23+00:00

现在有个需求就是需要从同花顺软件上每隔5-10分钟爬一些数据到excel进行简单的计算,这个需求大概要多少预算,或者说有没有模版直接套一个。
Samvěd-avatar

Samvěd

你这不叫需求。是个人用还是商用,c端还是b端,app还是web,频率、数据格式、来源都是固定还是可调,保存要什么格式,出错了要不要处理,数据量大的话要集群还是干等。这才叫需求。
iwhododo-avatar

iwhododo

我爬百度爬几次它就把我限流了,同花顺没试过
kas-avatar

kas

[quote][pid=516406113,26775247,1]Reply[/pid] Post by [uid=42436049]西子终结者[/uid] (2021-05-16 15:39):

你这不叫需求。是个人用还是商用,c端还是b端,app还是web,频率、数据格式、来源都是固定还是可调,保存要什么格式,出错了要不要处理,数据量大的话要集群还是干等。这才叫需求。[/quote]新手,对这个没接触过,个人自己使用,电脑端,需要每个5-10分钟获取一些数据,数据量不大,最好是保存成excel格式,进行简单的计算。
pinchni-avatar

pinchni

看反爬难度 一顿饭到几万块不等[s:a2:不明觉厉]
jakee-avatar

jakee

现在软件网站都有反扒机制的

爬虫也不怎么好使了
Chase.-avatar

Chase.

[s:a2:偷吃] 为啥从同花顺爬, 有些数据有开放的API让你爬的
ceo de las rallas-avatar

ceo de las rallas

这个如果同花顺的数据包没加密还好说,虽然不太可能
直接从软件内存爬涉及知识产权问题,类似游戏外挂,逆向工程不合法
另一种就是读取屏幕识别,但是这样做有点蠢
最好是能从网页爬的,至少不涉及逆向法律问题
Riyoshi-avatar

Riyoshi

你先说什么数据吧,常见的量能 成交 股价 有开发平台的,不需要去同花顺
kas-avatar

kas

大佬们,我不知道用爬合不合适,我的本意是从同花顺网站或者软件,获取一些数据,比如:有多少个涨停板,具体是哪些涨停板,代码是多少,连续涨停板有多少个,有多少跌停板等等这些数据。
Mr Cookieman-avatar

Mr Cookieman

[quote][pid=516406113,26775247,1]Reply[/pid] Post by [uid=42436049]西子终结者[/uid] (2021-05-16 15:39):
你这不叫需求。是个人用还是商用,c端还是b端,app还是web,频率、数据格式、来源都是固定还是可调,保存要什么格式,出错了要不要处理,数据量大的话要集群还是干等。这才叫需求。[/quote]你这些是产品经理要细化的东西

来自客户的需求就是楼主那种

只要不是五彩斑斓的黑那种就算人话
GorillaDonk-avatar

GorillaDonk

[quote][pid=516408347,26775247,1]Reply[/pid] Post by [uid=3277411]火车不是推的[/uid] (2021-05-16 15:52):

大佬们,我不知道用爬合不合适,我的本意是从同花顺网站或者软件,获取一些数据,比如:有多少个涨停板,具体是哪些涨停板,代码是多少,连续涨停板有多少个,有多少跌停板等等这些数据。[/quote]。。。如果是我来做大概会在tushare或者搜狐金融或者别的什么不反扒的地方把所有股票的每日历史OHLCV的tick数据都拿下来 然后用excel或者python生成多日的涨跌幅列 然后筛选打印一下大于等于10%的股票和多日等于10%的列

感觉直接爬同花顺感觉难度比这个方式大
kas-avatar

kas

[quote][pid=516407741,26775247,1]Reply[/pid] Post by [uid=60766025]Mazexal[/uid] (2021-05-16 15:49):

[s:a2:偷吃] 为啥从同花顺爬, 有些数据有开放的API让你爬的[/quote]麻烦问下层主是否爬过啊,求指点迷津。