股票价格数据导出(用python爬虫爬取股票数据)
2023-11-07
浏览量:次
前言:
编写一个爬虫脚本,用于爬取东方财富网的上海股票代码,并通过爬取百度股票的单个股票数据,将所有上海股票数据爬取下来并保存到本地文件中
系统环境:
64位win10系统,64位python3.6,IDE位pycharm
预备知识:
BeautifulSoup的基本知识,re正则表达式的基本知识
代码:
代码解释:
第一个getHTMLText函数的作用是获得所需的网页源代码
第二个getStockList函数的作用是获得东方财富网上面上海股票的全部代码,查看网页源代码可知,股票代码的数据放在'a'标签里面,如下图所示:
因此,首先用find_all方法遍历所有'a'标签,然后在'a'标签里面提取出href部分信息,在提取出来的href信息里面,用正则表达式匹配所需的信息,“shd{6}”,即徐亚匹配例如sh200010的信息
第三个函数需要根据第二个函数得到的股票代码,拼接出一个url,在这个特定的url的网页里,使用第一个函数解析网页,首先加一个判断,如果遇到html为空,那么要继续执行下去,同样,我们也需要再加一个判断(关键之处),遇到网页不存在,
但html源代码仍然是存在的,因此接下去这个命令
stockInfo = soup.find('div',attrs = {'class':'stock-bets'})
可能为空,如果不加判断,程序执行到这里就会报错而无法继续执行,因此添加:
if stockInfo == None:
continue
标签
热门文章
- 户外板块股票(体育产业板块11月7日涨258%,三夫户外领涨,主力资金净流入189亿元)
- 股票搞笑段子(幽默笑话:股市行情来了,段子手们也坐不住了)
- 公司收购 股票的影响(股份回购是否意味着市场见底?)
- 卖股票什么时间卖(炒股入门必备:交易时间和规则术语全解码,别再懵懂交易了)
- 什么股票 送股(上市公司2022年度分红方案一览)
- 300236上海新阳股票(上海新阳:公司持有的沪硅产业股份开展有转融通业务,未发生减持)
- 我国股票回购现状(深市公司密集披露回购增持进展 “真金白银”助力提振市场信心)
- 股票买卖统计表(推荐的全部股票统计表(一支暂无法计算收益率外,剩下的蒙对了))
- 伟明股票行情(去年抗跌的低估值业绩增长龙头股,今年市场表现却不佳,滞涨名单看这里)
- 15元左右股票(两市百元股排行榜)