百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 编程字典 > 正文

获取收盘数据,处理为线性回归数据,Python库让你轻松搞定

toyiye 2024-06-21 12:36 15 浏览 0 评论


下面的代码是通过东财的 api 的获取数据,然后对数据进行线性回归,求得不同时间段的线性回归数据,包括线性回归期望值、残差标准差、斜率、截距、相关系数、P 值、标准误差。

代码

import pandas as pd
import requests
import numpy as np
import json
from scipy import stats
from datetime import datetime, timedelta
# 通过东方财富api获取K线数据
def json_to_dfcf(secid, fields1, fields2, klt, fqt, beg, end, lmt):     # 参数参考我的东方财富api文档
    url = f'http://push2his.eastmoney.com/api/qt/stock/kline/get?&secid={secid}&fields1={fields1}&fields2={fields2}&klt={klt}&fqt={fqt}&beg={beg}&end={end}&lmt={lmt}'
    response = requests.get(url)
    data = response.json()['data']['klines']    # 获取json数据下的'data',再获取'data'下的'klines'数据
    data = [x.split(',') for x in data]     # 数据以',',将数据循环的放到pandas中
    df = pd.DataFrame(data, columns=['close'],dtype=float)
    return df
print(json_to_dfcf('0.000001','f1','f53',101,1,20230101,20230314,0))
json_to_dfcf('0.000001','f2','f53',101,1,20230101,20230314,0).to_csv('东方财富.csv')

# 东方财富api获取指数、股票、场内基金的线性回归期望值和残差标准差等
def linear_regression_dfcf(symbol, years_list):    # 参数分别为代码,种类和调取数据年份列表
    df_list = []    
    for many_years in years_list:   # 将调取年份列表放入循环
        # 获取指定股票近多少年的收盘价数据
        today = datetime.now().date()   # 获取当前时间
        start_date = (today - timedelta(days=365*many_years)).strftime('%Y%m%d')    # 获取多少年之前的时间
        end_date = today.strftime('%Y%m%d')     # 对今天的时间设置取结束时间,总设定格式        
        y = json_to_dfcf(symbol,'f1','f53',101,1,start_date,end_date,0)["close"]    # 调取自定义函数中的"close"列
        x = np.arange(len(y))
        slope, intercept, r_value, p_value, std_err = stats.linregress(x, y)
        expected_value = intercept + slope * len(y)     # 计算期望值
        residuals = y - (intercept + slope * x)     # 残差
        std_residuals = np.std(residuals)   # 残差标准差
        # 构建结果DataFrame
        index=[f"{many_years}year_expected_value", f"{many_years}year_std_residuals", f"{many_years}year_slope", f"{many_years}year_intercept", f"{many_years}year_r_value", f"{many_years}year_p_value", f"{many_years}year_std_err"]
        data = [expected_value, std_residuals, slope, intercept, r_value, p_value, std_err]
        # 上面数据分别表示线性回归期望值、残差标准差、斜率、截距、相关系数、P值、标准误差
        result_df = pd.DataFrame(data=[data], index=[symbol], columns=index)
        df_list.append(result_df)
    result = pd.concat(df_list, axis=1)
    return result
    
# 通过读取excel中的列“代码”(注意导入的是str,不是int),进行怎么,需要借助自定义函数dustom_functions(code, kind)
def get_circulate_xslx_str(kind, file_index_code,sheet):   # 参数为导入的excel表格和第几张表
    codes = pd.read_excel(file_index_code, sheet_name=sheet, engine='openpyxl')['代码'].astype(str).tolist() # 读取csv文件,选择“代码”列,并将其转换为列表。int导入的是整数型
    all_data = pd.DataFrame()
    for code in codes:
        ratios = dustom_functions(code,kind) # 假设有一个名为get_valuation_ratios的函数,返回指定股票的估值比率数据。
        all_data = pd.concat([all_data, ratios])
    return all_data
    
# 调取自定义函数,进行循环获取数据
def dustom_functions(code, kind):
    if kind == 'api线性回归':
        return linear_regression_dfcf(code, [7,3,1])
print(linear_regression_dfcf('1.000300', [7,3,1]))
print(get_circulate_xslx_str('api线性回归','测试.xlsx',0))   # 注意,需要更改测试中的代码,在东财api中需要加入市场,比如0.000001


代码说明

代码主要是对于 Python 中常用的数据处理、Web 开发、爬虫和机器学习等领域的应用进行了展示。具体包括:

  1. 使用 pandas、requests、numpy、json、scipy 等库对于数据进行处理和分析。
  2. 自定义函数 json_to_dfcf,通过东方财富 api 获取 K 线数据,并将数据放到 pandas 中。
  3. 自定义函数 linear_regression_dfcf,通过东方财富 api 获取指数、股票、场内基金的线性回归期望值和残差标准差等。
  4. 自定义函数 get_circulate_xslx_str,通过读取 excel 中的列“代码”,进行循环获取数据。
  5. 调用自定义函数 dustom_functions,进行循环获取数据。

其中,代码中的一些具体细节需要注意,比如:

  1. 在使用 selenium 包时,需要改用 Edge 浏览器的框架。
  2. 在调用自定义函数 get_circulate_xslx_str 时,需要注意导入的是 str,而不是 int 类型的数据。
  3. 在调用自定义函数 linear_regression_dfcf 时,需要将代码加入市场,比如 0.000001。

相关推荐

为何越来越多的编程语言使用JSON(为什么编程)

JSON是JavascriptObjectNotation的缩写,意思是Javascript对象表示法,是一种易于人类阅读和对编程友好的文本数据传递方法,是JavaScript语言规范定义的一个子...

何时在数据库中使用 JSON(数据库用json格式存储)

在本文中,您将了解何时应考虑将JSON数据类型添加到表中以及何时应避免使用它们。每天?分享?最新?软件?开发?,Devops,敏捷?,测试?以及?项目?管理?最新?,最热门?的?文章?,每天?花?...

MySQL 从零开始:05 数据类型(mysql数据类型有哪些,并举例)

前面的讲解中已经接触到了表的创建,表的创建是对字段的声明,比如:上述语句声明了字段的名称、类型、所占空间、默认值和是否可以为空等信息。其中的int、varchar、char和decimal都...

JSON对象花样进阶(json格式对象)

一、引言在现代Web开发中,JSON(JavaScriptObjectNotation)已经成为数据交换的标准格式。无论是从前端向后端发送数据,还是从后端接收数据,JSON都是不可或缺的一部分。...

深入理解 JSON 和 Form-data(json和formdata提交区别)

在讨论现代网络开发与API设计的语境下,理解客户端和服务器间如何有效且可靠地交换数据变得尤为关键。这里,特别值得关注的是两种主流数据格式:...

JSON 语法(json 语法 priority)

JSON语法是JavaScript语法的子集。JSON语法规则JSON语法是JavaScript对象表示法语法的子集。数据在名称/值对中数据由逗号分隔花括号保存对象方括号保存数组JS...

JSON语法详解(json的语法规则)

JSON语法规则JSON语法是JavaScript对象表示法语法的子集。数据在名称/值对中数据由逗号分隔大括号保存对象中括号保存数组注意:json的key是字符串,且必须是双引号,不能是单引号...

MySQL JSON数据类型操作(mysql的json)

概述mysql自5.7.8版本开始,就支持了json结构的数据存储和查询,这表明了mysql也在不断的学习和增加nosql数据库的有点。但mysql毕竟是关系型数据库,在处理json这种非结构化的数据...

JSON的数据模式(json数据格式示例)

像XML模式一样,JSON数据格式也有Schema,这是一个基于JSON格式的规范。JSON模式也以JSON格式编写。它用于验证JSON数据。JSON模式示例以下代码显示了基本的JSON模式。{"...

前端学习——JSON格式详解(后端json格式)

JSON(JavaScriptObjectNotation)是一种轻量级的数据交换格式。易于人阅读和编写。同时也易于机器解析和生成。它基于JavaScriptProgrammingLa...

什么是 JSON:详解 JSON 及其优势(什么叫json)

现在程序员还有谁不知道JSON吗?无论对于前端还是后端,JSON都是一种常见的数据格式。那么JSON到底是什么呢?JSON的定义...

PostgreSQL JSON 类型:处理结构化数据

PostgreSQL提供JSON类型,以存储结构化数据。JSON是一种开放的数据格式,可用于存储各种类型的值。什么是JSON类型?JSON类型表示JSON(JavaScriptO...

JavaScript:JSON、三种包装类(javascript 包)

JOSN:我们希望可以将一个对象在不同的语言中进行传递,以达到通信的目的,最佳方式就是将一个对象转换为字符串的形式JSON(JavaScriptObjectNotation)-JS的对象表示法...

Python数据分析 只要1分钟 教你玩转JSON 全程干货

Json简介:Json,全名JavaScriptObjectNotation,JSON(JavaScriptObjectNotation(记号、标记))是一种轻量级的数据交换格式。它基于J...

比较一下JSON与XML两种数据格式?(json和xml哪个好)

JSON(JavaScriptObjectNotation)和XML(eXtensibleMarkupLanguage)是在日常开发中比较常用的两种数据格式,它们主要的作用就是用来进行数据的传...

取消回复欢迎 发表评论:

请填写验证码