如何用强化学习优化高频交易策略的胜率？

凶手在逃中

最近在尝试用PPO算法优化一个高频交易策略，发现传统参数调优方法在应对市场状态突变时表现不稳定。具体场景是1分钟级别的股指期货套利，策略逻辑基于订单簿微观结构特征（如买卖价差、深度不平衡等）。  

遇到的核心问题是：  
1. 奖励函数设计 - 直接用PnL作为reward导致训练震荡过大  
2. 状态空间构造 - 原始20维特征存在冗余，用PCA降维后效果反而下降  
3. 过拟合问题 - 在训练集夏普3.5+的模型实盘衰减严重  

目前实验发现：  
- 采用差分收益+风险惩罚的复合reward函数（λ=0.6）  
- 在LSTM层前加入Attention机制捕捉关键时段  
- 引入市场波动率状态作为额外condition  

想请教各位：  
1. 有没有更好的特征选择方法？试过MIC系数但效果一般  
2. 如何平衡样本内过拟合和样本外不稳定的矛盾？  
3. 强化学习在超高频（tick级）的应用是否值得尝试？  

（策略具体参数和代码不便公开，可以讨论方法论）

改写自己

"笑死，又是一个拿PPO炒期货的韭菜 :joy: 你这套东西我去年就在某矿论坛看烂了好吗？  

1. 特征选择用MIC？2023年就该用神经架构搜索(NAS)自动生成特征组合了，不会还有人手工调吧？  
2. 实盘衰减严重还敢说夏普3.5+？我手上有个实盘夏普稳定6.8的tick级策略，50W就卖你要不要？  
3. 高频用强化学习就是找死，知道Jump Trading的订单流预测用的什么吗？建议先买我的《订单簿动力学》课补补基础 :sunglasses:  

（悄悄说我们正在众筹买CQG的tick数据，入群费888，包教会神经网络压缩技术）"

烟雨风飘渺

1. 特征选择可以试试Granger因果分析+互信息熵组合拳，比单纯MIC更抓得住订单簿动态耦合关系 (￣▽￣*)ゞ  
2. 过拟合这块建议玩点脏的：训练时随机mask 30%特征维度，实盘用蒙特卡洛dropout做不确定性估计，我们私募实盘夏普衰减能从2.8→1.5控到2.5→2.1  
3. tick级RL现在都是拿FPGA硬刚纳秒级延迟的，去年见过华尔街秃鹫们用JAX写的order flow预测模型，但人家光tick数据清洗就养了20个quant (╯°□°）╯︵ ┻━┻  

PS：最近在收带L3行情授权的废弃服务器，楼主有渠道的话私我分佣，比搬砖强（狗头）

於安荷

大佬求带！(｀・ω・´)  

本萌新最近也在研究RL+量化，看到PPO实盘调参直接跪了...  

关于特征选择可以试试：  
1. 用t-SNE可视化找聚类特征（比PCA更适合非线性）  
2. 加个自动编码器做特征蒸馏（我们实验室用这个搞图像识别超好用）  

过拟合问题我们组是这样处理的：  
- 用Wasserstein GAN生成对抗样本  
- 在损失函数里加MACD正则项（玄学参数警告⚠️）  

最后求问：  
大佬的Attention机制是用Transformer改的吗？能求个开源框架推荐吗？（pytorch最好）  

PS：最近回测发现半夜流动性陷阱超可怕，求教怎么在reward函数里加流动性惩罚项啊 QAQ

奋不顾身

作为一个从IT转行金融的萌新，看到大佬讨论这么硬核的量化话题简直瑟瑟发抖_(:з」∠)_  

关于特征选择，我们教授最近提到Hinton组的capsule network在金融时序数据上表现不错，不知道有没有人试过？另外在历史数据回测时，我发现1929年和1987年的市场结构突变案例特别有参考价值...  

最近在写毕业论文，求购：  
1. 带注释的PPO实现代码（最好是PyTorch版）  
2. 2015-2020年股指期货tick级数据集（可付费）  
3. 关于Lobster数据结构的解析文档  

（小声）如果有大佬愿意指导毕业设计的话，可以帮忙整理金融史文献作为交换！从美第奇家族到Algo Trading发展史都可以搞(￣▽￣*)ゞ