Dukascopy数据下载协作召集

kuhasu

一个朋友提到Dukascopy的历史数据数据质量比较好，而且可以作为IB，MB Trading这样的ECN外汇的历史数据的有益补充。但是dukascopy提供的免费数据的下载方式实在是麻烦，而且大家也往往没有那个精力浪费在这上面。

Dukascopy外汇历史数据：
http://www.dukascopy.com/plugins/feed_browser/feed.swf

所以我用automate做了个脚本，来自动下载历史数据。但是一两个人的速度还是有限。所以，希望广大大侠、小侠、潜水员同志有对这个历史数据感兴趣的一起参与进来。

建议使用虚拟机以不耽误正常工作，需要以下工具（所有工具我都可以提供）：
1、Automate
2、虚拟机
3、有需要的话我提供精简版的操作系统

大概的效率是这样的，所有数据，每个品种每个月的数据需要的时间是半个小时，一口气一年是6个小时。期间不用任何人为操作，是自动化采集存储。对于采集失败或者不存在的数据，自动记录日志，方便缺失文件查找以及汇总后向Dukascopy报告，要求其进行补充。

有兴趣的请以申领任务的方式报告自己要负责的月份或者年份。对于全部下载后的数据，因为是分文件夹的，打包后由我来处理，之后把整个历史数据再进行发放。对于以后的更新数据，用脚本自己就可以采集了，所以此次合作是一次性合作。

对于共享的问题，请版主把本贴设置个投票，由参与者投票决定是否对外共享。

谢谢！

-------------------------------------
2009.02.11更新

2003-2005 AUDJPY已经完成
数据大小大概为每年350M-400M
请已经参与的同志发邮件或者跟贴告知完成进度。谢谢！

相关文件工具及说明下载：

dukascopy.rar项目文件 435k
dukascopy.rar

VMware.rar虚拟机  51M
VMware.rar

AutoMate6.2.8 21M
Automation.AutoMate.Enterprise.Edition.v6.2.8.0.Incl.KeyMaker-DVT.rar

dukascopy下载代码 22k
dukascopy下载IE窗口改良.aml


-------------------------------------
2009.02.12更新

上面的全部作废，过时了。
请熟悉java代码的大侠帮忙(反编译还将就，编译我就阿菜了)。谢谢!

[ 本帖最后由 kuhasu 于 2009-2-17 21:01 编辑 ]

redstart

很棒的思路

如果需要，算我一个

不过回过头来说，最好的数据是CQG提供的。楼主是要编EA么？呵呵

kuhasu

CQG的数据要如何获得呢？因为我想MT和ECN的在一些细节上数据还是不同的

redstart

https://www.cqgdatafactory.com/
好东西都是要收费的，比eSignal还贵，光一组DM-EURO/GBP 从1971到2009年的数据就要$2783.60


数据格式和是否MM还是ECN没有关系，目前主流经纪商的数据格式应该都是一样的：
TICK: yyyyMMdd HHmmss;price;volume
Minute BAR: yyyyMMdd HHmmss;open price;high price;low price;close price;volume
Daily BAR:yyyyMMdd;open price;high price;low price;close price;volume

现货外汇没有volume，30分钟，60分钟，240分钟等通过min bar来实现，周线，月线等通过daily bar来实现。

kuhasu

原帖由 redstart 于 2009-2-11 17:00 发表
https://www.cqgdatafactory.com/
好东西都是要收费的，比eSignal还贵，光一组DM-EURO/GBP 从1971到2009年的数据就要$2783.60
1375

数据格式和是否MM还是ECN没有关系，目前主流经纪商的数据格式应该都是一样的： ...

那样我是觉得就没什么必要了，呵呵：）
其实这个数据用来做MBtrading的历史数据补充是最好的了

redstart

怎么操作？写个流程

kuhasu

原帖由 redstart 于 2009-2-12 20:48 发表
怎么操作？写个流程

请告诉我邮箱地址。我把追溯到的数据后门和反编译后的代码等文件传给大人。

上面的那一堆可以作废了。

kuhasu

数据下载方面，我先看看速度，如果服务器给的带宽低的话再麻烦大家。

[ 本帖最后由 kuhasu 于 2009-2-12 23:56 编辑 ]

mugger

我载了10来个货币对。
用自己写的java程序载的。
10_sec的数据是从2003年8月开始。下载的压缩数据包每个货币对大概200多M（包括Bid和Ask）。解压后每个货币对大概1.6个G（包括Bid和Ask）

kuhasu

原帖由 mugger 于 2009-2-13 17:06 发表
我载了10来个货币对。
用自己写的java程序载的。
10_sec的数据是从2003年8月开始。下载的压缩数据包每个货币对大概200多M（包括Bid和Ask）。解压后每个货币对大概1.6个G（包括Bid和Ask）

总算遇到个会java的。。。。

我不是java程序员，java很菜，请教下以下代码的意思：

（尤其是stamp.append(time).append("[").append(format.format(time)).append("] / ");
result = prime * result + (int) (temp ^ (temp >>> 32));）


public String toString() {
SimpleDateFormat format = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss.SSSZ");
format.setTimeZone(TimeZone.getTimeZone("GMT"));
StringBuilder stamp = new StringBuilder();
stamp.append(time).append("[").append(format.format(time)).append("] / ");
stamp.append(open).append(" - ").append(close);
return stamp.toString();
}

@Override
public int hashCode() {
final int prime = 31;
int result = super.hashCode();
long temp;
temp = Double.doubleToLongBits(close);
result = prime * result + (int) (temp ^ (temp >>> 32));
temp = Double.doubleToLongBits(high);
result = prime * result + (int) (temp ^ (temp >>> 32));
temp = Double.doubleToLongBits(low);
result = prime * result + (int) (temp ^ (temp >>> 32));
temp = Double.doubleToLongBits(open);
result = prime * result + (int) (temp ^ (temp >>> 32));
temp = Double.doubleToLongBits(vol);
result = prime * result + (int) (temp ^ (temp >>> 32));
return result;
谢谢！！！

[ 本帖最后由 kuhasu 于 2009-2-13 21:10 编辑 ]