Dukascopy数据下载协作召集
一个朋友提到Dukascopy的历史数据数据质量比较好，而且可以作为IB，MB Trading这样的ECN外汇的历史数据的有益补充。但是dukascopy提供的免费数据的下载方式实在是麻烦，而且大家也往往没有那个精力浪费在这上面。Dukascopy外汇历史数据：
http://www.dukascopy.com/plugins/feed_browser/feed.swf
所以我用automate做了个脚本，来自动下载历史数据。但是一两个人的速度还是有限。所以，希望广大大侠、小侠、潜水员同志有对这个历史数据感兴趣的一起参与进来。
建议使用虚拟机以不耽误正常工作，需要以下工具（所有工具我都可以提供）：
1、Automate
2、虚拟机
3、有需要的话我提供精简版的操作系统
大概的效率是这样的，所有数据，每个品种每个月的数据需要的时间是半个小时，一口气一年是6个小时。期间不用任何人为操作，是自动化采集存储。对于采集失败或者不存在的数据，自动记录日志，方便缺失文件查找以及汇总后向Dukascopy报告，要求其进行补充。
有兴趣的请以申领任务的方式报告自己要负责的月份或者年份。对于全部下载后的数据，因为是分文件夹的，打包后由我来处理，之后把整个历史数据再进行发放。对于以后的更新数据，用脚本自己就可以采集了，所以此次合作是一次性合作。
对于共享的问题，请版主把本贴设置个投票，由参与者投票决定是否对外共享。
谢谢！
-------------------------------------
2009.02.11更新
2003-2005 AUDJPY已经完成
数据大小大概为每年350M-400M
请已经参与的同志发邮件或者跟贴告知完成进度。谢谢！
相关文件工具及说明下载：
dukascopy.rar项目文件 435k
dukascopy.rar
VMware.rar虚拟机51M
VMware.rar
AutoMate6.2.8 21M
Automation.AutoMate.Enterprise.Edition.v6.2.8.0.Incl.KeyMaker-DVT.rar
dukascopy下载代码 22k
dukascopy下载IE窗口改良.aml
-------------------------------------
2009.02.12更新
上面的全部作废，过时了。
请熟悉java代码的大侠帮忙(反编译还将就，编译我就阿菜了)。谢谢!
[ 本帖最后由 kuhasu 于 2009-2-17 21:01 编辑 ] 很棒的思路 :victory:
如果需要，算我一个:handshake
不过回过头来说，最好的数据是CQG提供的。楼主是要编EA么？呵呵 CQG的数据要如何获得呢？因为我想MT和ECN的在一些细节上数据还是不同的:) https://www.cqgdatafactory.com/
好东西都是要收费的，比eSignal还贵，光一组DM-EURO/GBP 从1971到2009年的数据就要$2783.60
数据格式和是否MM还是ECN没有关系，目前主流经纪商的数据格式应该都是一样的：
TICK: yyyyMMdd HHmmss;price;volume
Minute BAR: yyyyMMdd HHmmss;open price;high price;low price;close price;volume
Daily BAR:yyyyMMdd;open price;high price;low price;close price;volume
现货外汇没有volume，30分钟，60分钟，240分钟等通过min bar来实现，周线，月线等通过daily bar来实现。 原帖由 redstart 于 2009-2-11 17:00 发表 http://www.forex-town.com/images/common/back.gif
https://www.cqgdatafactory.com/
好东西都是要收费的，比eSignal还贵，光一组DM-EURO/GBP 从1971到2009年的数据就要$2783.60
1375
数据格式和是否MM还是ECN没有关系，目前主流经纪商的数据格式应该都是一样的： ...
那样我是觉得就没什么必要了，呵呵：）
其实这个数据用来做MBtrading的历史数据补充是最好的了:) 怎么操作？写个流程 原帖由 redstart 于 2009-2-12 20:48 发表 http://www.forex-town.com/images/common/back.gif
怎么操作？写个流程
请告诉我邮箱地址。我把追溯到的数据后门和反编译后的代码等文件传给大人。
上面的那一堆可以作废了。 数据下载方面，我先看看速度，如果服务器给的带宽低的话再麻烦大家。
[ 本帖最后由 kuhasu 于 2009-2-12 23:56 编辑 ] 我载了10来个货币对。
用自己写的java程序载的。
10_sec的数据是从2003年8月开始。下载的压缩数据包每个货币对大概200多M（包括Bid和Ask）。解压后每个货币对大概1.6个G（包括Bid和Ask） 原帖由 mugger 于 2009-2-13 17:06 发表 http://www.forex-town.com/images/common/back.gif
我载了10来个货币对。
用自己写的java程序载的。
10_sec的数据是从2003年8月开始。下载的压缩数据包每个货币对大概200多M（包括Bid和Ask）。解压后每个货币对大概1.6个G（包括Bid和Ask）
总算遇到个会java的。。。。
我不是java程序员，java很菜，请教下以下代码的意思：
（尤其是stamp.append(time).append("[").append(format.format(time)).append("] / ");
result = prime * result + (int) (temp ^ (temp >>> 32));）
public String toString() {
SimpleDateFormat format = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss.SSSZ");
format.setTimeZone(TimeZone.getTimeZone("GMT"));
StringBuilder stamp = new StringBuilder();
stamp.append(time).append("[").append(format.format(time)).append("] / ");
stamp.append(open).append(" - ").append(close);
return stamp.toString();
}
@Override
public int hashCode() {
final int prime = 31;
int result = super.hashCode();
long temp;
temp = Double.doubleToLongBits(close);
result = prime * result + (int) (temp ^ (temp >>> 32));
temp = Double.doubleToLongBits(high);
result = prime * result + (int) (temp ^ (temp >>> 32));
temp = Double.doubleToLongBits(low);
result = prime * result + (int) (temp ^ (temp >>> 32));
temp = Double.doubleToLongBits(open);
result = prime * result + (int) (temp ^ (temp >>> 32));
temp = Double.doubleToLongBits(vol);
result = prime * result + (int) (temp ^ (temp >>> 32));
return result;
谢谢！！！
[ 本帖最后由 kuhasu 于 2009-2-13 21:10 编辑 ]