Dukascopy数据下载协作召集

kuhasu

一个朋友提到Dukascopy的历史数据数据质量比较好，而且可以作为IB，MB Trading这样的ECN外汇的历史数据的有益补充。但是dukascopy提供的免费数据的下载方式实在是麻烦，而且大家也往往没有那个精力浪费在这上面。

Dukascopy外汇历史数据：
http://www.dukascopy.com/plugins/feed_browser/feed.swf

所以我用automate做了个脚本，来自动下载历史数据。但是一两个人的速度还是有限。所以，希望广大大侠、小侠、潜水员同志有对这个历史数据感兴趣的一起参与进来。

建议使用虚拟机以不耽误正常工作，需要以下工具（所有工具我都可以提供）：
1、Automate
2、虚拟机
3、有需要的话我提供精简版的操作系统

大概的效率是这样的，所有数据，每个品种每个月的数据需要的时间是半个小时，一口气一年是6个小时。期间不用任何人为操作，是自动化采集存储。对于采集失败或者不存在的数据，自动记录日志，方便缺失文件查找以及汇总后向Dukascopy报告，要求其进行补充。

有兴趣的请以申领任务的方式报告自己要负责的月份或者年份。对于全部下载后的数据，因为是分文件夹的，打包后由我来处理，之后把整个历史数据再进行发放。对于以后的更新数据，用脚本自己就可以采集了，所以此次合作是一次性合作。

对于共享的问题，请版主把本贴设置个投票，由参与者投票决定是否对外共享。

谢谢！

-------------------------------------
2009.02.11更新

2003-2005 AUDJPY已经完成
数据大小大概为每年350M-400M
请已经参与的同志发邮件或者跟贴告知完成进度。谢谢！

相关文件工具及说明下载：

dukascopy.rar项目文件 435k
dukascopy.rar

VMware.rar虚拟机  51M
VMware.rar

AutoMate6.2.8 21M
Automation.AutoMate.Enterprise.Edition.v6.2.8.0.Incl.KeyMaker-DVT.rar

dukascopy下载代码 22k
dukascopy下载IE窗口改良.aml


-------------------------------------
2009.02.12更新

上面的全部作废，过时了。
请熟悉java代码的大侠帮忙(反编译还将就，编译我就阿菜了)。谢谢!

[ 本帖最后由 kuhasu 于 2009-2-17 21:01 编辑 ]

asfnuts

楼主后来怎么获取到数据的？

hanghangzhu

唯一没看懂的贴子，我C语言很厉害滴说。

asdasddd

请问进展如何了？想弄到几年的质量好的数据，有办法吗？谢谢

kuhasu

这两天把自己以前会的一个武林绝学——斗转星移给忘了，突然间记起心法，一下子一劳永逸地解决了这个数据问题。

谢谢各位的参与，参加协作的各位，不用再辛苦了，准备收数据吧。


（晚上看了珠光宝气的大结局，还看了两个电影：麦克斯佩恩和叶问。珠光宝气和叶问我推荐）

kuhasu

原来是这样，单独数据存储的话，的确是个好主意：）

mugger

把文件都拼起来就成一个了~
你也可以不拼，要什么时间的数据，就读什么文件，反正文件命名都有规则的。
至于数据库，bad idea~

kuhasu

呵呵，这个东西有什么适合不适合自己的，反正搞完数据也是要共享的。
只不过有方便工具，有几个人互相合作，速度快些罢了。
也不是人人都精通数据转换的数据编程，而且精通一种语言的其他的也不一定精通，熟悉编译的不一定熟悉反编译，
只是这样而已。所以才想到了协作的方式。

bin的文件都是单个的，一段儿一段儿的，那你单个文件怎么用呢？还没有数据库的存储是以一大堆bin做基础的吧

mugger

适合自己的才是最好的！
Good luck!

kuhasu

原帖由 mugger 于 2009-2-14 16:30 发表
另外，统一回答一下你的短消息。
我载的是BIN，他是zip压缩的，java有自带的zip解压缩实现，c#也有很多免费的zip解压缩实现。
我没有转成txt，我要的就是二进制的。
某个目录下批量的转化，我想你很容易可以下写一 ...

谢谢 我编程方面实在是菜，尤其用C#，java处理数据方面。所以还是决定直接下载那个csv了，尽管稍微慢些。

附上反编译的swf文件。批量下载的时候月份需要注意的是是从0开始代表1月的。