Home

RK 2004 Tournament
8 engines, 140 rounds, 560 games, Athlon 1.3/64 MB hash
All games played under ChessBase Fritz8-GUI
Time control: 90m+30s, ponder=off, 3-/4-men EGTB
Books: see below, no book learning
 book options=use book, tournament book, optimize
Participants / Book used / Author of engine:
Aristarch 4.41 UCI  (aristarch.boo) by Stefan Zipproth
Fritz 8.0.0.26  (fritz8.ctg) by Frans Morsch
Hiarcs 9  (hiarcs9.ctg) by Mark Uniacke
Junior 8.0.0.2  (junior8.ctg) by Amir Ban
List 513 UCI  (general.ctg) by Fritz Reul
Ruffian 2.1.0 UCI  (Leiden book) by Perola Valfridsson
Shredder 8  (shredder8.ctg) by Stefan Meyer-Kahlen
The King 3.23 X = CM9 T06  (fritz532.ctg) by Johan de Koning
 Tester: Kurt Utzinger / Rolf Bühler, Switzerland

Download Games
 

Anmerkungen zum Turnier

Einleitend der Hinweis, dass das RK 2004 das längste von uns je durchgeführte Turnier war. Die Bedingungen sind oben im Detail aufgeführt. Aber auch einige Bemerkungen in Bezug auf das Vermeiden von falschen Schlussfolgerungen. Betrachtet man die einzelnen 20 Serien über je 28 Partien bzw. je 7 Partien pro Engine, dann fällt auf, dass Shredder 8 doch fünf Mal erfolgreich war, analog wie Junior 8, der gar  eine zusätzliche Serie (Nr. 12) mit gleich viel Punkten wie Ruffian 2.1.0 abschloss. Viermal Seriensieger war Hiarcs 9, während Aristarch 4.41 und Ruffian 2.1.0 dieses Ziel nur einmal erreichten, List 5.13 überhaupt nie. Das hinderte allerdings die Engine von Fritz Reul nicht, im Turnier mit 63.0 Punkten gesamthaft immerhin 9.5 Punkte mehr als Aristarch 4.41 mit 53.5 Punkten zu ergattern. Wie wichtig es ist, möglichst viele Partien zu spielen, zeigt auch der Umstand, dass es immer wieder Serien geben kann, wo selbst die besten Engines unerwartet schlechte Resultate bringen. So konnte Shredder 8 in Serie 18 beispielsweise nur 1.5/7 erzielen. Den Vogel abgeschossen hat - im negativen Sinn - Ruffian 2.1.0 in Serie 4 mit 0.5/7 Punkten. Überhaupt darf man selbst dieses Grossturnier von den Resultaten her nicht überbewerten. Denn schliesslich hat jede Engine nur gerade je 20 Partien gegen alle übrigen Engines absolviert. Und nach unseren Erfahrungen ist das eben noch immer zu wenig, um Aussagen zu wagen, dass Programm A besser ist als Programm B. Indessen ist es auffällig, dass in solchen Turnier fast ausnahmslos die angeblich besten Programme doch stets an der Spitze mitmischen, was auch nicht immer nur Zufall sein kann.

Was würde man zu einem [solch kurzen] Turnier mit diesem - wie man sieht, durchaus möglichen - Ausgang sagen? Letzter Platz für Shredder 8 mit nur gerade mal 7.0/21 Partien. Es handelt sich hier um die Partien der Serien 7, 18 und 20 mit wirklich schlechtem Ende für den Turniersieger. Also ein klarer Beweis dafür, dass man kurze Turniere nicht sehr wichtig nehmen darf.

Um zu zeigen, wie relativ doch alle Statistik ist, haben wir uns auch die Mühe gemacht, die drei besten Serien von Aristarch 4.41 zusammenzustellen. Und das sieht dann für den letzten des Turniers absolut erfreulich und wie folgt aus:

Diese zwei warnenden Beispiele aus dem absolvierten Turnier belegen erneut zwei Dinge sehr deutlich. Erstens ist es möglich, aus dem ganzen Turnier weitere Daten zu filtern, mit denen praktisch alles “bewiesen” werden könnte. Zweitens lässt sich ableiten, dass die Wahrscheinlichkeit einer annährend korrekten Spielstärkeeinschätzung von Programmen mit steigender Partienzahl natürlich zunimmt. Und ferner, dass in jedem [kurzen] Turnier so ziemlich alles passieren kann. Man sollte also die Resultate von Turnieren - selbst gespielte oder fremde - nicht dazu nutzen, um unnötige Glaubenskriege zu führen.

Interessant war, dass bei fünf von sechs in diesem Turnier gespielten Dubletten (absolut identische Partien zwischen denselben Gegnern) stets Junior 8 die Hände im Spiel hatte. Diese Partien wurden wiederholt und ersetzt. Das ist für uns der einzige Weg, um mit solchen Dingen umzugehen. Wenn wir schon bei Junior 8 sind, so bleibt festzustellen, dass das israelische Programm mit Weiss und der Eröffnung ECO B80 total 16 Partien absolviert hat mit einem Top-Resultat von 13,0-3,0 (11 Siege, 2 Remis, 3 Niederlagen) oder einer Gewinnquote von 81 Prozent . Aber mit Weiss kam auch ECO E25, ein Nimzoinder mit 4.f3 in 20 Partien zur Ehre mit einem Score von 13.5/20 oder 67,5 Prozent.

Kein Programm blieb von einer Matchniederlage verschont. Shredder 8 erwischte es mit 8,5-11,5 gegen seinen Stallbruder Fritz 8. Aber abgesehen von einem 10,0-10,0 Remis gegen CM9 T06, konnte Shredder 8 gegen alle übrigen Gegner gewinnen.  Der zweitplatzierte Junior 8 musste sich bereits mit zwei Niederlagen in den Matches gegen Shredder 8 und Fritz 8 abfinden. Positiv aufgefallen ist uns Hiarcs 9, die oftmals zu wenig beachtete Top-Engine von Mark Uniacke. Mit etwas mehr Schlachtglück hätte auch dieses Programm den Turniersieg davontragen können, denn die Niederlage gegen Shredder 8 fiel mit 7,0-13,0 etwas gar zu hoch aus.  Dass Fritz 8 am Ende nur auf Platz 4 landete, hat damit zu tun, dass das Programm von Frans Morsch gegen Ruffian 2.1.0 mit 8,5-11,5 verlor und gegen das Schlusslicht der Tabelle (Aristarch 4.41) nur denkbar knapp mit 10,5-9,5 gewinnen konnte. Ueberhaupt ist es bemerkenswert, dass die Differenz nach je 140 gespielen Partien pro Engine zwischen dem 1. bis 5. Platz mit 7,5 Punkten recht gering ausgefallen ist. Ein schweres Leben bzw. wenig Glück hatten die Amateure List 5.13 und Aristarch 4.41 in diesem Turnier. Allerdings haben beide Programme - ebenso wenig wie Ruffian 2.1.0 - nicht enttäuscht, denn es lassen sich leicht auch sehr gute Partien dieser drei Engines finden. Inwieweit das Leiden-Buch für Ruffian 2.1.0 ein Handicap darstellte, ist schwer auszumachen, denn mit Weiss spielte Ruffian 2.1.0 fast ausschliesslich nur 1.d4 als ersten Eröffnungszug. Was The King 3.23 X (CM9 T06) anbetrifft, verweisen wir auf den nachfolgenden Abschnitt.

Nicht zufrieden sind wir mit The King 3.23, denn das X-Setting (CM9 T06) handelte sich drei Niederlagen ein gegen Junior 8 (9,5-10,5) und Fritz 8 (8,5-11,5) sowie gegen Amateur List 5.13 (9,5-10,5), was dann wegen der noch zusätzlichen drei Remis-Matches gegen Shredder 8, Hiarcs 9 und Ruffian 2.1.0 nur gerade mal zum 5.Platz reichte. Jedenfalls werden wir das CM9 T06 Setting nicht veröffentlichen, weil es unsere Erwartungen nicht erfüllt hat. Wir haben deshalb das RK 2004 Turnier zum Anlass genommen, um weitere Settings von The King 3.23 zu testen. Zu diesem Zweck löschten wir alle Partien von CM9 T06 und spielten jeweils alle Partien mit verschiedenen Settings und teilweise auch anderen Büchern nach und verglichen am Ende die jeweilige Turniertabelle. In den meisten Fällen konnten wir bereits in der Halbzeit (nach 70 gespielten Partien) abbrechen, weil sich abzeichnete, dass keine echte Verbesserung feststellbar war. Dazu geben wir die folgenden Vergleiche:

36.5/70 = CM9 T06 mit fritz532.ctg  (wie Original RK 2004 Turnier)
36.5/70 = CM9 T06 mit fritz7.ctg
36.0/70 = CM9 R1   mit fritz7.ctg  (Setting von Wilhelm Hudetz)
34.0/70 = CM10k    mit fritz7.ctg  (Chessmaster 10000 default)
32.6/70 = CM9 SKR mit fritz7.ctg

Bemerkenswert auch, dass der neue Chessmaster 10000 (The King 3.33) mit der Orginaleinstellung  auch keine Bäume ausgerissen hat. Allerdings werden wir CM10k Default auch noch die nächsten 10 Serien spielen lassen. Das Testen mit anderen Settings war noch weniger erfolgreich, so dass wir schon beinahe den Geist aufgaben. Dann kam jedoch das neue CM9 T05 Setting. Dieses hatten wir vorgängig in verschiedenen Matches angetestet mit sehr guten Resultaten:

Resultate von CM9 T05 (40'/40) 5moves.ctg

1) 64 %  20.5/32  vs Aristarch 4.41
2) 50 %  15.0/30  vs Chess Tiger 15
3) 62 %  18.5/30  vs Fritz 8.0.0.26
4) 43 %  13.0/30  vs Hiarcs 9
5) 53 %  17.0/32  vs Junior 8
6) 60 %  18.0/30  vs List 512
7) 72 %  26.5/37  vs Nimzo 7.32
8) 56 %  17.0/30  vs Shredder 8

Wir waren deshalb optimistisch, dass dieses CM9 T05 Setting mit fritz7.ctg auch im RK 2004 gut abschneiden würde. Und das war denn auch der Fall, und zwar auf eine Weise, die uns nur Staunen entlockte. Hätte im RK 2004 also dieses Setting mitgespielt, so sähe die Rangliste wie folgt aus:

Download Games CM9 T05

Im ersten Moment ist man bass erstaunt und kann es fast nicht glauben: Sieg von CM9 T05 mit 10,5 Punkten Vorsprung vor Shredder 8.  Bei nüchterner Betrachtung der Sachlage fallen dann jedoch die gewaltig hohen Siege von CM9 T05 gegen Aristarch 4.41 mit 17,0-3,0 und von 15,5-4,5 gegen Ruffian 2.1.0 auf.  Dass CM9 T05 auch mit jeweils 12,0-8,0 gegen Hiarcs 9 und Fritz 8 sowie gegen List 5.13 gewinnen konnte, dürfte etwas zufällig sein. Es wäre also vollkommen falsch - ein typischer Fehler, den man machen könnte - aus diesem Superresultat abzuleiten, dass CM9 T05 die absolute Traumengine und besser wäre als alle übrigen Profiprogramme. All das wäre masslos übertrieben, obwohl wir ziemlich sicher sind, dass dieses Setting für längere Bedenkzeiten zu den besten je entwickelten CM9-Settings gehört.

Die Parameter für das CM9 T05 Setting  lauten wie folgt:

****************************************************
CM9_T05.CMP
Created by Kurt Utzinger, Rolf Buehler
[Setting under CM9-GUI]
****************************************************

A/D  (Attack/Defender)     [   0]          M/P  (Material/Position)  [   0]
S/P  (Strength of Play)       [ 100]       C/C  (Control of Center)   [ 105]
Rand (Randomness)           [   0]          MOB  (Mobility)                   [ 110]
MSD  (Max Search Depth)  [  99]         K/S  (King Safety)              [ 155]
SS   (Selective Search)       [  12]         P/P  (Passed Pawns)        [ 100]
C/D  (Contempt for Draw) [   0]           P/W  (Pawn Weakness)   [ 100]

OWN                    OPPONENT
Queen  [ 9.1]    Queen   [ 9.0]
Rook    [ 5.0]      Rook    [ 5.0]
Bishop  [ 3.0]    Bishop  [ 3.0]
Knight  [ 3.0]     Knight  [ 3.0]
Pawn    [ 1.0]     Pawn    [ 1.0]


*************************
CM9_T05 textfile
[for use outside CM9-GUI]
*************************
;---- CM9_T05.txt
; A personality created by Kurt Utzinger, Rolf Bühler
cm_parm opp=100 opn=100 opb=100 opr=100 opq=100
cm_parm myp=100 myn=100 myb=100 myr=100 myq=101
cm_parm cc=105 mob=110 ks=155 pp=100 pw=100
cm_parm cfd=0 sop=100 avd=0 rnd=0 sel=12 md=99
;---- File end


***********************************
CM9_T05 InitString=
[for use outside CM9-GUI]
***********************************
[ENGINE]
Name=The King 3.23 SKR
Author=Johan de Koning, NED
Filename=Wb2Uci.exe

[OPTIONS]
Program=c:\programme\ubi soft\chessmaster 9000\TheKing.exe
InitString=cm_parm default\ncm_parm opk=229570\ncm_parm tts=67108864 opp=100 opn=100 opb=100 opr=100 opq=100 myp=100 myn=100 myb=100 myr=100 myq=101 cc=105 mob=110 ks=155 pp=100 pw=100 cfd=0 sop=100 avd=0 rnd=0 sel=12 md=99
HashOnCommandline=false
InitTime=2
Ponder=false
Logfile=false
Edit=setboard
UseSAN=false
Priority=normal
AddHintMove=false
ShowThinkingMove=true
Protocol=1

Turnierverlauf nach Serien

Wenn auch die untenstehende Zusammenstellung der einzelnen Serien bezeugt, dass in wenigen Partien praktisch fast alles passieren kann, so mutet der gesamte Turnierverlauf doch eher langweilig an. Denn die so genannte Fortschrittstabelle sieht wie folgt und recht eintönig aus:

Nach Serie 1    (28 Partien)    =  Hiarcs 9       mit    5.0/7
Nach Serie 2    (56 Partien)    =  Hiarcs 9       mit    8.0/14
Nach Serie 3    (84 Partien)    =  Shredder 8  mit  12.0/21
Nach Serie 4    (112 Partien)  =  Shredder 8  mit  18.0/28
Nach Serie 5    (140 Partien)  =  Shredder 8  mit  23.0/35
Nach Serie 6    (168 Partien)  =  Shredder 8  mit  27.0/42
Nach Serie 7    (196 Partien)  =  Shredder 8  mit  29.5/49
Nach Serie 8    (224 Partien)  =  Shredder 8  mit  33.0/56
Nach Serie 9    (252 Partien)  =  Shredder 8  mit  37.5/63
Nach Serie 10  (280 Partien)  =  Shredder 8  mit  40.5/70
Nach Serie 11  (308 Partien)  =  Shredder 8  mit  44.5/77
Nach Serie 12  (336 Partien)  =  Shredder 8  mit  48.0/84
Nach Serie 13  (364 Partien)  =  Junior 8        mit  52.5/91
Nach Serie 14  (392 Partien)  =  Shredder 8  mit  57.0/98
Nach Serie 15  (420 Partien)  =  Shredder 8  mit  63.0/105
Nach Serie 16  (448 Partien)  =  Shredder 8  mit  67.0/112
Nach Serie 17  (476 Partien)  =  Shredder 8  mit  70.5/119
Nach Serie 18  (504 Partien)  =  Shredder 8  mit  72.0/126
Nach Serie 19  (532 Partien)  =  Shredder 8  mit  75.5/133
Nach Serie 20  (560 Partien)  =  Shredder 8  mit  78.5/140

Serie 1 (games 1-28)
Winner = Hiarcs 9

Serie 2 (games 29 - 56)
Winner = Junior 8

Serie 3 (games 57 - 84)
Winner = Shredder 8

Serie 4 (games 85 - 112)
Winner = Shredder 8

Serie 5 (Games 113 - 140)
Winner = Junior 8

Serie 6 (Games 141 - 168)
Winner = Junior 8

Serie 7 (Games 169-196)
Winner = Hiarcs 9

Serie 8 (Games 197-224)
Winner = Aristarch 4.41

Serie 9 (Games 225 - 252)
Winner = Shredder 8

Serie 10 (Games 253 - 280)
Winner = The King 3.23 X / Fritz 8.0.0.26

Serie 11 (Games 281 - 308)
Winner = Shredder 8 / List 5.13 / Fritz 8

Serie 12 (Games 309 - 336)
Winner = Ruffian 2.1.0

Serie 13 (Games 337 - 364)
Winner = Junior 8

Serie 14 (Games 365 - 392)
Winner = Fritz 8

Serie 15 (Games 393 - 420)
Winner = Shredder 8

Serie 16 (Games 421 - 448)
Winner = The King 3.23 X

Serie 17 (Games 449 - 476)
Winner = Junior 8

Serie 18 (Games 477 - 504)
Winner = Fritz 8 / Hiarcs 9

Serie 19 (Games 505 - 532)
Winner = Hiarcs 9

Serie 20 (Games 533 - 560)
Winner = Hiarcs 9

Home