Mecz Critter 1.4 - Stockfish 2.2. Critter zdecydowanie wypada lepiej
Mecz Critter 1.4 - Stockfish 2.2 01.01.2012
Win7 64 bit, Time 3' +1" GUI-Arena 3.0
Jak widać Critter 1.4 zwyciężył zdecydowanie w krótkim meczu. W zasadzie w każdej partii, również tych remisowych Stockfish 2.2 był w defensywie.
Win7 64 bit, Time 3' +1" GUI-Arena 3.0
| Engines | Score | 1234567890 | RPerf | ||
|---|---|---|---|---|---|
| 1 | Critter 1.4 64bit | 7.0 / 10 | ==1==11101 | +20 | |
| 2 | Stockfish 2.2 64bit | 3.0 / 10 | ==0==00010 | -20 |
Jak widać Critter 1.4 zwyciężył zdecydowanie w krótkim meczu. W zasadzie w każdej partii, również tych remisowych Stockfish 2.2 był w defensywie.
Witam Panie Jerzy.
OdpowiedzUsuńDoceniam trud związany z prowadzeniem tegoż bloga, jak i testów silników szachowych.
Niestety od pewnego czasu jakość testów tu publikowanych systematycznie spada.
Grają dwa silniki z czołówki o zbliżonej sile gry, a tu miażdżąca przewaga jednego. Czy warto publikować wyniki meczu na krótkich dystansach i tak szybkim tempem, tym bardziej, iż nawet intuicja podpowiada że wynik jest co najmniej dziwny? Czas chyba na zrewidowanie zasad testów.
Na jednym z popularnych forów silników szachowych, gdzie zamieszcza Pan również wyniki swoich testów, spotykał się Pan z krytyką metod testowych. Było to chyba przy okazji wątpliwego zwycięstwa silnika Tankist nad Houdinim w Pańskim teście.
Proszę skorzystać z sugestii czytelników widocznych w wynikach ankiet przeprowadzonych przez Pana.
Oto wyniki silnika Stockfish 2.2 (nie moje, z forum silników szachowych):
Stockfish 2.2 JA - Houdini 2.0 STD (3016) 20.0-32.0
Stockfish 2.2 JA - Critter 1.4 SSE42 (2977) 28.5-24.5
Stockfish 2.2 JA - Komodo 4 SSE42 (2975) 26.5-25.5
Stockfish 2.2 JA - Deep Rybka 4.1 SSE42 (2956) 27.5-24.5
Rzetelne testy ukazują minimalne różnice pomiędzy większością czołowych silników.
Jakie są przyczyny takich rozbieżności w pańskim teście? To już powinien sam Pan stwierdzić.
Pozdrawiam
Witam twurcy Stockfish 2.2 musza jeszcze ppracowac bo Critter 1.4 jest bardzo dobry Pan Jurek ma racje!!..Critter jest bardzo dobrym silnikiem potwierdzam u mnie tez wymiata ale na fritz 11 Win7 64 bit i wymiata:))..POZDRAWIAM!
OdpowiedzUsuńDziękuję za uwagi. Pozwoli Pan, że nadal będę stosował metodę krótkich meczów o krótkim czasie czasu do namysłu. Przy wszystkich minusach jest jeden plus - daje to bardzo szybką odpowiedź na pytanie, czy dany silnik gra dobrze.
OdpowiedzUsuńIdąc Pana tokiem rozumowania, to przytoczone wyniki też nie są wiarygodne bo:
raz 52 partie mimo, że to 5 razy więcej niż 10 to jednak lepiej żeby mecze składały się z 100, 200 czy 500 partii bo to da wiarygodniejsze wyniki.
Dwa: jaki był czas gry (nie Podał Pan tego) może po 1min na partię.
W związku z tym na jakiej podstawie wyciąga Pan wniosek, że te powyższe testy są bardziej rzetelne ?
Czy ma Pan wiedzę, że testerem nie był ktoś z teamu Stockfish ?
Czy sprawdził Pan partie pochodzące z testowanych turniejów aby wykluczyć nieprawidłowości w konfiguracji, książce debiutowej itd ?
Jeśli odpowie Pan twierdząco na dwa ostatnie pytania (choć wątpię czy Pan to wcześniej sprawdził) to przyznam Panu rację, że te testy są rzetelne i bardziej wiarygodne od moich
mam pewien pomysł. może się Panu spodoba. myślę, że mogłby dawać bardziej miarodajne wyniki.
OdpowiedzUsuńa wiec chodzi o to, ze kazdy nowy silnik testowalby pan z kilkoma innym (zawsze tymi samymi) o roznej sile. np. houdini, stockfish (czolowka); fritz, shredder (powiedzmy klasa srednia); i jakies slabsze (tu niech Pan sam wybierze, bo ja sie nie znam, np jakis arasan czy fruit itd)
mysle ze szybkie mecze bylyby w porzadku - 10 partii z kazdym przy czasie 3+1
i na tej podstawie wyliczalby Pan ranking
[tylko nie chodzi mi tu o to, ze kazdy z kazdym, tylko... sam nie wiem jak to powiedziec. we fritzu taki turniej nazywa sie gauntlet] wie pan jak to na polski przetlumaczyc?
Witam zetelne ustawienie parametrow w meczu silnikow ma kluczowe znaczenie popieram:) kazdy test czy krotki czy dlugi ma znaczenie bo gdyby bylo inaczej panowie to stary podczciwy Fritz 11 bylby najleprzy nawet w pariach 4/2minutowych a jednak widac roznice kiedy gra fritz 11 z Critter 1.4 i Fritz11 niema szans..:)
OdpowiedzUsuńMoże określmy jakie to powinny być rzetelnie ustawione parametry meczów np. w programie Arena.To byłoby z korzyścią co chcą testować silniki na swoim komputerze. Jak skonfigurować Arenę do takich meczów ?
OdpowiedzUsuńWłaśnie, jak prawidłowo skonfigurować Arenę do meczów silników ?
OdpowiedzUsuńWynik:
OdpowiedzUsuń"Stockfish 2.2 JA - Critter 1.4 SSE42 (2977) 28.5-24.5" dla mnie mocno podejrzany...
Ponieważ jest bardzo dużo pytań odnośnie konfiguracji Areny, postaram się dziś lub jutro zamieścić duży post na ten temat, tak aby nie odpisywać w komentarzach.
OdpowiedzUsuńWitam a teraz posluchajcie uwaznie kiedys testowalem Houdini 1.5a gral bialymi na arenie na stacjonarnym komputeze z Rybkom 4 na laptopie:)i Houdini 1.5a przegral wyciognelem wnioski ze arena nie wyciaga pelnej mocy z silnikow szachowych.mam takie wtrazenie ze jak patrze jak oblicza warianty arena a program Fritz 11 to cos mi podpowiada ze naprawde warto miec ta gre Fritz 11 i arena w porownaniu z bogactwem jakie ma Fritz 11 niema polotu bo jak samemu sie nie uleprzy areny mam na mysli zmiana ksiozek i dodanie parti to sam program niedaje duzego wyboru silnikom i graja tak jak maja wiadomo ze najnowsze ksiazki i partie zawsze dadza jakas inicjatywe i mysle dlatego wtedy Hodini 1.5a przegral bo mial slabsze partie i debiuty..a byla to partia wzgledem areny 40minut..a Rybka 4 na blyskawicznej 2/4
OdpowiedzUsuńPrzykładowo, tu są wyniki odpowiadające rzeczywistości: http://www.chess2u.com/t5053-1-core-mini-tour
OdpowiedzUsuńWitam najwyzsza pora Panie Jurku zrobic test Stelka 5.1 kontra Critter 1.4 bedzie sie dzialo POZDRAWIAM:)
OdpowiedzUsuńMecz Houdini 2.0c Pro 32 bit-Critter 1.4.,remis
OdpowiedzUsuńWynik 12.5:12.5
Czas na 1 ruch ,5 sekund
Procesor Pentim III 1400 Mhz
Andrzej Opole
u mnie critter zremisowal z houdini 1.5 przy partiach 5min+3s
OdpowiedzUsuńza to w partiach na jedna minute i 1 za ruch critter zdemolowal houdiniego.
Tylko by czekali na Jurka ,a sami doopy ruszyć to niełaska,potestować i pomóc.
OdpowiedzUsuńMecz Critter 1.4 32 bit-Strelka 51 32 bit,wygrała strełka 6:4.Parametry jak wyżej.Ksiązka Yaneo 1.0.
Andrzej Opole
Kolego Andrzej Opole , pomyśl że nie wszyscy potrafią zrobić testy silników przy zachowaniu prawidłowego ustawienia np Areny.
OdpowiedzUsuńPanowie critter 1.4 ma potezna sile gry i mam taka nadzieje a wieze w to ze nastempne dziecko Critter 1.5 rozlozy juz na lopatki kazdy silnik:) Pozdrawiam,a co do Stelki 5,1 wlasnie robie testy..na Fritz 11..na drugim kaputeze.
OdpowiedzUsuńlukaszu wieże ci
OdpowiedzUsuńpanie jurku
posiada pan pierwszy silnik jaki zostal opublikowany ippolit 0.080a? chodzi kongretnie o ten. wersje b itd mnie nie interesuja.
Critter 1.4 ma przypiętą swoją książkę debiutową. Trzeba o tym pamiętać w przypadku testowania bez książek debiutowych i na krótkich czasach na partię. Daje to wówczas olbrzymią przewagę na starcie.
OdpowiedzUsuńKsiążkę można automatycznie wyłączyć w Arenie. Napisałem jak to zrobić w dzisiejszym poście o konfiguracji Areny
OdpowiedzUsuńI tak i nie, polecam dobrze sprawdzić:-)
OdpowiedzUsuńTak można. Jeśli nie wierzysz w ustawienia Areny możesz zawsze usunąć plik book z katalogu Crittera
OdpowiedzUsuńCriiter 1.4-Houdini 1.5a, wygrał Houdini4.5:5.5.
OdpowiedzUsuńParametry jak wyżej,bez książki debiutowej.
Ja tam nie musiałem czekać na Jurka aby się nauczyć obsługi Areny.
Uważam,ze testy enginów powinny być prowadzone bez książki debiutowj i innych wspomagaczy dopalaczy, bo graja ze sobą książki i wspomagacze,dlatego tyle remisów,potem można jeśli ktoś chce z książką i innym dopalaczmi,czasu też nie ustawiać na 1 partie,bo mimo wygranej(mat w kilku ruchach), program przegrywał na czas.W sporcie jeśli ktoś stosuje dopalacze,doping jest dyskwalifikowany.
Może chodzi o to,że Clitter 1.4 ma w sobie książkę debitową,niezależnie od pliku book,tak miał Colossus X, na PC,Amige,Atari ST.
Andrzej Opole
a ja uwazam inaczej. bez ksiazki bedzie duzo przypadkowych wynikow gdyz wiele bedzie zalezec jak silniki beda graly debiuty, a tu bedzie sie liczyc bardziej styl niz sila. nawet przecietny zawodnik moze robic lepsze ruchy na poczatku niz komputer. poki co prawda jest taka ze silnikow nie uzywa sie do grania debiutow i nie sa one na razie tak silne aby ktos optymalizowal je pod tym katem.
OdpowiedzUsuńJeden z testerów przeprowadził właśnie mecz Stockfish 2,2 vs Critter 1.4 złożony ze 100 partii.
OdpowiedzUsuńKontrola czasu trochę nietypowa - 8 minut na partię.
Zwycięzcą okazał się Critter, który zdobył 59,5 punktów (31 zwycięstw, 12 porażek, 57 remisów).
Ippolit 0.080a znajduje się w moim zbiorze silników (140 sztuk) na literę I. Tu odnośnik:
OdpowiedzUsuńhttp://hotfile.com/dl/118237906/1f6bb50/I_ChessEngines.ZIP.html
Zrobiłem test i potwierdziło się moje przypuszczenie,Critter ma w sobie książkę debiutową,ma też dodatkową w pliku book,tą można wyłączyć w Arenie,książki którą ma w sobie nie można wyłączyć w Arenie.Książki debiutów opracowane przez tak zwanych arcymistrzów są niekiedy wadliwe,sam znalazłem taką,grałem z ChessGenius Clasic 7 i rozwaliłem go w kilku pierwszych ruchach oto ta partia która wykazuje jak nie można polegać na książce,oceńcie sami.Pisałem o tym do Geniusa Richarda Langa, kilka lat chyba 10 lat mninęło ,ale gdzie tam do dziś nie poprawił książki.
OdpowiedzUsuń1.e2-e4 e7-e5
2.Sg1-f3 Sb8-c6
3.Sbi-c3 Sg9-f6
4.Gf1-c4 Sf6:e4 skoczek bije piona
5.O-O Se:Sc3
6.d2:Sc3 f7-f6
7.Wf1-e1 Sc6-e7
9.Sf3:e5 f6:e5
10.Hd1-h5+ Se7-g6
11.We1:e5+ Gf8-e7
12.Gc1-g5 d7-d6
13.We5:Gd7+ Hd9:We7
14.Gg5:He7 Ke8:e7
15.Wa1-d1+ Ke7-d7
16.Gc4-e6+ Kd7-c6
17.Hh5-d5+ Kc6-b6
18.a2-a4 c7-c6
19.Hd5-d4+ Kb6-a6
20.Ge6-c4+ b7-b5
21.a4:b5+ Ka6-b7
22.Hd4:d6 Wh8-d8
23.b5:c6+Kb7-b6
24.Hd6:Wd8+ Kb6:c6
25.Gc4:d5+ Kc6-d5
26.Hd8-d6 Gc8-b7
27.Gd5:Gb7 a7-a6
28.Hd6-b4++ Mat
Tak, usunięcie załatwia sprawę, ale zmiana w Arenie niekoniecznie - przy wariancie krótszym. Książka Critter 1.4 czasem ciągnie do 13 ruchów.
OdpowiedzUsuńPrzy okazji moje testy:
http://wstaw.org/m/2012/01/05/turniej_testowy.jpg
Czas: Blitz 1/1
książka debiutowa: HS-12moves.abk
Usunięcie też nie załatwia sprawy sprawdzałem ,sam Clitter 1.4 bez pliku book ma książkę nawet do ponad 10 ruchów.
OdpowiedzUsuńAndrzej Opole
Sluchajcie nie ksiazka decyduje o mistrzostwie a jego parametry i konstrukcja..Panie Jurku potrzebyje ksiazke Yaneo na fritz 11,bylbym bardzo wdzieczny za umieszczenie jej tutaj.dziekuje
OdpowiedzUsuńCritter 1.4 32 bit-Stoskfish 22 32 bit.,parametry jak wyżej.
OdpowiedzUsuńWygrał Ciltter 1.4,wynik 7:3.
Bez książki debiutowej w odrębnym pliku book.
Clitter używał swojej wewnętrznej książki do ponad 10 pos.Stockfish nie używał swojej wewnętrznej książki.Narazie nie wiem jak wyłączyć książkę Clittera,i czy to wogule możliwe,bo jest zaszyta w pliku Clittera.
Dlatego też powinno się testować silniki bez książki debiutowej i między sobą tylko te beż wewnętrznej książki debiutowej.
Jeśli jeden program ma wew.książkę debiutową a drugi nie ,to należy do obu dodać jedną książkę.
Andrzej Opole
dziekuje za ippolit 0.080a, dlugo szukalem bo wiekszosc linkow juz wygasla. mysle, ze pomimo kilku niedociagniec gra lepiej niz pozniejsze wersje robbolito.
OdpowiedzUsuńpostanowil Pan juz jak rozwiaze sprawe lig/turniejow - jaki czas, ile w grupie itd?
testowal Pan kiedys ippolit?
kiedy koniec przeprowadzki?
Łukasz masz rację,to rzecz oczywista,podesłąłem Jurkowi partię w której program Genius miał złą książke debiutową i dostał mata w około 30 pos.
OdpowiedzUsuńJa już pobrałem Yaneo 3 abk,mam program który konwertuje abk na pgn,potrzebuję programu który by konwertował abk na Fritz book.
Podaję link do testów book i enginów,enginy są dośc stare z książkami to nie wiem,może na tej stronie są testy z nowymi enginami,jeszcze dokładnie nie przeglądałem.
Byłbym wdzięczny za konwerter abk na Fritza i pgb na Fritz.
http://www.tpp89.org/p-abk-2.htm
Andrzej Opole
Witam,
OdpowiedzUsuńDużo pytań, ale postaram się odpowiedzieć.
1.Co do Ippolit nie ma sprawy, testowałem go, to dobry silnik, niestety nie pamiętam jak mi wychodziło z wersjami - mam gdzieś na starym komputerze.
2. Co do lig mam już pogląd, napiszę o tym niebawem, ruszę ligi chyba w lutym (może jeszcze w styczniu) jednak wiąże się to z odp. na kolejne pytanie.
3.Przeprowadziłem się już, ale internet mam od 3 dni, ruter zainstalowałem wczoraj - natomiast stopniowo przenoszę "graty" , w tym stare komputery a jest tego trochę.
Ta stronka jest MEGA!!..zafajna pozdrawiam wszystkich szachistow i czytelnikow..kazdy trd pracy sie oplaca jak widzi sie jaka radosc daja takie male kaciki szachowe..
OdpowiedzUsuń