だいぶ前にNHKのニュースで司法試験予備試験の試験問題を当てただとかなんとか言ってたのを思い出して検索かけてみましたところ、社労士試験版もあり、しかも無料だったのでダウンロードしてやってみた。
NHKのニュースでは「この実際の試験問題の問題文の文章とほぼ一致してました」……的なことを言ってたのですけれど。
教師データとして過去問を食わせて、過去問で新たな5肢択一問題を作ったんですね。
……なんだ。実際の試験で一致してたという問題は、過去問の焼き直しだったわけですね。
社労士版は、去年の予測をさせたところカテゴリー的中率が64.3%とうたっておりましたが……カテゴリー的中率ってのが曲者ですな。
過去問、テキストを教師データとして食わせて、124カテゴリーに分類したそうな。
そこから7科目70問の予測をしたと。
で、カテゴリー的中率が64.3%だったと。
この手のAI解析の的中率%っていうのは、普通の感覚の%とはかなり異なっているのですよ。
……と、多少なりともおしごとでAI解析に関わっているわたしが言ってみる。
なので、この数値が高いのか低いのかよくわかんないんですよね。
単純に考えると
1科目平均17.7カテゴリーでしょ?
そこから10問選ぶんでしょ?
ランダム選択で何%的中になるんだろう???
最低値のでも20〜30%の的中値になってしまうんじゃないのかな、これ?
あとカテゴリーの数は十分なのでしょうか?
極端なこと言えば、7という科目数と同じカテゴリー数にすれば、カテゴリー的中率は100%になるはずですから。
(ちなみに便宜上7科目という書きかたをしてますが、当然社労士試験受験生ですので主要法令8つ、社会一般、労働一般に多数の法令が含まれるってのは熟知しておりますので)
あ。
問題としては、非常に良い感じでした。この試験直前期にやるには、非常に良い感じでした。
なにせ過去問ベースの問題ですから、言葉遣いだとかの違和感がまったくなく、変な癖や感覚がつかなくって良いと思います。
結構、新鮮な感覚で解答していけました。
ざっとやってみたところ70点満点中の58点となりました。。。。
まぁ、過去問ベースだというのもありますが………完全にオーバーキル状態ですな。
例年、6割強が合格ラインですから。
ただ法改正で表現が非常にグレーな選択肢がありました。
○なのか☓なのか、それだけでは判断できないグレーなのが。昔は○だったけれど、法改正で今はそのままの表現だと☓とも考えられるってのが。
そういうのは修正して欲しかったな…と。
問題は、この5肢択一式の方じゃなくって、選択式の方なんですよね。
即死の恐怖がつきまとう。
あと4日。。。。