Chat GPTが話題となり様々な利用方法が考えられる中で問題点も浮き彫りになってきました。その問題点の１つを解決してくれるのがAI判定ツールです。この記事では、Chat GPTのAI判定ツールについてご紹介していきます。

Chat GPTが作成した偽論文の要旨は精度が高い

OpenAI社がリリースしたChat GPTが生成した偽文章はかなり精度が高いそうです。最新の研究では、Chat GPTが生成した文章を科学者らが3回に1回の割合で本物の論文だと間違えたということが明らかになっています。

不気味さも感じられるほど人間に近い文章を作れるChat GPTは、人工知能と人間の未来について議論を生んでいます。

AI判定ツールとは

Chat GPTなどのチャットボットが発達している中で、AIで作られた文章かどうかを判定するAI判定ツールが重要視されつつあります。

その中でChat GPTを生み出したOpen AI社がAIプログラムによって書かれた文章を判別してくれるAI判定ツールを公開しました。classifier（クラシファイアー）と命名されたこのツールは、Open AI社製の製品以外でも検知することができるものです。

なお、このclassifier（クラシファイアー）には幾つかの限界があり100パーセントの判断を下す手段ではなく1つの判断基準として利用すべきとされています。

理由としては、まだまだ精度が高いとは言えないからです。Open AI社が実施したclassifier（クラシファイアー）の評価実験ではAIが作り出したテキストのうち正確な判定をできたのは26パーセントにとどまっており、人間が書いたテキストの9パーセントをAIが作ったテキストと判断してしまいました。

Chat GPTは、人気を集め利用者もどんどん増えて行く中で学生がレポートや課題を生成するために利用するケースも増えていくと考えられます。

AI文章判別ツールの問題点

AI文章判別ツールは、判別機能が備わってはいますが性能はあまり高くありません。

判別ツールは、基本的にネット上に公開されている膨大なテキストデータを対象に学習させたAI言語のモデルでありAIによる文章の生成された可能性があることを予想できるようにしたものです。トレーニング中にAI文章判別ツールは、ウェブサイトやその他のソースから人間が書いた文章と比較し、文章の出所を示すパターンを学習しようとして精度を上げていきます。

しかし、AI文章判別ツールの精度が上がるとともにAIが生成する文章の質も同じように上がっていくでしょう。継続的にAI文章判別ツールは、トレーニングを続けていかなければ時間の経過とともに精度が下がっていくことになります。

そうなっていくと丸々AIが生成した文章では、わかってしまう未来が来る可能性も高いですが、AIが生成した文章に少し手を加えて整えればどのような判別ツールでも通り抜けることも可能でしょう。文章作成をするAIツールの進歩とそれを使う人が成長していくことにより、AI文章判別ツールが進歩しても永遠のイタチごっこになってしまう可能性があります。

AI文章判別ツールは、今の段階で役に立つ場面が多くあるでしょうがAIによって生成された文章であるという絶対的な証拠になりえるかといったら確実に信頼できるものではないでしょう。

AIが作成した文章をめぐる問題を解決するための完璧な特効薬は現段階では無く、今後も現れない可能性が高いです。

修士論文などの判定はできるのか

現段階で100パーセント、見抜くというのは難しいようです。1行でもAIが作った文章が入っていればAI文章作成ツールを使ったと判断されてしまうこともありますし、全部AIが文章を作ったとしても言い回しを変えて、言葉を変えて校正しなおせば人間が書いた文章と判断されてしまうこともあります。

AI文章作成ツールを使い修士論文を作る側が、しっかりとファクトチェックをし判別ツール対策を行えばおそらく判定することは難しいでしょう。修士論文を作る側も言い回しが考え付かずたった1行をAIに助けてもらっただけで、AIが作った修士論文として判定されてしまい却下されてしまうのはかなりきついです。

また、100パーセント人間が書いた文章でも判別ツールは間違ってAIが作った文章だという判断を下してくる可能性もあります。判断の補助的なツールとして使うのならば問題はないと思いますが、現段階でもこれからの未来でもAI文章判別ツールが工夫を凝らしたAI文章を100パーセント判断するのは難しいと言えるでしょう。