誤情報とChatGPTと。

  • 投稿者:  
  • 表示回数 423

プログラミング面の問題解決において、検索エンジンの誤情報を掴まされたのでChatGPTに助けてもらいつつ問題解決を行いました。

chat GPT vs Google

プログラムを探してきて利用した時に生じた問題の話です。

【背景】

ある機能を実装するためにAPIを設置し、そのAPIと通信するためにAPIのドキュメントを参考にプログラムを組み込みました。

その際に、プログラムがそのままでは動かなかったのでサーバーに合うようにあれこれ調整を施しました。調整の１つとして、プログラム言語のバージョン違いで使えない関数があったので、それ対する修正プログラムコードを探して組み込みました。

そのコードを探した時に、検索エンジンで検索し、出てきた有力情報？を参考にしました。

【問題の状況】

状況はこんな感じです

1. あるアプリ（プログラム）を実装してテストしたらエラーが出た

2. エラーの内容で検索をかけた

3. そのエラーはマイナーだったのか、検索結果の1,2ページ目の見える範囲には日本語サイトは１つだけだった。上位１位はそのサイトだった。

4. ぱっと見て技術系情報サイトの体であり、サイト名も技術サイトっぽいものだったので違和感は感じず、その日本語では唯一ヒットした検索上位1位にあがっていた回答（修正コード）を参考にさせてもらった

5. 1.のエラーが消えて先に進めたので無事解決したように見えた

6. 後に続くエラーがなかなか無くならず、色々調査したら情報サイトの内容が誤情報だったと判明した

なぜ誤情報をピックアップさせられてしまったのか、については

・そのサイトはじっくり構造を見てみたらアフィリエイトサイト（技術情報を提供しつつ広告を置いて集金が目当てのサイト）だった

・その誤情報のプログラムの説明はじっくり見直すとコピペで情報を集めたような構造をしており、説明の中によく似て関連ある別物の説明を混在させていた。「Aに対処するにはBです」、が正解なのに「Aに対処するにはCです」と書かれており、このBとCが非常に似た情報なので読み手も判断を間違えさせられやすかった

・そのサイトはよく調べるとサイト運営者の情報が全く書かれていなかった（アフィリエイトサイトと判断した理由の１つでもある）

・検索結果が正解風な扱いをしていた（最上位だった）

・ソースや第三者による賛同のチェックを怠った（英語サイト）

という背景です。

その後、コード を再度探すことになったので、ChatGPTも使って探しました。ChatGPTのやりとりはこんな感じです。

You

プログラミング言語〇〇で▲▲▲（こちらのサーバーでは使えない関数）と同じ機能を■■■（こちらのサーバーのプログラミング言語のバージョン）で実現するコードを教えて下さい

ChatCPT

以下のような簡単なカスタム関数を作成することができます。

＜関数コード＞

・・・・

＜関数の説明＞

・・・

＜関数の使用例と出力例＞

・・・

並行して少し調べていた内容と違っていたこともあり、先に誤情報を掴んだこともあり、以下のように追加で質問をしました

you

その回答の情報源を教えて下さい

ChatGPT

〇〇の公式ドキュメントや一般的な〇〇の知識を元にしています。

....

私の回答は、一般的な〇〇の知識に基づいており、特定の情報源を引用するものではありません。

情報源は教えてくれませんでしたので、次に自分で裏を取りに行くことにしました。

するとChatGPTの回答は大枠は間違っていませんでしたが、実用上は不完全であり再度検索結果を参考に正解を見つける必要がありました。

ChatGPTの示した回答を盲信してそのまま使うと、特定のケースでは不完全であり、また将来システムのアップデートがかかった時にエラーを引き起こす可能性が高い内容でした。

ただ、今回ChatGPTを使うことで正解までたどり着く時間短縮にはなった気がしますし、実用面に不安はあるにせよ、今回の用途での回答の精度はヘルパーとしては悪くないと思いました。