この記事を読むのに必要な時間は約 21 分です。
ChatGPTは服薬相談や生薬との相互作用に薬剤師並みの回答ができますか
☑️はじめに
ChatGPTは人間と見分けがつかないほどの卓越した自然言語処理を実現しています。
インターネットから蓄積された膨大なデータと、計算能力の前例のない進展に支えられ、多岐にわたる知識と深い理解を有しています。
従来はモデルの微調整やテキストプロンプトの巧妙な構築が必要でしたが、ChatGPTの登場により、プログラミングや専門的知識なしにも、自然で対話的な手法でタスクを委任できるようになりました。
医学やプログラミング分野などでの実用的な精度は、この先進的なツールが幅広い分野において変革をもたらす可能性を明らかにしています。
今回紹介する論文は、服薬相談や生薬との相互作用に関するChatGPTの回答の妥当性を評価したものです。
ChatGPTですね…ハルシネーションが問題視されていました。
PMIDのでっちあげとかね。論文ではどのように言及されているのかな。楽しみだね。
プロローグ
💻「…」
👩…👧どうしました？
👩いや、意外とChatGPTの回答はいい線いってるみたい。👧そうなんですか！
👩シチュエーションによるけどね。この論文読んでみて。出典: twitter.com
運営者から、クローズドコミュニティに対する思いをお伝えしています。
記事の続きは会員ログイン後、またはブラウザのまま視聴できるラジオでどうぞ。
☑️ChatGPTについて
ChatGPTは、OpenAIによって開発されたGPT-3と呼ばれる自然言語処理モデルの拡張版です。
ChatGPTは、OpenAIによって開発されたGPT-3と呼ばれる生成事前訓練変換器（GPT）自然言語処理（NLP）モデルの拡張であり、GPT-3.5として知られる高度な反復を表しています。
ChatGPTは、エンターテイメント指向の会話や文章作成タスクにおいて人間レベルのパフォーマンスを達成することに加え、様々な専門的知識領域を含む質問に対しても満足のいく回答を提供することができます。
☑️会話でタスクが依頼できる
NLPの分野は、インターネットからの膨大なデータとムーアの法則に従った計算能力の進歩により、急速な進歩を遂げており、GPT-3よりもさらに大きなサイズの言語モデルが数多く学習され、リリースされ、一般公開されています。
しかし、ChatGPTがリリースされる前は、モデルを微調整したり、特定のタスクをさせるために注意深く設計されたテキストプロンプトを書いたりする必要があり、専門的な知識と労力が必要でした。
ChatGPTを使えば、プログラミング言語や注意深く設計されたテキストプロンプトを書くことなく、会話のような方法で、このモデルにどんな種類の自然言語タスクでも簡単に依頼することができます。
☑️医学やプログラミング分野でテスト済み
ChatGPTの能力と限界を評価するために、多くの研究が特化したテスト方法を考案してきました。
医学の分野では、米国医師免許試験（USMLE）で60％の精度でほぼ合格点を達成することができます。
プログラミングの分野では、面接試験で質問に答える際の性能は、「レベル3」のGoogleエンジニアと同程度です。
これらの研究は、このツールが大きな応用力を持ち、多くの分野で人々の働き方に破壊的な革命をもたらす可能性があることを示しています。
☑️薬学分野に関連する実験が計画された
現在のところ、アカデミアの薬学関連業務におけるChatGPTの具体的な評価はありません。
この領域におけるChatGPTの能力をよりよく理解するために、著者らは薬学分野に関連する実験を設計し、ChatGPTの薬学分野における能力を評価し、一般に公開しました。
この探索的研究は、ChatGPTが薬事サービスにおける実世界の服薬相談の質問に答えるのに適していることをより良く理解することを目的としました。
さらに、薬物-生薬相互作用の質問に対する回答の精度を詳細に分析し、薬物教育や相談におけるChatGPTの可能性を評価しました。
☑️エビデンス
「実世界での服薬相談と薬と生薬の相互作用を検証する： ChatGPTパフォーマンス評価」です。
【背景】
OpenAIがChatGPTをリリースして以来、その自然なタスクを処理する強力な能力とユーザーフレンドリーなインターフェイスにより、大きな注目を集めている。
【目的】
ChatGPTによって生成された服薬相談の回答の正確性と適切性を評価するための前向き分析が必要である。
【方法】
台湾の医療センターの薬剤部による前向き横断研究が実施された。
テストデータセットは、2023年2月1日から2023年2月28日までに収集されたレトロスペクティブな薬物相談質問と、薬物-生薬相互作用に関する一般的な質問で構成された。
実際の薬物相談に関する質問と、伝統的な漢方薬と西洋薬の相互作用に関する一般的な質問である。
従来のダブルレビューメカニズムを用いた。
ChatGPTからの各回答の適切性は、2人の経験豊富な薬剤師によって評価された。
両者の評価が食い違った場合は、3人目の薬剤師が最終的な判断を下した。
【結果】
293の実世界の薬相談質問のうち、無作為に選択された80の質問がChatGPTの性能評価に使用された。
ChatGPTは、病院での医療提供者による質問と比較して、一般的な薬物療法相談の質問に対して高い適切性を示した。
（31/51、61％対20/51、39％；P=0.01）
【結論】
本研究で得られた知見から、ChatGPTは基本的な服薬相談への回答に利用できる可能性があることが示唆された。
誤った情報の分析により、特定の質問に関連する潜在的な医療リスクを特定することができた。
【キーワード】
ChatGPT、大規模言語モデル、自然言語処理、実世界の薬物相談質問、NLP、薬物-生薬相互作用、薬剤師、LLM、言語モデル、チャット生成事前訓練変換器
Examining Real-World Medication Consultations and Drug-Herb Interactions: ChatGPT Performance Evaluation
JMIR Med Educ. 2023; 9: e48433.
☑️幻覚（ハルシネーション）について
これまでの研究では、言語モデルをテストするために主に多肢選択式のデータセットを使用しており、実世界の相談質問を使用した数は多くありません。
人間の言語を模倣することに長けているにもかかわらず、大規模な言語モデルは、自由形式の質問に答えるときに、偏った、攻撃的な、または不正確な応答を生成する可能性があり、限界を示します。
ChatGPTの使用がもたらす主な課題は、先行研究で示されているように、「幻覚（ハルシネーション）」の生成です。
幻覚のような出力の発生は、ChatGPTだけに限ったことではなく、すべての自然言語生成（NLG）モデルにとってユビキタスな懸念を構成しています。
Jiらの研究では、NLGモデルで幻覚が発生する要因は複数あることが示されていますが、幻覚を軽減するためのさまざまな方法も提案されています。
☑️専門家の質問への回答は精度が低い
この技術を効果的に実用化するためには、信頼できる知識ベースと人間の監視の両方が不可欠であると考えます。
著者らの研究では、医療専門家から投げかけられた質問にChatGPTが対応した場合、一般の人からの質問に比べて精度が低いことがわかりました。
これは、医療従事者からの問い合わせがしばしば具体的で予後に関連するため、包括的な回答を得るためには教科書や有料の文献にアクセスする必要があるためではないかと推測されます。
さらに、このような回答の基礎となるエビデンスに基づく医療データセットは、購読が必要であったり、オープンなインターネットリソースで自由に利用できないことが少なくありません。
臨床的な問い合わせの中には、これらのデータベースではカバーできないものもあるため、完全な回答を得るためには、医療専門家の臨床経験に頼る必要があります。
☑️一般市民の問合せには適切な場合が多い
対照的に、一般市民からの問い合わせは、ほとんどが一般的なものであり、医薬品の情報や相互作用に関するものでした。
例えば、”フォサマックPLUSを服用する際の注意点は？”という相談に対して、ChatGPTは、空腹時に服用すること、服用後は直立を保つこと、十分な水分補給を行うことについてのアドバイスを提供しました。
この回答は適切と判断されました。
しかし、ChatGPTは重大な禁忌に関する誤った回答を行いました。
それは、セフトリアキソンとグルコン酸カルシウムの静脈内相互作用はないと述べたことです。
この誤りは、モデルの学習データセットに互換性データがなかったために生じたと推測されます。
☑️相互作用に関する質問に不正解の理由
今回の結果から、ChatGPTは類似(analogous)の質問に対して類似の回答をする傾向があることが示唆されました。
ChatGPTの適切な回答に対する評価では、高麗人参、甘草、当帰、イチョウなど、一般の人にも馴染みのある生薬に関する回答が多い結果でした。
しかし、不適切と評価された回答は、紅花、黄耆、黄連、山査子などに関するものであり、情報不足のため患者に明確な提案を行うことが困難であると判断されました。
したがって、機械学習モデルのデータベースには、中薬に関する十分な情報がまだ不足している可能性があると推測されました。
☑️紅花とアスピリン
アスピリンと紅花を併用することの安全性と有効性に対するChatGPTの反応については、十分な研究証拠がない可能性があります。
しかし、紅花の成分が血小板機能に影響を及ぼし、血液凝固を阻害する可能性があることは、臨床的エビデンスで示されています。
したがって、近い将来に手術を予定している患者は、紅花の使用を避けるべきです。
さらに、紅花との併用処方は臨床上非常にまれであり、紅花に過敏な一部の患者では出血が起こる可能性があります。
さらに、紅花は高価です。
中薬の相互作用率は、確かに患者の健康状態、年齢、服用している他の薬などの要因に影響される可能性があり、臨床現場での実用性に影響を与える可能性があります。
これらはChatGPTでは判別できない要素です。
☑️黄耆とアスピリン
アスピリンと黄耆の相互作用に関するChatGPTの回答は、過度に中立的であると判断されました。
伝統的な中国医学の理論では、黄耆は温性で強壮作用を持つ生薬として特徴づけられ、気を高め、陽気を高め、防御の気を養い、外面を固める（注：益気固表と呼ばれる）と信じられています。
中国の山西病院の研究によると、黄耆の注射製剤とアスピリンの同時使用は、血流を増大させ、出血リスクを高める可能性があるとされます。
☑️黄連とアスピリン
アスピリンと黄連または山査子との相互作用の反応は不正確であり、ChatGPTの反応の詳細が不十分であったためと考えられます。
伝統的な中医学理論では、黄連は苦寒の生薬に分類され、清熱、燥湿、瀉火、解毒が主な作用です。
メカニズム的には、抗凝固剤を妨げることはありません。
黄連には血管平滑筋を弛緩させる作用で知られるベルベリンが含まれていますが、アスピリンの抗凝固メカニズムに直接影響を与えることはありません。
☑️山査子とアスピリン
山査子は、食物の停滞を解消し、消化を促進し、気を整え、瘀血を散らす（消食化積、破気化瘀、活血疏肌と呼ばれる）カテゴリーに属する生薬です。
山査子には様々な有機酸が含まれており、子宮収縮、心臓強化、不整脈対策、冠状動脈の血流増加、血管拡張、血圧低下、血中脂質減少などの効果があります。
山査子には血液循環を促進し、瘀血を取り除き、痛みを和らげる作用があります。
産後の腹痛、瘀血による悪露の貯留、または瘀血による月経困難症の治療に用いられます。
したがって、アスピリンとの併用は勧められません。
☑️薬学教育・服薬相談におけるChatGPT活用の可能性
ChatGPTは、多くの知識領域において詳細かつ明確な回答を提供できることで注目を集めています。
GPTモデルはテキスト補完形式を採用し、最も確率の高い単語を選択することで多様な回答を生成します。
このことは、これまで人工知能による代替が効かないと考えられてきた知識ベースの仕事が、今や人工知能の能力の範囲内にある可能性を示しています。
この研究例に基づいて、このような確率分布が薬学教育の支援に利用され、公的な協議のツールとして機能する可能性があるという仮説を立てました。
☑️教育支援の点では専門家のフィードバックで発展？
薬学教育の支援という点では、与えられた回答は入力テキストの最大確率分布に基づいており、これは薬学生が文献を検索する際に遭遇する可能性が最も高い情報を表していると考えられます。
私たちは、ChatGPTによって生成された回答が、薬学の専門家や臨床薬理学の教師によって検証され、教育上の問題の盲点を特定し、適切なフィードバックを提供し、スキルや行動の評価を強化する方法を見つけることで、医学教育や実践の潜在的な変化と同期して発展できるようになると楽観視しています。
しかし、すべての薬剤師がチャットボットから提供される情報の誤りを特定する能力や時間を持っているとは限らないことも懸念されます。
☑️中薬など薬剤師の知識不足の分野は生成文に特に注意
2つのテストセットにおいて、薬剤師の評価に矛盾がある割合は、一般的な服薬相談の質問よりも、中薬と西洋薬の相互作用に関する質問で高いことがわかりました（10/80、12.5％ vs 3/8、37.5％；P=.06）。
台湾では、伝統的な中薬の分野と比較して、西洋医学の領域で実務を行う薬剤師の割合が高いことが知られています。
このため、薬剤師はChatGPTの情報の影響を受けやすいと推察されます。
医療情報をChatGPTに過度に依存し、医療提供者に不正確な情報を提供することから生じる潜在的なリスクと害に注意する必要があります。
☑️オープンアクセスの論文が増えれば性能向上？
ChatGPTはオンライン・リソースから医療知識を獲得しているため、技術の発展やオープンアクセス学術研究の利用可能性が高まるにつれて、AIモデルの性能の大幅な向上が期待できるかもしれません。
しかし、医療ミスは許されません。
このことを前提に、ChatGPTは、一般市民からの基本的な薬に関する質問に対する薬剤師の相談業務の負担を軽減し、時間や場所に制限されない、より迅速で即時性の高いフィードバックを提供するために利用される可能性があります。
ChatGPTが適切に利用されれば、このような分野にも良い影響を与えることができると考えています。
☑️研究の限界(1)
本研究にはいくつかの限界があります。
第一に、ChatGPTは多言語対応ですが、より多くのデータプールがあるため、英語での回答がより正確かもしれないと推測しています。
第二に、研究期間の制約から、GPT-3.5をテストモデルとして使用しました。
OpenAIが発表したGPT-4のテクニカルレポートでは、幻覚を減らすことを目的とした実質的な研究努力が強調されています。それによると、GPT-4は、以前のモデルと比較して、幻覚出力を生成する事例が減少しています。
しかし、OpenAI は、幻覚の問題が GPT-4 の現在の限界であることを認めています。
したがって、我々の研究結果は、この懸念に対処する上で重要性を保持しています。
☑️研究の限界(2)
第三に、私たちの質問は独立したものでしたが、背景情報を必要とするものもあり、ベースラインバイアスを誘発した可能性があります。
第四に、我々は、多忙な薬物相談環境を模倣しましたが、背景情報が不完全であるとChatGPTの回答が正確でなくなる可能性があります。
これらの回答に関連する潜在的なバイアスとリスクを評価し、発生する可能性のあるエラーを軽減し、対処するための追加の方法やモジュールを開発することが、今後の研究目標として検討されます。
☑️まとめ
著者らの知る限り、ChatGPTの回答におけるエラーの理由を議論・分析した研究は比較的少ないとされます。
著者らは、ChatGPTが薬剤師によって評価されるように、単純な薬に関する質問に対してほぼ適切な回答を提供することを発見しました。
しかし、個々の患者のシナリオに関連したより複雑な質問に対しては、回答が不正確であったり曖昧であったりすることがあり、その結果、質問者が必要な情報を得ることが困難になっています。
私たちは薬剤師として、多くの患者や医療従事者が薬の情報や教育について私たちに依存し続けていることを認識しています。
著者らは、ChatGPTが、薬剤師が一般の人々に服薬相談を提供したり、薬学教育者が学生の知識のギャップを特定するのに役立つ可能性があることを楽観視しています。
しかし、著者らの研究は、誤った情報の提供に関連するリスクを認識し続けなければならないことを示唆しています。
☑️会員のススメ
今回の記事はいかがでしたでしょうか？気に入って下さったら、会員登録をお勧めします。会員限定の記事が閲覧出来るようになります。月々の購読料は、喫茶店で勉強する時に飲むコーヒー一杯の値段で提供しています。人生で一番価値のある資源は時間です。効率的に学習しましょう！値段以上の価値を提供する自信があります。
クリック会員について
会員になりませんか？
最終更新日2024年2月10日
☑️コラム
職場の悩みはありませんか？
わたしも最初の職場がどうしても合わず、1年足らずで退職。今の職場は上司や同僚に恵まれ、毎日楽しく働いています。
あなたが現状に悩んでいるのであれば、専門家に相談してみてはいかがでしょうか？
転職を考える場合、現在の環境から離れることを一番に考えてしまいがちですが、転職先には現在の職場にない問題があります。
わたしはラッキーでしたが、転職後の方が辛い思いをしてしまった、と言う話も耳にします。
自分に適した職場を見つけるためには、頼れるスタッフに協力してもらうことが重要です。
回り道のように見えますが、転職を成功させるための最短の近道と思います。
あなたも１歩踏み出してみてはいかがでしょうか？
迷っているならまずは登録してみましょう。
スポンサーリンク
完全無料！１分間の簡単登録
あります！今よりアナタが輝く職場
薬剤師の求人ならエムスリーキャリア
☑️推薦図書
ビジネス書、専門書、漫画等、幅広く紹介します。
フォーカス・リーディング習得ハンドブック
漢方・中医学臨床マニュアル 症状から診断・処方へ
クスリとリスクと薬剤師
スポンサーリンク
スポンサーリンク
☑️応援・拡散のお願い
応援・ファンレターお待ちしています。
OFUSE QRコード
わたしのサイトが参考になったと思って下さったあなた、バナークリックをお願いします。
自分だけ知ってるのはもったいないと思って下さったあなた、SNSボタンでシェアをお願いします。
サイトQRコード
Copyright©️2017 PHARMYUKI™️ All rights reserved