顯示具有 JAMA 標籤的文章。 顯示所有文章
顯示具有 JAMA 標籤的文章。 顯示所有文章

2023年6月3日 星期六

JAMA Internal Medicine:醫師 vs. ChatGPT對社交媒體上病人問題的回覆,誰更好?

JAMA Internal Medicine:醫師 vs. ChatGPT對社交媒體上病人問題的回覆,誰更好?

 


全文連結:https://reurl.cc/Ovk14D

重點:

 

問題:ChatGPT是否能提供與醫生的回覆同等的品質和同理心?

 

結果:在這項對社交媒體論壇隨機抽取的195個病人問題的橫斷面研究中,一個由醫療專業人員組成的團隊針對醫師和ChatGPT在公開社交媒體論壇病人的提問回應進行內容品質以及同理心感受的比較。結果顯示,ChatGPT的回覆被認為優於醫師的回應,在品質和同理心觀感上獲得顯著較高的評價。

 

意義:人工智能助手可能可以協助醫師草擬對病人問題的回覆,降低醫師的工作壓力和情緒耗竭。

 

重要性:隨著虛擬醫療的快速擴展,病人訊息的激增導致醫療專業人員的工作量增加和疲勞感加重。人工智能(AI)助手可能有助於草擬回答病人問題的答案,讓臨床醫生審核。

 

摘要:

 

目標:

評估2022年11月推出的AI聊天機器人助手(ChatGPT)對病人問題的品質和同理心回覆能力。

 

設計、場景和參與者:

此為一橫斷面研究,使用去識別化來自公開社交媒體論壇(Reddit’s r/AskDocs)的問題資料庫,隨機抽取2022年10月的195個對話,這些對話中,會有一位取得證照的醫師回答一個公開問題。聊天機器人的回覆為2022年12月22日和23日輸入原始問題產生的(在此之前從未問過問題)。一個由合格醫療專業人員組成的團隊對原始問題及匿名化和隨機排序的醫師和ChatGPT回覆進行三次評估。評價者選擇了“哪個回應更好”,並對“提供的訊息品質”(非常差、差、可接受、好或非常好)和“提供的同理心”(沒有同理心、稍微有、中等同理心、同理心和非常具有同理心)進行評價。平均結果按照1到5的尺度排序,比較醫師與ChatGPT的回覆結果。

 

結果:

  1. 在195個問題和回覆中,評價者在6%(95% CI, 75.0%-81.8%)的585次評估中優先選擇ChatGPT的回覆。平均醫師回覆顯著短於ChatGPT的回覆(52字 vs 211字; P < .001)。
  2. 聊天機器人的回覆品質顯著高於醫師的(P < .001)。例如,被評為好或非常好品質(≥ 4)的回覆比例ChatGPT高於醫師(ChatGPT:5%,醫師:22.1%)。亦即聊天ChatGPT的好或非常好品質回覆比例為醫生的3.6倍。
  3. ChatGPT的回覆也被評為比醫師的更具同理心(t = 18.9; P < .001)。被評為具有同理心或非常同理心(≥4)的回覆比例,ChatGPT高於醫師(醫師:6%;ChatGPT:45.1%)。亦即,ChatGPT的有同理心或非常同理心的回覆比例為醫師的9.8倍。

 

結論:

在此橫斷面研究中,ChatGPT對在線論壇中病人提出的問題可以產生具有品質和同理心的回覆。進一步探索這項技術在臨床場景中的應用具有價值,例如使用聊天機器人來草擬醫師可以編輯的回應。隨機試驗可以進一步評估,若使用AI助手可能會改善回應,降低醫生的耗竭,並改善病人結果。

 

 

2023年3月30日 星期四

The Rapid Growth of Mega-Journals: Threats and Opportunities (巨型期刊:威脅與機遇)

The Rapid Growth of Mega-Journals 

Threats and Opportunities (巨型期刊:威脅與機遇)

2023320WOS公布最新收錄的SCI期刊清單,而JAMA Network也刊登一篇Viewpointw探討近年來巨型期刊(mega-journal)快速增長的現象。在此分享給大家。在科學與生物醫學領域,2015年只有11本期刊發文量超過2000篇,佔當年出版文獻的6%,但在2022年則遽增至55本期刊,總計超過30萬篇文章,幾乎佔當年生物醫學文獻的25%Scientific ReportsPLoS One,以及最近從SCI清單被剃除的International Journal of  Environmental Research and Public Health等,均為眾多研究人員所熟悉的mega-journal。巨型期刊的快速增長為生物醫學科學帶來威脅與機遇。重要的是,期刊出版大量文獻能否支持與促進最佳的研究實務。

 


🌟A02-SPSS存活分析統計課程,2023/04/15()4/29()。報名截止日期:4/10()4/24()

課程介紹:https://reurl.cc/Q4ZvQ2

 

🌟WS3-SPSS醫學研究統計工作坊:配對研究設計與分析

課程介紹:https://reurl.cc/V82nV6

課程報名:https://reurl.cc/Yv34Dn

 

https://jamanetwork.com/journals/jama/fullarticle/2802853

Ioannidis JPA, Pezzullo AM, Boccia S. The Rapid Growth of Mega-Journals: Threats and Opportunities. JAMA. 2023;doi:10.1001/jama.2023.3212

 

1202226本高產期刊(年發文量超過3500)

 

壹、Mega-Journal 的威脅

1. Mega-journal定義:開放存取的同儕評審期刊,收取文章處理費並在一個日曆年度內發表超過2000篇完整文章(open-access peer-reviewed journals that charge article processing fees and publish more than 2000 full articles in a calendar year)。最初推出的兩個巨型期刊為PLoS OneScientific Reports,涵蓋廣泛性的科學主題。

2. 編輯變異性大,文章品質難以掌控:此類型期刊非常受歡迎,招募數萬名的客座編輯(guest editors),能力與參與度變異大,可能導致文章與文章作者的體驗紊亂、不一致。

3. 自引率與同儕審查爭議:巨型期刊具有較高的影響因子,因此對希望發表文章的作者具有吸引力。有些也會有較高的自引率,但不至於讓其陷入麻煩的程度。最早的巨型專科期刊之一是"Oncotarget",在最巔峰時,一年內發文超過10336篇文章(2017年),但由於爭議,被Clarivate"Journal Citation Reports"中除名,沒有影響因子後,發文量在2022年剩下159篇。

4. 文章品質與接受率:通常聲稱基於文章是否具有科學價值而非重要性和創新性來刊登文章,接收率一般為20-70%。很多巨型期刊會承諾快速同行評查,但未必如此。許多影響因子更高的期刊,審稿時間反而更快。巨型期刊的崛起與生物醫學預印本(pre-print)的增長趨勢相似。預印本不進行詳細的審查,接受率通常超過70%

5. 巨型期刊的收入模式完全基於收取文章處理費(article processing fees,簡稱APF)。而當期刊IF排名提高時,出版商會提高APF。確保期刊的高收益,但對資金有限的作者帶來了困難,促成不公平的競爭。

6. 專業領域的巨型期刊增長證明在IF足夠高的期刊上發表科學論文的巨大需求,儘管《the Declaration on Research Assessment (DORA)》等努力消除對IF的關注。因此,巨型期刊存在與興起加劇科學評估與出版系統的不正常狀況。此外,也許一些作者認為同行審查沒有幫助,或尋找最簡單的發表途徑,或發表沒有貢獻的研究,無論其結果如何,都不會在最高影響因子的期刊中競爭。

貳、Mega-Journal 的機遇

1. 促進科學發展:開放獲取是一個好的起點,可以保證更大的研究透明度。如果這些期刊公開研究資料,如共享數據、代碼、研究方案和統計分析計畫,考慮到他們高產量將能促進研究發展。早期的巨型期刊(例如PLoS OneRoyal Society Open Science)已經推動這些做法。

2. 提供遏制出版選擇性刊登與報告偏見的機會:有些文章可能不受主流歡迎,但由於巨型期刊接受主題的多樣性,使之能夠進行發表,前提是資料嚴謹。

3. 促進競爭,改變醫學和科學出版:巨型期刊可能通過對其他期刊的間接影響,造期刊和出版商層面上的競爭,因此,改變醫學和科學出版。但PLoS One Scientific Reports這樣的巨型綜合期刊還未真正威脅到傳統的專科期刊,目前傳統的專科期刊,在數量和影響力上依然佔據主導地位。但仍可能改變出版商層面的競爭模式。若科學家、醫學和研究機構與資助者給予提倡更透明研究和更嚴格研究實務的期刊(和出版商)信譽和獎勵,這將對所有人都有益。

參、總結

巨型期刊高產量加上高的IF可能會對傳統一些聲譽卓越的期刊造成改變或致命打擊。並且有些巨型期刊採用快速審查政策,如給予審稿委員折價券,而從傳統期刊吸走原已緊缺的審稿人力。

其爆炸性增長可能會伴隨著過往有良好聲譽期刊的衰落。期刊並非永久存在:1959年出版的27種綜合性醫學期刊中,直到2009年,只有6種沒有改名持續出版。科學期刊的半衰期在當前不斷變化的環境中會縮短。重要的是,出版大量文獻的期刊是否支持和促進最佳研究實務。

 

表:巨型期刊 (Mega-Journals) 機遇與威脅:

機遇

威脅

促進科學發展:開放獲取,保證研究透明度

編輯變異性大,文章品質難以掌控

提供遏制出版選擇性刊登與報告偏見的機會

自引率與同儕審查爭議

促進競爭,改變醫學和科學出版

文章品質與接受率問題


收入模式基於收取文章處理費,可能帶來不公平競爭


加劇科學評估與出版系統的不正常狀況

(來源:匯東華整理)

總結:巨型期刊在科學及生物醫學領域的快速增長帶來了威脅與機遇。一方面,它們有助於促進科學發展,提供遏制出版選擇性刊登與報告偏見的機會,並促進競爭以改變醫學和科學出版。另一方面,巨型期刊的編輯變異性大,自引率和同儕審查存在爭議,文章品質和接受率有問題,且收入模式可能帶來不公平競爭。此外,巨型期刊的存在與興起可能加劇科學評估與出版系統的不正常狀況。重要的是,期刊出版大量文獻能否支持與促進最佳的研究實務。

 

JAMA Internal Medicine:醫師 vs. ChatGPT對社交媒體上病人問題的回覆,誰更好?

JAMA Internal Medicine :醫師 vs. ChatGPT 對社交媒體上病人問題的回覆,誰更好?   全文連結: https://reurl.cc/Ovk14D 重點:   問題: ChatGPT是否能提供與醫生的回覆同等的品質和同理心?   ...