自動(dòng)下載以及總結(jié)論文神器ChatPaper
面對(duì)每天海量的arxiv論文,以及AI極速的進(jìn)化,我們?nèi)祟惐仨氁惨黄疬M(jìn)化才能不被淘汰。
作為中科大強(qiáng)化學(xué)習(xí)方向的博士生,我深感焦慮,現(xiàn)在AI的進(jìn)化速度,我是連開(kāi)腦洞都趕不上。
因此我開(kāi)發(fā)了這款ChatPaper,嘗試用魔法打敗魔法。
ChatPaper根據(jù)用戶輸入的關(guān)鍵詞,自動(dòng)在arxiv上下載最新的論文,再利用ChatGPT3.5的API接口強(qiáng)大的總結(jié)能力,將論文總結(jié)為固定的格式,以最少的文本,最低的閱讀門檻,為大家提供最大信息量,以決定該精讀哪些文章。
也可以提供本地的PDF文檔地址,直接處理。
祝大家在這個(gè)極速變化的時(shí)代中,能夠和AI一起進(jìn)化!
這段代碼雖然不多,但整個(gè)流程走通也花了我近一周的時(shí)間,今天分享給大家。
使用步驟:
Windows,mac和Ubuntu系統(tǒng)應(yīng)該都可以;
python版本最好是3.9,其他版本應(yīng)該也沒(méi)啥問(wèn)題
1. 在apikey.ini中填入你的OpenAI key。注意,這個(gè)代碼純本地項(xiàng)目,你的key很安全!
2. 使用過(guò)程要保證XXXX!
3. 安裝依賴:最好XX,或者用國(guó)內(nèi)源。
“` bash
pip install -r requirements.txt
“`
4. 運(yùn)行chat_paper.py, 比如:
“`python
python chat_paper.py –query “chatgpt robot” –filter_keys “ChatGPT robot” –max_results 1
“`
5. 參數(shù)介紹:
“`
[–pdf_path 是否直接讀取本地的pdf文檔?如果不設(shè)置的話,直接從arxiv上搜索并且下載]
[–query 向arxiv網(wǎng)站搜索的關(guān)鍵詞,有一些縮寫示范:all, ti(title), au(author),一個(gè)query示例:all: ChatGPT robot]
[–key_word 你感興趣領(lǐng)域的關(guān)鍵詞,重要性不高]
[–filter_keys 你需要在摘要文本中搜索的關(guān)鍵詞,必須保證每個(gè)詞都出現(xiàn),才算是你的目標(biāo)論文]
[–max_results 每次搜索的最大文章數(shù),經(jīng)過(guò)上面的篩選,才是你的目標(biāo)論文數(shù),chat只總結(jié)篩選后的論文]
[–sort arxiv的排序方式,默認(rèn)是相關(guān)性,也可以是時(shí)間,arxiv.SortCriterion.LastUpdatedDate 或者 arxiv.SortCriterion.Relevance, 別加引號(hào)]
[–save_image 是否存圖片,如果你沒(méi)注冊(cè)gitee的圖床的話,默認(rèn)為false]
[–file_format 文件保存格式,默認(rèn)是markdown的md格式,也可以是txt]