update
This commit is contained in:
mrhblfx
@@ -12,7 +12,7 @@ def validate_path():
|
||||
sys.path.append(root_dir_assume)
|
||||
|
||||
validate_path() # validate path so you can run from base directory
|
||||
|
||||
from colorful import *
|
||||
from toolbox import get_conf, ChatBotWithCookies
|
||||
proxies, WEB_PORT, LLM_MODEL, CONCURRENT_COUNT, AUTHENTICATION, CHATBOT_HEIGHT, LAYOUT, API_KEY = \
|
||||
get_conf('proxies', 'WEB_PORT', 'LLM_MODEL', 'CONCURRENT_COUNT', 'AUTHENTICATION', 'CHATBOT_HEIGHT', 'LAYOUT', 'API_KEY')
|
||||
@@ -79,14 +79,46 @@ def test_下载arxiv论文并翻译摘要():
|
||||
for cookies, cb, hist, msg in 下载arxiv论文并翻译摘要(txt, llm_kwargs, plugin_kwargs, chatbot, history, system_prompt, web_port):
|
||||
print(cb)
|
||||
|
||||
test_解析一个Python项目()
|
||||
test_Latex英文润色()
|
||||
test_Markdown中译英()
|
||||
test_批量翻译PDF文档()
|
||||
test_谷歌检索小助手()
|
||||
test_总结word文档()
|
||||
test_下载arxiv论文并翻译摘要()
|
||||
test_解析一个Cpp项目()
|
||||
def test_联网回答问题():
|
||||
from crazy_functions.联网的ChatGPT import 连接网络回答问题
|
||||
# txt = "“我们称之为高效”是什么梗？"
|
||||
# >> 从第0份、第1份、第2份搜索结果可以看出，“我们称之为高效”是指在游戏社区中，用户们用来形容一些游戏策略或行为非常高效且能够带来好的效果的用语。这个用语最初可能是在群星（Stellaris）这个游戏里面流行起来的，后来也传播到了其他游戏中，比如巨像（Titan）等游戏。其中第1份搜索结果中的一篇文章也指出，“我们称之为高效”这 一用语来源于群星（Stellaris）游戏中的一个情节。
|
||||
# txt = "为什么说枪毙P社玩家没有一个冤枉的？"
|
||||
# >> 它们都是关于一个知乎用户所发的帖子，引用了一群游戏玩家对于需要对P社玩家进行枪毙的讨论，这个话题的本质是玩家们对于P 社游戏中的政治与历史元素的不同看法，以及其中不少玩家以极端立场宣扬的想法和言论，因此有人就以枪毙这些玩家来回应此类言论。但是这个话题本身并没有实质内容，只是一个玩笑或者恶搞，并不应该被当做真实的态度或者观点，因此这种说法没有实际意义。
|
||||
# txt = "谁是应急食品？"
|
||||
# >> '根据以上搜索结果可以得知，应急食品是“原神”游戏中的角色派蒙的外号。'
|
||||
# txt = "道路千万条，安全第一条。后面两句是？"
|
||||
# >> '行车不规范，亲人两行泪。'
|
||||
# txt = "What is in the canister?"
|
||||
# >> Rainbow Six Siege 游戏中 Smoke 的 Canister 中装有何种物质相关的官方信息。
|
||||
# txt = "失败的man是什么?"
|
||||
# >> 根据第1份搜索结果，可以得知失败的man是指一位在B站购买了蜘蛛侠COS服后穿上后被网友嘲笑的UP主，而“失败的man”是蜘蛛侠英文名“spiderman”的谐音梗，并且网友们还 给这位UP主起了“苍蝇侠”的外号。因此，失败的man是指这位UP主在穿上蜘蛛侠COS服后被网友嘲笑的情况。
|
||||
# txt = "老六是什么，起源于哪里？"
|
||||
# >> 老六是网络流行语，最初起源于游戏《CSGO》，指游戏中玩家中独来独往、游离于队伍之外的“自由人”或玩得比较菜或者玩得比较阴险的人 ，后来逐渐演变成指玩得比较阴险的玩家。
|
||||
# txt = "罗小黑战记因为什么经常被吐槽？"
|
||||
# >> 3. 更新速度。罗小黑战记的更新时间不定，时而快时而慢，给观众留下了等待的时间过长的印象。
|
||||
# txt = "沙特、伊朗最近的关系如何？"
|
||||
# >> 最近在中国的斡旋下，沙特和伊朗于3月10日达成了恢复两国外交关系的协议，这表明两国关系已经重新回到正常化状态。
|
||||
# txt = "You should have gone for the head. What does that mean?"
|
||||
# >> The phrase "You should have gone for the head" is a quote from the Marvel movies, Avengers: Infinity War and Avengers: Endgame. It was spoken by the character Thanos in Infinity War and by Thor in Endgame.
|
||||
txt = "AutoGPT是什么？"
|
||||
# >> AutoGPT是一个基于GPT-4语言模型的开源应用程序。它可以根据用户需求自主执行任务，包括事件分析、营销方案撰写、代码编程、数学运算等等，并完全不需要用户插手。它可以自己思考，给出实现的步骤和实现细节，甚至可以自问自答执 行任务。最近它在GitHub上爆火，成为了业内最热门的项目之一。
|
||||
# txt = "钟离带什么圣遗物？"
|
||||
for cookies, cb, hist, msg in 连接网络回答问题(txt, llm_kwargs, plugin_kwargs, chatbot, history, system_prompt, web_port):
|
||||
print("当前问答：", cb[-1][-1].replace("\n"," "))
|
||||
for i, it in enumerate(cb): print亮蓝(it[0]); print亮黄(it[1])
|
||||
|
||||
# test_解析一个Python项目()
|
||||
# test_Latex英文润色()
|
||||
# test_Markdown中译英()
|
||||
# test_批量翻译PDF文档()
|
||||
# test_谷歌检索小助手()
|
||||
# test_总结word文档()
|
||||
# test_下载arxiv论文并翻译摘要()
|
||||
# test_解析一个Cpp项目()
|
||||
|
||||
test_联网回答问题()
|
||||
|
||||
|
||||
input("程序完成，回车退出。")
|
||||
print("退出。")
|
||||
102
crazy_functions/联网的ChatGPT.py
Normal file
102
crazy_functions/联网的ChatGPT.py
Normal file
@@ -0,0 +1,102 @@
|
||||
from toolbox import CatchException, update_ui
|
||||
from .crazy_utils import request_gpt_model_in_new_thread_with_ui_alive, input_clipping
|
||||
import requests
|
||||
from bs4 import BeautifulSoup
|
||||
from request_llm.bridge_all import model_info
|
||||
|
||||
def google(query, proxies):
|
||||
query = query # 在此处替换您要搜索的关键词
|
||||
url = f"https://www.google.com/search?q={query}"
|
||||
headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.61 Safari/537.36'}
|
||||
response = requests.get(url, headers=headers, proxies=proxies)
|
||||
soup = BeautifulSoup(response.content, 'html.parser')
|
||||
results = []
|
||||
for g in soup.find_all('div', class_='g'):
|
||||
anchors = g.find_all('a')
|
||||
if anchors:
|
||||
link = anchors[0]['href']
|
||||
if link.startswith('/url?q='):
|
||||
link = link[7:]
|
||||
if not link.startswith('http'):
|
||||
continue
|
||||
title = g.find('h3').text
|
||||
item = {'title': title, 'link': link}
|
||||
results.append(item)
|
||||
|
||||
for r in results:
|
||||
print(r['link'])
|
||||
return results
|
||||
|
||||
def scrape_text(url, proxies) -> str:
|
||||
"""Scrape text from a webpage
|
||||
|
||||
Args:
|
||||
url (str): The URL to scrape text from
|
||||
|
||||
Returns:
|
||||
str: The scraped text
|
||||
"""
|
||||
headers = {
|
||||
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.61 Safari/537.36',
|
||||
'Content-Type': 'text/plain',
|
||||
}
|
||||
try:
|
||||
response = requests.get(url, headers=headers, proxies=proxies, timeout=8)
|
||||
if response.encoding == "ISO-8859-1": response.encoding = response.apparent_encoding
|
||||
except:
|
||||
return "无法连接到该网页"
|
||||
soup = BeautifulSoup(response.text, "html.parser")
|
||||
for script in soup(["script", "style"]):
|
||||
script.extract()
|
||||
text = soup.get_text()
|
||||
lines = (line.strip() for line in text.splitlines())
|
||||
chunks = (phrase.strip() for line in lines for phrase in line.split(" "))
|
||||
text = "\n".join(chunk for chunk in chunks if chunk)
|
||||
return text
|
||||
|
||||
@CatchException
|
||||
def 连接网络回答问题(txt, llm_kwargs, plugin_kwargs, chatbot, history, system_prompt, web_port):
|
||||
"""
|
||||
txt 输入栏用户输入的文本，例如需要翻译的一段话，再例如一个包含了待处理文件的路径
|
||||
llm_kwargs gpt模型参数，如温度和top_p等，一般原样传递下去就行
|
||||
plugin_kwargs 插件模型的参数，暂时没有用武之地
|
||||
chatbot 聊天显示框的句柄，用于显示给用户
|
||||
history 聊天历史，前情提要
|
||||
system_prompt 给gpt的静默提醒
|
||||
web_port 当前软件运行的端口号
|
||||
"""
|
||||
history = [] # 清空历史，以免输入溢出
|
||||
chatbot.append((f"请结合互联网信息回答以下问题：{txt}",
|
||||
"[Local Message] 请注意，您正在调用一个[函数插件]的模板，该模板可以实现ChatGPT联网信息综合。该函数面向希望实现更多有趣功能的开发者，它可以作为创建新功能函数的模板。您若希望分享新的功能模组，请不吝PR！"))
|
||||
yield from update_ui(chatbot=chatbot, history=history) # 刷新界面 # 由于请求gpt需要一段时间，我们先及时地做一次界面更新
|
||||
|
||||
# ------------- < 第1步：爬取搜索引擎的结果 > -------------
|
||||
from toolbox import get_conf
|
||||
proxies, = get_conf('proxies')
|
||||
urls = google(txt, proxies)
|
||||
history = []
|
||||
|
||||
# ------------- < 第2步：依次访问网页 > -------------
|
||||
max_search_result = 5 # 最多收纳多少个网页的结果
|
||||
for index, url in enumerate(urls[:max_search_result]):
|
||||
res = scrape_text(url['link'], proxies)
|
||||
history.extend([f"第{index}份搜索结果：", res])
|
||||
chatbot.append([f"第{index}份搜索结果：", res[:500]+"......"])
|
||||
yield from update_ui(chatbot=chatbot, history=history) # 刷新界面 # 由于请求gpt需要一段时间，我们先及时地做一次界面更新
|
||||
|
||||
# ------------- < 第3步：ChatGPT综合 > -------------
|
||||
i_say = f"从以上搜索结果中抽取信息，然后回答问题：{txt}"
|
||||
i_say, history = input_clipping( # 裁剪输入，从最长的条目开始裁剪，防止爆token
|
||||
inputs=i_say,
|
||||
history=history,
|
||||
max_token_limit=model_info[llm_kwargs['llm_model']]['max_token']*3//4
|
||||
)
|
||||
gpt_say = yield from request_gpt_model_in_new_thread_with_ui_alive(
|
||||
inputs=i_say, inputs_show_user=i_say,
|
||||
llm_kwargs=llm_kwargs, chatbot=chatbot, history=history,
|
||||
sys_prompt="请从给定的若干条搜索结果中抽取信息，对最相关的两个搜索结果进行总结，然后回答问题。"
|
||||
)
|
||||
chatbot[-1] = (i_say, gpt_say)
|
||||
history.append(i_say);history.append(gpt_say)
|
||||
yield from update_ui(chatbot=chatbot, history=history) # 刷新界面 # 界面更新
|
||||
|
||||
Reference in New Issue
Block a user