<Annotations>
<Annotation about="*.antirez.com/*" timestamp="0x0006140ea65e7149" score="1.0">
<Label name="_include_"/>
<AdditionalData attribute="original_url" value="http://antirez.com"/>
</Annotation>
<Annotation about="*.huoding.com/*" timestamp="0x0006140e7ab53ef5" score="1.0">
<Label name="_include_"/>
<AdditionalData attribute="original_url" value="https://huoding.com"/>
</Annotation>
</Annotations>

# 描述: 这是一个Python脚本，用于构建google ces的annoation格式文本，达到批量导入博客，用于检索的目的
# 作者: wxf
# 版本: 1.0
# 生成日期: 2024/03/20
# 最后修改日期: 2024/03/20

import re
import os
import subprocess

# 从本地文件读取文本
file_path = 'QiReader subscriptions - Wed Mar 20 2024.opml'
with open(file_path, "r", encoding='utf-8') as file:
    text = file.read()


# 使用正则表达式提取htmlUrl
html_urls = re.findall(r'htmlUrl="(.*?)"', text)

url = []


with open("tmp_urls.txt", "w") as file:
    for url in html_urls:
        file.write(url + "\n")

tmp_flit_urls = []

## 替换尾部//为/
grep_command = ['grep', '//$', 'tmp_urls.txt']
awk_command = ['awk', '-i','inplace','{sub(/\/\/$/, \"/\")}1', 'tmp_urls.txt']

grep_rlt = subprocess.run(grep_command, capture_output=True, text=True)
file_list = grep_rlt.stdout.splitlines()

for file in file_list:
    subprocess.run(awk_command,text=True)

## 替换https: xx为空格
substring = ["http://","https://","http://www.","https://www.","www."]
for url in html_urls:

    for sub_str in substring:
        if sub_str in url:
            url = url.replace(sub_str, "",1)

    if url.endswith("/"):
        tmp_flit_urls.append(url + "*")
    else:
        tmp_flit_urls.append(url + "/*")

# 输出处理后的htmlUrl列表到文件
with open("tmp_flit_urls.txt", "w") as file:
    for url in tmp_flit_urls:
        file.write(url + "\n")

# 从txt文本中读取网址列表
about_list = []
value_list = []

# 从xx.txt文件中读取内容并写入about_list列表
with open("tmp_flit_urls.txt", "r") as file:
    for line in file:
        about_list.append(line.strip())

# 从tmp_urls.txt文件中读取内容并写入value_list列表
with open("tmp_urls.txt", "r") as file:
    for line in file:
        value_list.append(line.strip())

# 原始标签内容
original_text = """
<Annotation about="*.huoding.com/*" timestamp="0x0006140e7ab53ef5" score="1.0">
<Label name="_include_"/>
<AdditionalData attribute="original_url" value="https://huoding.com"/>
</Annotation>
"""

# 生成替换后的格式化文本
formatted_texts = []
for about, value in zip(about_list, value_list):
    replaced_text = original_text.replace("*.huoding.com/*", about)
    replaced_text = replaced_text.replace("https://huoding.com", value)
    formatted_texts.append(replaced_text)

# 输出生成的格式化文本到文件
with open("annotations.xml", "w") as file:
    file.write("<Annotations>\n")
    for text in formatted_texts:
        file.write(text + "\n")
    file.write("</Annotations>")

# 删除含有tmp字符的文件
files = os.listdir(".")
for file_name in files:
    if "tmp" in file_name:
        file_path = os.path.join(".", file_name)
        os.remove(file_path)
        print(f"文件 {file_name} 已成功删除。")

<Annotations>

<Annotation about="antirez.com/*" timestamp="0x0006140e7ab53ef5" score="1.0">
<Label name="_include_"/>
<AdditionalData attribute="original_url" value="http://antirez.com"/>
</Annotation>


<Annotation about="righto.com/*" timestamp="0x0006140e7ab53ef5" score="1.0">
<Label name="_include_"/>
<AdditionalData attribute="original_url" value="http://www.righto.com/"/>
</Annotation>


<Annotation about="lijiaocn.com/*" timestamp="0x0006140e7ab53ef5" score="1.0">
<AdditionalData attribute="original_url" value="https://emacsguru.wordpress.com"/>
</Annotation>

... 太长不看

</Annotation>

> 提问：开源检索网络的网站

> 回答：
开源检索网络的网站中，一个备受推荐的是**YaCy**。YaCy是一个去中心化的搜索引擎，由网络上的众多参与者共同维护。它的目标是创建一个公开、透明且不受单一实体控制的搜索引擎。

### YaCy的特点包括：

- **去中心化**：YaCy利用P2P技术，使搜索索引分布在全球范围内的参与者之间，而不是存储在中心服务器上。
- **隐私保护**：由于其去中心化的特性，YaCy提供了较高的匿名性和隐私保护。用户的搜索请求不会被跟踪。
- **自主爬虫**：YaCy拥有自己的网络爬虫技术，用户可以自定义爬虫的行为，包括要爬取的网站和内容。
- **开源**：YaCy是完全开源的，这意味着任何人都可以查看其代码、进行修改或贡献。

YaCy适合那些希望建立自己的搜索引擎、研究搜索技术或者关心隐私保护的用户和开发者。它可以被部署为个人的搜索门户，也可以作为一个组织内部的搜索解决方案。YaCy的开源性质和去中心化架构为搜索引擎领域提供了一个独特且有力的选择。

docker run -d --name yacy_search_server -p 8090:8090 -p 8443:8443 -v /d/local_data/yacy:/opt/yacy_search_server/DATA --restart unless-stopped --log-opt max-size=200m --log-opt max-file=2 yacy/yacy_search_server:latest