Calibre-web 个人图书库搭建记 4

新做的 Calibre-web 书库晚上又重新同步了一遍,整个同步基本是失败部分,只有 18M 需要同步。把几千个文件对比一遍用了很长时间。

做完以后星期日没有什么需要做的了,但早上醒来发现书库打不开了,请求基本没有响应,ssh 也连接不上服务器,看了一下管理后台显示服务器的 cpu 居然接近用到 500%,用服务器的 web 管理后台硬重启了服务器,重启后再测试发现负载正常了。这个问题需要持续观测一下,真的需要装一个监控软件看一下服务器一天的负载变化,研究下是不是自己服务器的配置分配过低了。

重启完成后测试书籍 send to kindle 的功能又不能访问了,是服务器的 dns 设置又被系统还原了,linux 的一些配置是一次性的,重启机器会被还原、学习了一下如何改服务器配置为不还原的修改,过程就是搜索。搜索完发现 linux 配置文件是只读的,保存不了,再学习如何保存,用 sudo 都不能保存,搞了很久发现 vi 编辑器保存命令后再加 ! 可以强制保存 。:wq! 这个命令保存即可,看到这个才对应起来在保存不成功时 linux 的提示有让强制保存加!的提示,可我这英文不好又给忽略了。还是要尽快磨块英语这把刀,绝对不会影响砍柴功,这个事情本是很简单的按照提示操作即可,但我居然用了几个小时才找到答案。

[……]

阅读更多

Calibre-web 个人图书库搭建记 3

按照个人书库搭建计划,如期把 Calibre-web 图书馆藏升级为了 3800 多册,这么多书累计起来存储超过 17GB,这么大的文字数量,一个人读完也需要大量的时间。那些说自己读过上千本书的人真的让人佩服。

上传完图书以后自己又想将没有 epub 格式的电子书转换一下,这样就可以在线阅读了。使用本地 Calibre 转换了一晚上,通过小黄鸭 Cyberduck 同步到服务器以后网站又打不开了。这下几千本书籍也不知道要怎么处理了。

做了这个书库以后等于自己把书架藏书提升到了一片墙的感觉,一个书架墙只需要放置寥寥几本实体书和一个电子书就可以了,电子化总是好的,可以用极少的空间完成一件以前需要一屋子书架才能放起来的书籍。如果不是为了书籍的装饰效果,完全可以逐渐用电子书来替换了。

[……]

阅读更多

Calibre-web 个人图书库搭建记 2

昨晚折腾 Calibre-web 书库到很晚,等着书库的888本书上传完以后又新开了一台新的开发主机,这次把内存和产品升高了一下,然后把硬盘容量提升到了 60G,但机器网一直不通,等了一晚上网也是不通,早上删掉主机重建以后网通了。

抽空对照了昨天整理的部署文档进行安装,把漏下的步骤又做了填补,基本是完整的步骤了。部署完成以后开始用小黄鸭同步了一个 1000 多本的超大书库,但很也发现了一个Calibre-web 的 bug ,这个书库文件配置错误以后程序会崩溃,无法运行。

同步之前还测试了calibre-web 只支持 epub 的格式在线阅读,没有学会如何在线转换书籍格式,所以用windows 下的 Calibre 软件本地数据库转换书籍到 epub 格式,然后通过同步功能同步到小存储的服务器目录。测试一下全部可以支持在线阅读大该需要多大空间,顺便测试本地 calibre 的批量转换效率。总体看个人使用问题不大,但如果有大批量的导入和转换的化初始阶段会卡。转换和同步到服务器过程中总会有几个失败的情况出现。这也许就是需要批量处理的问题。

[……]

阅读更多

Calibre-web 个人图书库搭建记 1

因为自己本地版本Calibre软件中有很多的图书文档,大部分是基于 Kindle 的 .mobi、.epub 格式。突发奇想要去找一下图书馆相关的开源代码,再次验证自己想过的事情都有人已经实现或正在实践了。善于寻找总会找到你想要的经验和经历供你学习参考。通过关键词 epub web的关键词在github上找到一个基于 calibre 的开源web 图书馆系统,需要在linux环境下安装和运行,基于python 执行环境,但 pythoh 环境要求2.7以上,我的虚拟主机上安装的 python 是2.6版本,无法启动和安装。

所以需要先升级服务器环境,升级以后安装完成后其他服务器环境配置还是不能运行,一下午就折腾着熟悉升级 linux 服务器环境的事情。最终也没有完成服务器环境的部署和安装。

[……]

阅读更多

calibre 电子书管理工具

最近下载了一些kindle 电子书,发现有些是aws3 的格式直接发送到kindle 不成功,一直寻找一款可以转换格式的软件,今天碰到了calibre发现真是很不错,推荐一下

calibre是一个自由开源电子书软件套装,可以用来组织、存放、以及管理电子书,支持大多数的电子书格式。同时也支持与许多流行的电子书阅读器进行同步,并可能在DRM的限制下转换电子书的格式。还可以分享,做web下载站哦。

http://calibre-ebook.com/

[……]

阅读更多

使用系统命令curl、wget ,写个少量的数据采集脚本

0

最近想采集几个网站的数据,分析了一下网站是vue js写成的,虽然是动态网站,但因为采用的vue写的前端,数据全部都是json格式的,比直接采集静态网页的html再清洗数据方便多了。

源数据是公开可访问的数据 json 数据,虽然单条数据id没有规律可寻,但是api接口的全部搜索和搜索分页接口的URL有规律可寻,而且都是按照列表分页的,还给定义了传递每页取多少条的参数。

通过固定的命令就可以采集到,以前的时候我可能会手工采集一下。本来是考虑自己写个 js 脚本通过chrome的调试工具采集以后再写个程序接口回传采集到的数据的。

[……]

阅读更多

代码别丢,onedrive 共享当图床和共享网盘和视 频服务器oneplayer 实验

0

以前搞过一个 oneindex 的程序,通过微软的应用接口配合商业版、教育版的 onedrive 网盘,可以把 onedrive 当做一个私人的公开网盘使用。还可以做成一个转链接应用,可以把网盘内容通过转链搞成直链模式,用起来挺好用的。

可以通过 oneindex 可以把自己网盘共享出来,当个自己的个人开放的网盘和图床还是挺好的。

因为没有深入去分析oneindex代码,只是简单在服务器搭建了一个,开始用还可以,但是如果用目录里文件很多,calibre-web目录有十几万个文件,因为 oneindex 会自己索引并缓存目录,十几万个文件夹非常容易把服务器接口搞蹦,还容易触发 onedrive 的 api 接口频率限制,现在考虑可以优化这程序实现,把程序目录给缓存去掉,只实现直链请求在这种大量文件和文件的情况下性能可以优化一些。

[……]

阅读更多

OneDrive 配合 oneindex 搭建了一个图床使用

0

最近借助 oneindex 搭建了一个可以把 OneDrive 当做图床的程序,可以把 oneindex 中的某些目录共享出来,当成一个文件列表。

配合着静态地址的的转发,可以做一个图床或者云存储来使用,还能提供对外服务,俗称图床服务。

搭建完了以后再考虑使用场景时,发现可以搭配着 Calibre 进行操作,就是可以把 Calibre 的很多功能阉割掉,然后只保留图书目录和图书下载功能,这样把下载和图片路径改为 oneindex 搭建的目录就可以实现。

本计划重新搭建一套测试的,但因为一下子同步了十几万文件到 oneindex 目录,好像 oneindex 请求目录索引时卡住了。整个服务器都压力巨大,后来把服务器重启,把 Calibre 目录移除才将把服务器恢复正常。

[……]

阅读更多

没有秘密

0

前几天,阿里云的部分服务出现故障,很多运行在阿里云上的网络服务受影响。看阿里云的公告是北京地区部分可用区受影响。

我有个网站和小程序放了阿里云,不过是放到了青岛机房,应该没有受的故障影响。但故障的当天有人加我微信,说网站不能登录了,想问问怎么回事。过了一会又发消息说可以了登录了,谢谢。

我是第二天才看到的消息,我想了想故障时间貌似跟阿里云故障时间类似,以为是受阿里云故障的影响,打算直接甩锅给阿里云的。

[……]

阅读更多