拣阅一:缘由和系统设计「建议收藏」

拣阅一:缘由和系统设计

大家好,又见面了,我是全栈君。

个人平时比較喜欢看些新闻资讯,比方科技类的huxiu, 36kr,体育新闻等,对相关的APP也实用到,今日头条做的非常不错。周围非常多人在用。可是在用了一段时间之后发现非常多APP都有下面特点:

1. 信息多并且杂,即使我仅仅订阅或者关注了某些类别。推送的消息首先是太多其次是不相关。

太多的信息我消费不了,不相关的信息我比較反感。

2. 如今的APP号称能够进行精准和个性化的推荐,头条做的还行。可是感觉不能及时的捕捉用户的兴趣变化。推荐的结果变化也小。 惊喜度不够。

3. 聚合类的新闻资讯有非常多反复性的内容。并且非常多仅仅是简单的抓取和展现,对阅读的方式和体验都没有太大改善。

以上大概是用过之后感觉有些不便的地方。之前做过一段时间的推荐和文本处理相关的事情,加上自己有些想法,就想实现一个简单的系统,拿自己做个试验试试,也好验证下自己的想法,针对以上问题,个人的想法是1. 每天给用户展现一定数量的有价值的新闻,即限制推送给用户新闻的数量。相关性方面须要针对用户的特征建模,预期效果不太明显,仅仅能通过一些策略来控制,比方最热和相关结合,某个事件或者某个类别展现一条新闻等策略实现。2. 针对用户的行为及时更新用户的特征权重。及让变化更实时一点。3. 非常多人看文章仅仅是看文章的大意,非常少通读全文的,假设能对文章进行摘要。对APP类的应该会比較好。可是如今对中文貌似没有好的摘要方法。仅仅能不断的进行尝试改进。我会用之前文章介绍的摘要算法进行实验,结合中文的词法和语义做些尝试。

以上纯粹是个人的观点和看法。肯定有不妥的地方,这方面有想法的能够在一起交流下。

眼下开发工作已经进行了一些。之前一直用java来做web相关的服务和设计。奈何一般的云server跑java的话费用较高。故採用了python来进行相关的开发工作。系统的简单设计例如以下:

拣阅一:缘由和系统设计「建议收藏」

系统主要分为OnLine Service, OffLine Service, 当中OnLine 部分主要进行下面操作:

    a).  Fetcher利用UA和PA来获取推荐展示的新闻数据,首先会向redis请求相关数据计算。然后到MySql获取数据,眼下假定MySql能够满足一定量的并发请求,以后能够考虑依照数据类型在MySql前面再加一层缓存。

 

    b). Updater主要是依据用户行为来更新缓存中的UA权重,这样下次就能够依据用户的最新行为进行推荐展示。

      OffLine部分主要负责的是线下逻辑的处理,主要包含对抓取数据的清洗、特征提取、摘要、入库等操作,为了解耦,利用MQ来存储抓取的数据。

    眼下採用的方式是tornado 框架来提供web服务,redis作为缓存存储数据,mysql作为底层数据存储。 rabbitmq 来作为消息队列,jieba分词器来进行中文分词,redis + mysql 眼下已经实现。web主要剩下页面的设计和实现,特征提取和摘要正在进行。因为事情比較多,可能最后实现的跟文章中说的会有非常大差别。接下来会讲部分想法的实现过程和效果, 详细取决于进度和工作了。假设有兴趣能够一起交流。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/116165.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)
blank

相关推荐

  • 史上最详细的kali安装教程[通俗易懂]

    史上最详细的kali安装教程[通俗易懂]一、下载系统镜像文件首先下载系统镜像,进入kali官网,在Downloads中选择DownloadKaliLinux,如下图所示。2.根据电脑配置选择合适的版本,在这里我选择的是64位版本,点击HTTP下载镜像文件,或者torrent下载可使用迅雷。kali版本介绍:第一类是常规的32和64位版本;第二类简化版如:kalilinuxlight;第三类桌面环境如:mate、k…

  • MySQL数据库使用命令行备份|MySQL数据库备份命令

    MySQL数据库使用命令行备份|MySQL数据库备份命令转至  神马和浮云 ,命令未测试,主要是方便操作mysql时需要而记的笔记  例如:数据库地址:127.0.0.1数据库用户名:root数据库密码:pass数据库名称:myweb 备份数据库到D盘跟目录mysqldump-h127.0.0.1-uroot-ppassmyweb>d:/backupfile.sql备份到当前目录备份MySQ…

  • java定时任务quartz配置_taskregistrar

    java定时任务quartz配置_taskregistrar这篇文章主要介绍了spring中定时任务taskScheduler的相关资料,文中通过示例代码介绍的很详细,相信对大家具有一定的参考价值,有需要的朋友们下面来一起看看吧。前言众所周知在spring3.0版本后,自带了一个定时任务工具,而且使用简单方便,不用配置文件,可以动态改变执行状态。也可以使用cron表达式设置定时任务。被执行的类要实现Runnable接口TaskScheduler接口Tas…

    2022年10月11日
  • WinForm界面优化工具

    WinForm界面优化工具引用等待尝试http://space.itpub.net/12639172/viewspace-678321

  • qt容器类_下面属于容器类的是

    qt容器类_下面属于容器类的是C++中容器类是属于标准模板库中的内容,有必要回顾下标准模板库。STL=StandardTemplateLibrary,标准模板库,惠普实验室开发的一系列软件的统称。从根本上说,STL是一些“容器”的集合,这些“容器”有list,vector,set,map等,STL也是算法和其他一些组件的集合。STL被内建在编译系统之内。 在C++标准中,STL被组织为下面的

  • 基于flask框架的高校舆情分析系统[通俗易懂]

    基于flask框架的高校舆情分析系统[通俗易懂]系统分析:高校舆情分析拟实现如下功能,采集微博、贴吧、学校官网的舆情信息,对这些舆情进行数据分析、情感分析,提取关键词,生成词云分析,情感分析图,实时监测舆情动态。系统设计:前端:采用layui+echarts实现图表的展示,数据分析的结果后端:采用requests实现数据的采集,利用flask+mysql搭建web网站框架,利用机器学习的中文分词、情感分析等技术生成词云分析、关键词提取、情感分析等功能系统难点:采集微博、贴吧的数据,利用机器学习的知识生成词云分析、情感分析系统实现如

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号