记录一次网站爬虫经历

# 起因

最近发现一个收录IOS伪装上架APP的网站，对我来说这个比较有用，但是不想每次进去网站翻阅查看，所以起了下载下来用的心思！

# 效果

看过我前面主题的朋友应该知道，我是一个纯小白，一点语法什么的代码之类的全都不懂，但是！

万幸这是一个AI辉煌的时代！

直接让GPT帮我写一个可运行的程序出来！

先上成品效果！如下图

![image-20230603010551112](https://gitee.com/aminggoodboy/image/raw/master/img/202306030105715.png)

# 过程

这个网站里面就是一些文字内容，直接F12看元素里面都是啥

通过观察发现，里面的内容很明了

![image-20230603010936802](https://gitee.com/aminggoodboy/image/raw/master/img/202306030109071.png)

看到这我就知道这次应该是非常的简单，得，让GPT出马吧！

#### 第一次询问代码

第一次我问的简单一些，只是问他能不能做到，他直接就会出代码，并且告诉我可能出现得问题！然后直接让他解决问题就行了。

![image-20230603011137804](https://gitee.com/aminggoodboy/image/raw/master/img/202306030111769.png)

#### 第二次询问代码

后来我发现这样问不对，所以我换了一种问法，直接把请求发给他，让他根据请求帮我生成代码。

![image-20230603011450348](https://gitee.com/aminggoodboy/image/raw/master/img/202306030114578.png)

#### 第三次询问代码

这次得询问更简单了，因为他生成得代码只有部分sc_act得数据，并且不包含href里面得链接数据，所以我直接问他！（这里就不贴图了）

【上面你提供的代码只能打印一个sc_act的数据，而我需要的是全部，并且我还需要sc_act里面包含的href里面的数据】

#### 第四次询问代码

经过三次询问，现在已经能打印我想要得数据了，但是我还要下载，所以，直接给我写！

【很好，现在确实已经达到我的目的了，但是上面的代码打印的数据，我想把他生成表格保存在本地的桌面上，给表格命名为iOS追剧，你能帮我吗】

#### 第五次询问代码

这次让他帮我解决下载得数据都混在一块得问题，他给我得解决方案是加逗号，然后是按照换行分类数据。

【非常棒的代码，但是，现在还有问题，我发现sc_act里面包含的数据有多个href，并且最后输出的表格文件数据都在一个格子里，我想你能不能帮我把sc_act里面的数据全都分类，然后把里面包含的所有href都保存下来】

【还是有问题，能不能按照sc_act里面的换行来分类里面包含的数据，最后形成表格】

#### 第六次询问代码

现在已经很完美了，但是咱啥也不懂还喜欢精益求精。嘿嘿。

数据浏览起来不是很舒服，通过他下载出来得数据，我发现其实是每4行就是一个整体数据，所以，辛苦了，GPT。

【很好，代码写的非常的不错，但是我有了新的问题，为了方便我浏览表格文件，能不能让表格每4行空出来一行】

#### 第七次询问代码

到此其实已经该结束了，但是，为了美观，我让他直接给我生成一个界面！就像最开始得成品图那样。

【现在的代码已经非常完美了，我想请你帮我给这串代码做漂亮的界面，加上一个按钮，点击后才能生成表格，还要在界面内展示我的个人信息，比如作者：@@@@，网址：@@@@，微信：@@@@，顺便帮我把下载的目录优化一下，让他下载到桌面追剧文件夹内，如果桌面没有这个文件夹就帮我新建一个。】

# 总结

至此七次询问，GPT帮我生成了一个图形化得python程序！

中间得过程其实比这个稍微复杂一丢丢，比如一些环境我没装，要么直接百度搜这个环境怎么安装直接装，要么问GPT这个报错是什么，他直接就会告诉你是怎么回事，并说出解决方法，不得不再提一句，太6啦，AI元年真不是吹的。

这里我提供得是一个思路，小白有了大概得思路现在也能做出自己得程序了！

AI，小白福音。

![image-20230603013408698](https://gitee.com/aminggoodboy/image/raw/master/img/202306030134181.png)

lanzou : https://aming.lanzouc.com/iM09P0y2sioh