python操作内存数据_python重点知识

>>> v1=[1,2,3]
>>> v2=v1
>>> v3=v1
>>> id(v1)
45927400
>>> id(v2)
45927400
>>> id(v3)
45927400
>>> v3[0]="mcw"
>>> print(v2)
['mcw', 2, 3]

View Code

>>> v1=[1,2,3]
>>> v2=v1
>>> v3=v1
>>> v2=[1]
>>> id(v1)
46458520
>>> id(v3)
46458520
>>> id(v2)
46519160
>>> print(v2)
[1]
>>> id(v2[0])      #数据地址一致
504310928
>>> id(v1[0])
504310928
>>> id(v3[0])
504310928

View Code

>>> v1="mcw"       #v1指向一个地址
>>> v2=v1          #v2指向v1指向的地址
>>> v1.upper()     #字符串无法修改，让v1变大写。v1.upper()后是开辟一个临时内存存储大写的但是没人接收，v1值没有被修改
'MCW'
>>> print(v1,v2)
mcw mcw

>>> v1=”mcw” #v1指向一个地址
>>> v2=v1 #v2指向v1指向的地址
>>> v3=v1.upper() #让v1值变大写后v3接收，但是v1值本身没有被修改，
>>> print(v1,v2,v3)
mcw mcw MCW

>>> v1=[1,2,3]
>>> v2=v1
>>> v1.append("mcw")
>>> print(v1,v2)
[1, 2, 3, 'mcw'] [1, 2, 3, 'mcw']
>>> id(v1)
46458880
>>> id(v2)
46458880

View Code

>>> v1=[1,2,[3,4],5]
>>> v2=v1
>>> print(v1,v2)
[1, 2, [3, 4], 5] [1, 2, [3, 4], 5]
>>> v2[0]="mcw"
>>> print(v1,v2)
['mcw', 2, [3, 4], 5] ['mcw', 2, [3, 4], 5]
>>> id(v2[2][0])
504310960
>>> id(v2[2][1])
504310976
>>> id(v2[2])
46458800
>>> v2[2][0]="xiaoma"
>>> id(v2[2][0])               #v2[2][0]地址改变
46485536
>>> id(v2[2][1])              #v2[2][1]地址没变
504310976
>>> id(v2[2])                    #外层列表v2[2]地址没发生改变，但是v2[2][0]的指向了另外一个新地址
46458800
>>> print(v1,v2)
['mcw', 2, ['xiaoma', 4], 5] ['mcw', 2, ['xiaoma', 4], 5]

View Code

>>> v1=[1,2,[3,4],5]
>>> v2=v1
>>> id(v1[2])      #[3,4]
46458880
>>> id(v1[1])      # 2
504310944
>>> id(v1[2][1])   #4
504310976
>>> 
>>> v2[2]=[2,4,6]
>>> id(v1[2])         #[1,4,6]
46563856
>>> id(v1[2][0])     #2
504310944
>>> id(v1[2][1])      #4
504310976

>>> import copy
>>> a="mcw"
>>> b=copy.copy(a)
>>> c=copy.copy(a)
>>> id(a) is id(b)
False
>>> bool(a==b)
True
>>> id(a[0]) is id(b[0])
False

View Code

>>> import copy
>>> a="mcw"
>>> c=copy.deepcopy(a)
>>> id(a) is id(c)
False
>>> bool(a==c)
True
>>> id(a[0]) is id(c[0])
False

View Code

使用范例：
1)
file_object = open('mcw.txt',mode='r',encoding='utf-8')
content = file_object.read()
print(content)
file_object.close()
---------------结果：
FileNotFoundError: [Errno 2] No such file or directory: 'mcw.txt'
问题原因：没有这个文件
解决办法：在脚本的同一个目录下创建文件mcw.txt,并写入内容：小马过河测试。然后执行代码
2)
file_object = open('mcw.txt',mode='r',encoding='utf-8')
content = file_object.read()
print(content)
file_object.close()
----------------结果：
 (result, consumed) = self._buffer_decode(data, self.errors, final)
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xc2 in position 2: invalid 

continuation byte
问题原因：Windows下手动创建的mcw.txt文本编码格式为ANSI,
解决办法：打开mcw.txt另存为utf-8格式的mcw.txt文件
3)
file_object = open('mcw.txt',mode='r',encoding='utf-8')
content = file_object.read()
print(content)
file_object.close()
------------------结果：
小马过河测试


机器内部似乎有个utf-8 unicode的转换，疑问

使用范例：
1)
file_object = open('mcw.txt',mode='r',encoding='utf-8')
file_object.write('mcw')
file_object.close()
--------------结果：
  file_object = open('mcw.txt',mode='r',encoding='utf-8')
FileNotFoundError: [Errno 2] No such file or directory: 'mcw.txt'
问题原因：没有这个文件
解决办法：在脚本的同一个目录下创建空文件mcw.txt（utf-8格式的）,然后执行代码
2)
file_object = open('mcw.txt',mode='r',encoding='utf-8')
file_object.write('我是魔降风云变')
file_object.close()
----------------结果：
    file_object.write('我是魔降风云变')
io.UnsupportedOperation: not writable
问题原因：我的mode是"r"，不是"w"模式，
解决办法:修改open的参数mode为需要的可写模式
3）
file_object = open('mcw.txt',mode='w',encoding='utf-8')
file_object.write('我是魔降风云变')
file_object.close()
-------------结果：
没有输出，没有文件。执行代码后，在脚本当前目录下创建文件mcw.txt，并写入“我是魔降风云变”
4）
file_object = open('mcw.txt',mode='w',encoding='utf-8')
file_object.write('我是魔降风云变')
file_object.close()
--------------结果：
没有输出，打开原本为空的mcw.txt文本，里面出现内容我是魔降风云变

5）
file_object = open('mcw.txt',mode='w',encoding='utf-8')
file_object.write('我是小马过河')
file_object.close()
---------------结果：
没有输出，mcw.txt文本里面的“我是魔降风云变”原内容被新写的“我是小马过河”覆盖掉

6）
file_object = open('mcw.txt',mode='w',encoding='gbk')
file_object.write('我是mcw')
file_object.close()
-------------结果：
将上面的代码改为encoding="gbk",在Windows上还是能覆盖掉原来的内容，打开也能正常的看，没乱码

显示.
7、没有读的权限

file_object = open('mcw.txt',mode='w',encoding='utf-8')
file_object.read()
file_object.close()
--------------------------结果：

file_object.read()
io.UnsupportedOperation: not readable

 8）

file_object = open('mcw.txt',mode='w',encoding='utf-8')
file_object.close()
--------------结果：
创建一个空文件mcw.txt

使用范例：
1）
file_object = open('mcw.txt',mode='a',encoding='utf-8')
file_object.write('我喜欢吃米饭')
file_object.close()
---------------结果：
没有打印输出，没有mcw.txt文件。执行代码后，自动在脚本当前目录创建文件mcw.txt，并写入内容：

“我喜欢吃米饭”

2）
file_object = open('mcw.txt',mode='a',encoding='utf-8')
file_object.write(' 我叫小马过河')
file_object.close()
---------------结果：
已有文件mcw.txt，文件内容为“我喜欢吃米饭”.执行代码后，文件内容为“我喜欢吃米饭 我叫小马过

河”，追加了“ 我叫小马过河”

3）a没有可读权限

file_object = open('mcw.txt',mode='a',encoding='utf-8')
file_object.write('我喜欢吃米饭')
file_object.read()
file_object.close()
-------------------结果：
file_object.read()
io.UnsupportedOperation: not readable    

使用范例：
环境为：存在mcw.txt文档，里面内容为“我喜欢吃米饭 我叫小马过河”，开头没有空格
1)
file_object = open('mcw.txt',mode='r+',encoding='utf-8')
file_object.seek()
content = file_object.read()
print(content)
--------------结果：
    file_object.seek()
TypeError: seek() takes at least 1 argument (0 given)
问题原因：seek里面要接参数，可以接参数“字节”
2)
file_object = open('mcw.txt',mode='r+',encoding='utf-8')
file_object.seek(0)
content = file_object.read()
print(content)
----------------结果：
?我喜欢吃米饭 我叫小马过河
备注：似乎seek接0的时候从开头打印，打印出来的开头貌似有点空格；
    seek接3的时候从文本第一个字开始打印，    
    seek接6的时候，从“喜”开始往后打印
    utf-8是三个字节一个汉字
3)
file_object = open('mcw.txt',mode='r+',encoding='utf-8')
file_object.seek(0)
file_object.write('mcw')
content = file_object.read()
print(content)
file_object.close()
---------------结果：
原文档mcw.txt的内容为“我喜欢吃米饭 我叫小马过河”，打印输出内容为“我喜欢吃米饭 我叫小马过

河”，打开文件查看mcw.txt文件内容为“mcw我喜欢吃米饭 我叫小马过河”，开头增加了写入的内容“

mcw”。第二次只打印内容不写入，就会显示出“mcw我喜欢吃米饭 我叫小马过河”

4)
file_object = open('mcw.txt',mode='r+',encoding='utf-8')
file_object.seek(0)
content = file_object.read()
file_object.write('666')
print(content)
file_object.close()
----------------结果：
原文档mcw.txt的内容为“mcw我喜欢吃米饭 我叫小马过河”,打印输出内容为“mcw我喜欢吃米饭 我叫

小马过河”。打开文件查看在文件结尾加了内容“mcw我喜欢吃米饭 我叫小马过河666”
5)
file_object = open('mcw.txt',mode='r+',encoding='utf-8')
file_object.write('666')
content = file_object.read()
print(content)
file_object.close()
--------------结果：
这次没有设置光标，原文档内容“我喜欢吃米饭 我叫小马过河”，写入“666”后查看文件内容“666我

喜欢吃米饭 我叫小马过河”
这次没有设置光标，原文档内容“我喜欢吃米饭 我叫小马过河”，写入“小马”后查看文件内容“小马

喜欢吃米饭 我叫小马过河”
这次没有设置光标，并且在上次操作后不是重新修改保存的文档，原文档内容“小马喜欢吃米饭 我叫小

马过河”，写入“，”后查看文件内容“，马喜欢吃米饭 我叫小马过河”
这次没有设置光标，并且在上次操作后不是重新修改保存的文档，原文档内容“，马喜欢吃米饭 我叫小

马过河”，写入“ccccc”后查看文件内容“ccccc枩娆㈠悆绫抽キ 鎴戝彨灏忛┈杩囨渤”,乱码了
这次没有设置光标，原文档内容“我喜欢吃米饭 我叫小马过河”，写入“ cc”后(cc前有个空格)查看

文件内容“ cc我喜欢吃米饭 我叫小马过河”，没有乱码
6)
file_object = open('mcw.txt',mode='r+',encoding='utf-8')
file_object.seek(0)
file_object.write('小')
content = file_object.read()
print(content)
file_object.close()
---------------结果：
原文件内容“我喜欢吃米饭 我叫小马过河”，seek（0）,写入“小”后，文件内容变为“小我喜欢吃米

饭 我叫小马过河” pycharm打印输出“我喜欢吃米饭 我叫小马过河”
原文件内容“我喜欢吃米饭 我叫小马过河”，seek（0）,写入“小丽”后，文件内容变为“小丽喜欢吃

米饭 我叫小马过河” pycharm打印输出“喜欢吃米饭 我叫小马过河”
原文件内容“我喜欢吃米饭 我叫小马过河”，seek（0）,写入“你喜欢吃面条 你叫杨舟舟”后，文件

内容变为“你喜欢吃面条 你叫杨舟舟过河”，pycharm打印输出“过河”
原文件内容“我喜欢吃米饭 我叫小马过河”，seek（2）,写入“小小”后，文件内容变为“锘灏忓皬滄

鍚冪背楗?鎴戝彨灏忛┈杩囨渤”，pycharm打印输出“UnicodeDecodeError: 'utf-8' codec can't 

decode byte 0x9c in position 0: invalid start byte”由于seek的字节数不是3的倍数，也就是不是

一个utf-8汉字 3个字节的倍数报错。我是重新把文件转为utf-8操作才能重新用这个文件的
原文件内容“我喜欢吃米饭 我叫小马过河”，seek（0）,写入“mm”后，文件内容变为“mm挎垜鍠滄

鍚冪背楗?鎴戝彨灏忛┈杩囨渤”，pycharm打印输出“UnicodeDecodeError: 'utf-8' codec can't 

decode byte 0x9c in position 0: invalid start byte”由于写入的字节数不是3的倍数，也就是不是

一个utf-8汉字 3个字节的倍数报错。我是重新把文件转为utf-8操作才能重新用这个文件的
原文件内容“ cc我喜999吃米饭 我叫小马过河”，seek（6）,写入“666”后，文件内容变为“ cc我

666999吃米饭 我叫小马过河”，覆盖了第6个字节之后的三个字节。 pycharm打印输出“999吃米饭 我

叫小马过河”

实验案例：
1）
file_object = open('mcw.txt',mode='w+',encoding='utf-8')
data = file_object.read()
print(data)
------------------结果：
mcw.txt中有内容，执行代码之后情况，没有读出内容，即使在读之前添加seek也不行。执行写入时会将文件清空
2）
file_object = open('mcw.txt',mode='w+',encoding='utf-8')
file_object.write("魔降风云变")
data = file_object.read()
print(data)
------------------结果：
mcw.txt中有内容“小马过河”，多次执行代码都是写入了“魔降风云变”，并将之前的已有的内容清空了。pycharm没有打印出内容。

3）
file_object = open('mcw.txt',mode='w+',encoding='utf-8')
file_object.write("小马过河")
file_object.seek(6)
data = file_object.read()
print(data)
file_object.close()
----------------------结果：
mcw.txt中有内容“魔降风云变”，多次执行代码都是写入了“小马过河”，写完后seek(6),读取到第6个字节之后的内容“过河”并在pycharm打印出来。，每次执行都将之前已有的内容清空了。

实验案例：
1）
file_object = open('mcw.txt',mode='a+',encoding='utf-8')
file_object.write("小马过河")
file_object.close()
-------------结果：
mcw.txt文件不存在就会创建，并写入内容“小马过河”
2）
file_object = open('mcw.txt',mode='a+',encoding='utf-8')
file_object.seek(0)
data = file_object.read()
print(data)
-----------------结果：
如果没有file_object.seek(0)，光标默认在最后，没有读出内容。设置光标在开头才读出了内容，注意：读内容需要有变量去接收内容并将它打印，才能显示出来
3）
file_object = open('mcw.txt',mode='a+',encoding='utf-8')
file_object.write("下午，你好呀！")
file_object.seek(0)
data=file_object.read()
print(data)
-----------------结果：
原文件内容为“小马过河”，执行后，文件后面追加了“下午，你好呀”，文件内容变为“小马过河下午，你好呀！”，pycharm打印输出“小马过河下午，你好呀！”

4）
file_object = open('mcw.txt',mode='a+',encoding='utf-8')
file_object.seek(0)
file_object.write("我很好")
file_object.close()
--------------结果：
后面追加内容了。即使光标移到最前面，只要一写，无论光标在哪里都会立即跳到最后然后进行追加内容。试验表明，追加之后光标在最后需要重新seek调整，不然读不到内容。

file_object = open('mcw.txt',mode='r',encoding='utf-8')
data = file_object.read()
print(data)
file_object.close()
--------------结果：
read要有变量接收并打印

file_object = open('mcw.txt',mode='r',encoding='utf-8')
data_list = file_object.readlines()
print(data_list)
file_object.close()
---------------结果：
['\ufeff我叫小马过河\n', '我来自虚空深处。\n', '我来了，可是地球人说，魔降风云变。']

with open("mcw.txt",mode="r",encoding="utf-8") as f:
    content = f.read()
    row_list=content.split("\n")        #将文件都读出来，然后去掉每行的换行符形成的列表
    print(row_list)
--------------------结果：
['\ufeff我叫小马过河', '明天，你好']

file_object = open('mcw.txt',mode='r',encoding='utf-8')
while True:
    data=file_object.read(2)
    print(data)
-----------结果：
文件内容死循环从里面每次打印两个字符的大小。文件内容循环结束，打印空的内容

file_object = open('mcw.txt',mode='r',encoding='utf-8')
data = file_object.read(4)
print(data)
file_object.close()
----------结果：
”打印出“我叫小”，由于开头有一个特殊字符，所以显示少了一个

file_object = open('mcw.txt',mode='r',encoding='utf-8')
for line in file_object:
    line=line.strip()
    print(line)
file_object.close()
----------------结果：
我叫小马过河
我来自虚空深处。
我来了，可是地球人说，魔降风云变。

file_object = open('mcw.txt',mode='r',encoding='utf-8')
data_list = file_object.readlines()
print(data_list)
file_object.close()
-----------结果：
['\ufeff我叫小马过河\n', '我来自虚空深处。\n', '我来了，可是地球人说，魔降风云变。']

strip去掉\n的换行符
li=[]
file_object = open('mcw.txt',mode='r',encoding='utf-8')
data_list = file_object.readlines()
for i in data_list:
    li.append(i.strip())
print(li)
file_object.close()
-------------------结果：
['\ufeff我叫小马过河', '我来自虚空深处。', '我来了，可是地球人说，魔降风云变。']

file_object = open('mcw.txt',mode='w',encoding='utf-8')
file_object.write('abc\ndef')
file_object.close()
-----------结果：
覆盖了之前的内容。\n换行符生效，起到换行作用

import os
from datetime import datetime
basedir="D:\BaiduNetdiskDownload\XXX从入门到精通PPT\课本源代码"
bb=os.walk(basedir)
for a,b,c in bb:
    for i in c:
        filep=os.path.join(a,i)
        li=[]
        with open(filep,mode="rb") as f:
            for line in f:
                li.append(line)
        with open('mcw.txt', mode="ab") as f:

            # f.write(("\n----------------------------开始-%s------------------------------\n"%i).encode("gbk"))
            f.write('\r\n'.encode())
            f.write('\r\n'.encode())
            f.write('\r\n'.encode())
            f.write(("-------开始-%s----收集by小马过河-----"%i).encode("gbk"))
            f.write('\r\n'.encode())
            f.write('\r\n'.encode())
            # f.write(('\n--------------------------------------------------------------\n').encode("gbk"))
            for j in li:
                f.write(j)
            f.write('\r\n'.encode())
            f.write(("-------结束-%s----收集by魔降风云变-----"%i).encode("gbk"))
            f.write(datetime.now().strftime("%Y_%m_%d %H:%M:%S").encode('gbk'))
            f.write('\r\n'.encode())
        print(filep)

# 1.有一个文件，这个文件中有20000行数据，开启一个线程池，为每100行创建一个任务，打印这100行数据。
# import time
# from threading import Thread
# from concurrent.futures import ThreadPoolExecutor
#
# # with open('mcw.txt',mode="a",encoding="utf-8") as f :
# #     for i in range(0,20000):
# #         f.write("魔降风云变-%s\n"%i)
# shang=int(20000/100)
# li=[]
# with open('mcw.txt',mode="r",encoding="utf-8") as f :
#     for line in f:
#         line=line.strip()
#         li.append(line)
# index_li=[]
# for i in range(shang):
#     start_index=i*100
#     end_index=(i+1)*100
#     index=(start_index,end_index)
#     index_li.append(index)
# def func(li,index):
#     print("\n".join(li[index[0]:index[1]]))
# tp=ThreadPoolExecutor(10)
# for i in index_li:
#     t=Thread(target=func,args=(li,i,))
#     t.start()
# tp.shutdown()



# 方法二：
import time
from threading import Thread
from concurrent.futures import ThreadPoolExecutor

# with open('mcw.txt',mode="a",encoding="utf-8") as f :
#     for i in range(0,20000):
#         f.write("魔降风云变-%s\n"%i)
num_li=[i for i in range(0,20001,100)]#[0, 100, 200, 300, 400, 500, 600, 700, 800, 900, 1000, 1100, 1200, 1300, 1400, 1500, 1600, 1700, 1800, 1900, 2000]
cur_li=[]
with open('mcw.txt',mode="rb") as f :
    for i in range(0,20000): #i是0的时候还没读取游标是0，i是第100行(这行还没读取)的时候游标是1990，
        if i in num_li:
            cur=[i,f.tell()]
            cur_li.append(cur)
            print(f.tell())
        data = f.readline()#.strip()
        # data=f.readlines()
        # print(data)
print(cur_li) #[[0, 0], [100, 1990], [200, 4090], [300, 6190], [400, 8290], [500, 10390], [600, 12490],  [1800, 38490], [1900, 40690]]
cur_li_new=[ {
   
   "第几行到第几行:":"%s到%s行:"%(cur_li[i][0],cur_li[i+1][0]),"seek起始位置：":cur_li[i][1],"read读取字节：":cur_li[i+1][1]-cur_li[i][1]}  for i in range(len(cur_li)) if i<len(cur_li)-1]  #,cur_li[i+1][1]-cur_li[i][0]-1):
cur_li_new.append({
    
    "第几行到第几行:":"%s到%s行:"%(cur_li[-1][0],cur_li[-1][0]+100),"seek起始位置：":cur_li[-1][1],"read读取字节：":None})
print(cur_li_new)
def func(i):
    print("-----------%s开始读取----------------" % i['第几行到第几行:'])
    f.seek(i['seek起始位置：'])
    data = f.read(i['read读取字节：'])
    print(data.decode())
    time.sleep(0.1)
    print("-----------%s已经结束----------------" % i['第几行到第几行:'])
start=time.time()
with open('mcw.txt',mode="rb") as f :
    # tp=ThreadPoolExecutor(10)
    for i in cur_li_new: #单个i元素：{
   
   '第一行到第几行:': '0到100行:', 'seek起始位置：': 0, 'read读取字节：': 1990} {
   
   '第一行到第几行:': '100到200行:', 'seek起始位置：': 1990, 'read读取字节：': 2100}, {
   
   '第一行到第几行:': '200到300行:', 'seek起始位置：': 4090, 'read读取字节：': 2100},
        func(i)
        # Thread(target=func, args=(i,)).start()


    # tp.shutdown()

print(time.time()-start)
# [200, 4090], [300, 6190] seek到4090，read(6190-4090)
#1[0, 0],2 [100, 1990],3 [200, 4090],4 [300, 6190]
# ---------------
#0.0500028133392334   函数执行
#20.00814437866211  线程池执行
#由上可知，实现了线程池效果

with open('mcw.txt',mode="r"，encoding="utf-8") as f : 

# data = f.readline()
# print(data)
# print(f.tell())
# -----结果：
# 魔降风云变-0
#
# 19

# 要点一（问题）：
# f.seek(0)
# data = f.read(19)
# print(data)
# print(f.tell())
# -------------------结果：
# 魔降风云变-0
# 魔降风云变-1
# 魔降风
# 47
# 试了试两段代码，第一段代码是读取文件第一行得到第一行总共19个字节，
# 然后我seek(0)，f.read(19)
# 往后读取19个字节，预期只读取到第一行
# 结果和预期只打印第一行不同，多打印了47 - 19 = 28
# 个字节，这是什么原因呢？
# 是read有问题么？怎么看都不想说只读取了，难道是编码问题
# 解答：编码问题，rb读取就可以了，想打印就数据.decode()

with open('mcw.txt',mode="rb") as f