Oduvan's Web Blog » tips

Можно быстрее и красивее?

Oduvan — Sat, 03 Jul 2010 13:22:57 +0000

Как поменять местами ключи и значения в дикте?

d = {1:2,3:4,5:6}
dict(zip(d.values(),d.keys()))

Share and Enjoy:

Кешируйте с умом.

Oduvan — Fri, 11 Dec 2009 21:54:40 +0000

Всем привет. Да, знаю, я давно не писал. Ну простите, и как это не банально, был занят. А заставила меня написать одна мысля. И пожалуйста, дочитайте это до конца, потому что или это очень круто или я опять что то не понимаю, и с температурой 38 мне лучше за клаву не садиться.

Кеш. Я им пользуюсь для того, чтобы данные, которые я долго вычисляю — положить в память куда нить, чтоб если они понадобились — быстро их оттуда взять. Ну а если их там нет, то просто пересчитать и положить. Если вы им пользуетесь также, то читайте дальше иначе напишите комментарий, который начнется со слов: «Тю, блин, а я его совершенно по другому юзаю, глянь…»

Т.е. на сетах и гетах все сводится к примерно следующему алгоритму.

from django.core.cache import cache
def setter(key,l_value,timeout=0):
val = cache.get(key)
if val is None:
val = l_value()
cache.set(key,val,timeout)
return val

где l_value — это ссылка на функцию, значение которой будет получено, в случае если его нет в кеше.

Вот этот умопомрачительный алгоритм у меня лежит в основе кеширования.

Хух… если у вас также, то идете дальше. Надеюсь сейчас осталось достаточно народу.

Прогуливаясь легкой и непринужденной походкой по блогосфере рунете я уже в который раз натыкаюсь на довольно странное решение следующей проблемы.

Если есть какие либо данные которые системе нужны часто, но вычисляются долго, то их прямое получение по алгоритму, описанному выше — просто убивает систему. Потому что как только они пропадают из кеша — все, кому нужны эти данные — начинают скопом — все вместе их получать. Например статистика по пользователям у вас вычисляется 5 сек, а выводится на главной странице, с посещаемостью 50 чел в сек, значит одновременно эти данные будут получать 250 процессов – что, может привести к смерти.

Решение рунета — 2 кеша. В один кладем с одним эксперейшеном, в другой с таким же, но чуть больше. Я думаю многие натыкались на такие решения, но вкратце — если заэкспаирилось в первом — берем из второго, но первый, кто узнал, о том, что заэкспаирилось — пересчитывает.

Тут просто тьма тьмущая узких мест

1.Старт у системы должен быть особый. Т.е. в нулевой точке в кеше уже должны быть часто доступные данные.
2.У вас двойные данные в кеше, т.е. две копии, а ведь часто бывает и такое, что трудновычисляемые данные — это и большие данные.
3.И последнее — если процесс, который вычисляет заекспаревшиеся данные — умирает. То умирают все. Явно теряем в отказоустойчивости.

Кратко опишу свой алгоритм решения, и построенный на нем джанговый кешовый бекенд (за базовый взят мемкешовый).

Если в ячейку с ключем класть не данные, а хеш из двух значений — данные, и время, когда их надо обновить. (ТАДАМ избавились от второго пункта)

А что если ты перед началом вычислений будеш класть в другой системый и уникальный ключ в кеше время, когда первый, начавший вычисления – планирует их закончить. А остольные процессы, которые захотят получить данные и не увидят их — смогут орентироваться на системный ключь, чтоб понимать, что данные скоро будут и их необходимо подождать или мы не дождались и попробуем еще раз. (ТАДАМ избавились от первого и третьего)

А теперь скучный код. Чтоб легче было читать — его необходимо скрестить с алгоритмом, который я описывал выше. И если функция гет — вернет None то эти данные сразу начнут вычисляться.

Небольшой рандом необходим, чтоб все процессы сразу не набросились вычислять после первого сдавшегося, а нарастающий таймаут необходим для быстрого избавления от быстрых данные и размеренного ожидания долгих.

from django.core.cache.backends.memcached import CacheClass as BaseCacheClass
from datetime import datetime,timedelta
from time import sleep
from random import random
ADDITION_EXP_TIME = 20
TIME_FOR_CREATE = 5
class CacheClass(BaseCacheClass):
def add(self, key, value, timeout=0):
timeout = timeout or self.default_timeout
value = {'v':value,'e':datetime.now()+timedelta(seconds=timeout)}
super(CacheClass,self).add(key,value,timeout+ADDITION_EXP_TIME)
def set(self, key, value, timeout=0):
timeout = timeout or self.default_timeout
value = {'v':value,'e':datetime.now()+timedelta(seconds=timeout)}
super(CacheClass,self).set(key,value,timeout+ADDITION_EXP_TIME)
def get(self,key, default=None):
wait_next_val = 0
while True:
wait_next_val += 0.1
value = super(CacheClass,self).get(key,default)
now = datetime.now()
if value is not None and now<value['e']:
return value['v']
wait_system_key = 'wait_system__%s__wait_system'%key
wait_system = super(CacheClass,self).get(wait_system_key)
# if you find expired key first or you don't wait the next person
if wait_system is None or wait_system<now:
super(CacheClass,self).set(wait_system_key,datetime.now()+timedelta(seconds=TIME_FOR_CREATE),TIME_FOR_CREATE + 5)
return None
#if somebody already getting a new value
if value is not None:
return value['v']
sleep(random()*wait_next_val)

И на всякий случай. Если вы все таки считаете это отличной идее. Кладем это в файлик с незамысловатым названием smart_cache.py рядом с settings.py, а в settings.py записываем

CACHE_BACKEND = "smart_cache://127.0.0.1:11211"

Share and Enjoy:

WinPdb дебажить джангу стало еще легче

Oduvan — Mon, 09 Nov 2009 20:59:10 +0000

Хоть простой и нативный pdb и так нам давал все что надо, все же приятно понимать, что есть еще чтото, что может сделать наш девелов приятней. WinPDB – одна из этих приятностей (наткнулся на нее вДжанговкой Вики) . Если коротко – это дебагер с приятным пользовательским интерфейсом, которой кросc-платформенный к слову говоря.

Пользовать легко.
Раньше вы коде оставляли:

import pdb; pdb.set_trace()

А теперь получается чуть длиннее:

import rpdb2; rpdb2.start_embedded_debugger('mysuperpassword')

На сколько я понял, этот пароль нужен для авторизации дебагера в эту точку прерывания. Т.е. как и pdb, rpdb2 отсанавливает выполение в этой строке.

Запускаем winpdb. File => Attach. В появившемся окне вводим наш пароль mysuperpassword. В полученном списке выбираем наш.

Но самое клевое, что теперь мы можем дебагером зацепиться там, где раньше не умели, например wsgi скрипт висит в апаче. Мы можем по средствам этого механизма присосаться и к нему.

P.S. …

И Django Cheet Sheet, кто еще не знает…
И надо будет испытать django-tinymce

Share and Enjoy:

Urls и views в одном файле.

Oduvan — Thu, 01 Oct 2009 15:55:38 +0000

Я уже посягал на суверинитет джанги. Но это было давно и не правда. Более того, меня тогда убедили, что делаю я глупости, и я даже убедился сам, в последствии, что на самом деле делаю глупости. Но мысть о том, что urls.py не нужен – не перестает меня беспакоить. Поэтому очередно фин, аморальный бред – называйте как хотите, но мне безумно нравится.

Идея проста. Вьюха и урла всегда вместе – а значит одно должно быть декоратаром для другого.

Итак главный urls.py имеет обычный вид

from django.conf.urls.defaults import *
urlpatterns = patterns('',
(r'^someurl/',include('someapp.url_view')),
)

/someapp/url_view.py – тут у нас сбстно и хранятся вьюхи с урлами. Как видите, декоратор tourl нам земенил запись в urls.py

from django.http import HttpResponse
from tourl import tourl
@tourl(r'^and/$')
def and_(request):
return HttpResponse('and')
@tourl(r'^gg/$')
def index(request):
return HttpResponse('OK')

/someapp/tourl.py – ну и код самого декоратора

from django.conf.urls.defaults import *
import sys
import functools
def tourl(url_patern,*args,**kwargs):
def paramed_decorator(func):
@functools.wraps(func)
def decorated(self):
return func(self)
module =sys.modules[func.__module__]
if not hasattr(module, 'urlpatterns'):
module.urlpatterns = patterns('',)
module.urlpatterns += patterns('',
url(url_patern,decorated,*args,**kwargs),
)
return decorated
return paramed_decorator

Помоему и симпотично и по производительности не бьет. Вобщем конфетка! Что скажите?

PS: Добавил снипет.

PSS: В снипетсах посоветовали добавить functools.wraps

PSS: А еще можно использовать и так

from django.http import HttpResponse
from tourl import tourl, patterns,url
@tourl(r'^and/$')
def and_(request):
return HttpResponse('and')
def index(request):
return HttpResponse('OK')
tourl(r'^gg/$')(index)
def ordinary(request):
return HttpResponse('Ordinary')
urlpatterns += patterns('',
url(r'^ord/$',ordinary)
)

Share and Enjoy:

import class by name

Oduvan — Wed, 05 Aug 2009 21:34:08 +0000

import sys
#from twisted.internet.interfaces import IAddress
name = 'twisted.internet.interfaces.IAddress'
def import_class(line):
line = line.split('.')
mname = '.'.join(line[:-1])
if mname in sys.modules:
mname = sys.modules[mname]
else:
__import__(mname)
mname = sys.modules[mname]
return getattr(mname,line[-1])
print import_class(name)

Share and Enjoy:

Django group by

Oduvan — Tue, 19 May 2009 09:01:29 +0000

как делать group by в моделях. В доках вещь не очевидная. Работает только с транком.

def count_rubrics(post_filters):
"""get dict rubric id => post count if this rubric
"""
newobj = M.Post.objects.filter(**post_filters).annotate(count_rubric=Count('rubric')).\
values('rubric','count_rubric')
newobj.query.group_by = ['rubric_id']
ret = {}
for item in newobj:
ret[item['rubric']] = item['count_rubric']
return ret

Share and Enjoy:

Stand alone scripts for Django

Oduvan — Tue, 07 Apr 2009 11:57:27 +0000

Если вы хотите пользоваться всеми переменными окружения Django, но при это “находится” не врутри какой либо вьюхи, т.е. код запускается не через Http запрос, а к примеру – через крон, то начинаться этот скрипт у вас должен такими словами, и лежать он должен в коре вашего проекта:

#!/usr/bin/python
# coding: utf-8
from django.core.management import setup_environ
import settings
setup_environ(settings)

Успехов…

Share and Enjoy:

К черту трейсы, если есть дебаги

Oduvan — Sun, 14 Dec 2008 20:57:08 +0000

Сегодня попробовал, пришел в легкий экстаз….

В какойнить вьюхе, данные которой вам интересны напишите просто

import pdb
pdb.set_trace()

импорт, ясен, можно вынести за вьюху. Это питоновский дебагер. Теперь, когда вы откравить зепрос к этой вьюхе, и он дойдет до указаного места – выполнение остонавливается и в консоле, в которой у вас запущена джанга вы переходите в дебаг.

[14/Dec/2008 14:40:21] "GET /myview/ HTTP/1.1" 200 2
> /home/oduvan/www/AppDjango/views.py(10)index()
-> if request.user.is_anonymous:
(Pdb)

и в консоле поддерживаются следующие основные комманды:
n – следующая сомманда
s – зайти в рутину
r – выйти из рутины
l [first,[last]] – вывести код, и место, где ты сейчас находишся. Если не указан first и last то выводится текущая позиция. first и last определяет с какой по какую строчки необходимо вывести.
p – вывести результат операции
c – продолжать выполнения программы до следующего брейкпоинта
w – показать текущий стек вызова
q – выйти.

Этого мне пока в полне достаточно. Натолкнулся тут. А еще можно почитать на python.org.

Если чесно, узнай я про енту фикчу прикольную раньше – и спал бы по дольше, и выглядел бы лучше.

Share and Enjoy:

Небольшие доработки newpatern и небольшой примерчик

Oduvan — Wed, 03 Dec 2008 19:49:45 +0000

Буквально пару строк кода добавили массу дополнительных возможностей.

теперь если функция cp_before возвратит значение – это значит это и будет результатом всего запроса. Появилась функция cp_after которая вызывается в конце всей обработки

результат работы функций cp__* может быть не обязательно наследник HttpResponse, но и любая другая структура языка, которая уже будет преобразована к оному с помощью функции cp_prepare

Вот собственно необходимые доработки в классе AddNewUrl :

def __call__(self,*t,**k):
if 'before' in self.prefix :
ret = self.prefix['before'](*t,**k)
if ret:
return ret
ret = self.view(*t,**k)
if 'prepare' in self.prefix:
newret = self.prefix['prepare'](ret,*t,**k)
if newret: ret = newret
if 'after' in self.prefix:
self.prefix['after'](*t,**k)
return ret

теперь, к примеру задача вывода JSON структуры сводится к

from django.http import HttpResponse
import simplejson as json
class BaseViews(object):
def prepare_cp(self,response,request):
return HttpResponse(json.dumps(response))
def cp__all_rooms(self,request):
return {'hi':'World','id':request.GET.get('id')}

Share and Enjoy:

Serialize XML

Oduvan — Sun, 30 Nov 2008 22:03:58 +0000

Сегодня из интереса написал небольшой модуль сериализации в ХМЛ. На скорую руку. Как по мне – довольно элегантное решение. Как думаете?

def xml_escape(text):
return str(text).replace('&','&').replace('<','<').replace('>','>').replace('"','"').replace("'",''')
def xmlSerial(name,attr=None,inner=None):
if attr:
name_attr = name+' '+' '.join(map(lambda (a,b):a+'="'+xml_escape(b)+'"',attr.items()))+' '
else:
name_attr = name
if inner:
if type(inner) == list:
inner_str = ''.join(map(lambda a: xmlSerial(*a),inner))
else:
inner_str = inner
return '<'+name_attr+'>'+inner_str+'+name+'>'
else:
return '<'+name_attr+'/>'

Вот, как его мона юзать:

print xmlSerial('HI',{'a':'1','c':3,'d':'WOW'},[['RR'],['WOW',{'and_attr':'45t'}],['WIN',{'a':1},'HI IT IS INNER']])
print xmlSerial('HI',{'a':'1','c':3,'d':'WOW'},[['RR'],['WOW',{'and_attr':'45t'}]])
print xmlSerial('HI',{'a':'1','c':3,'d':'WOW'},[['RR'],['WOW']])
print xmlSerial('HI',{'a':'1','c':3,'d':'WOW'},'AND INNER')
print xmlSerial('HI',{'a':'1','c':3,'d':'WOW'})
print xmlSerial('HI',{'a':'1'})
print xmlSerial('HI')

Share and Enjoy: