четверг, 21 июля 2016 г.

mikrotik routerOS 6.35.4

Появился в prerouting прикольный пункт route. указывает куда перенаправить трафик. удобно, вместо двух правил - одно.

squid smp поддержка многопроцессорности

Собрал по инструкции: http://wiki.squid-cache.org/ConfigExamples/SmpCarpCluster 
Не работает. выдаёт: kid1| ERROR: No forward-proxy ports configured.
добавил в frontend.conf порт для работы прокси не только в режиме прозрачном, но и в обычном.  имеем:  storeDirWriteCleanLogs: Starting...
2016/07/21 23:33:58 kid1|   Finished.  Wrote 0 entries.

самое главное он не может форвардить https т.к. падает. в общем smp squid из коробки не работает. собрал стартовые файлы для каждого отдельно. 250 пользователей. работает быстро. 
собственно smp squid (workers, fork поддержка многопроцессорности) нужена для реально загруженных каналов скорее всего от 500 или 1000 пользователей, а так это баловство. 

начну пилить netflow коллектор для 10 роутеров. 

вторник, 19 июля 2016 г.

Прозрачный Squid на Freebsd использует много оперативной памяти.

На самом деле много интересных текстов про прозрачный squid написано везде. Ошибки одни и те же. Раньше не возникало проблем с превышением squid доступной памяти в системе. работало. Рекомендации вида на 1GB кэша squid использует 14MB оперативной памяти ну и + cache_mem для горячего содержимого. формула проста. писатели squid пишут активно в рассылках: бро юзай так: 50000МБ - 50GB, значит 50*14MB + 512MB (cache_mem) = 1212MB (примерно) оперативки будет использовать.

Прикинул, это же вообще хорошо. сделал по инструкции. запустил 50 пользователей на squid 3.5.19, уехал по делам. прихожу freebsd лежит мертво. squid сожрал всю доступную память - около 25000Мб вместе со swap, конечно понимаю, что на нормальной машине стоит ну там от 48GB оперативной памяти и этот размер squid не особо и заметен на общем фоне.
 в логах есть: "squid cannot allocate memory" и в мессаджах  "Cannot allocate memory".

Отправил клиентов подождать. долго смотрел, сам кэш не исопользовался, cache_mem, cache_dir пустые, ну по 512МБ не более. виноват был торрент клиент, который сука генерировал тысячи соединенй с разными IP и прочим говном, через 80 порт.

почитал про memory_pool и прочее, но там стандартные параметры. ничего особенного.

Вспомнив, что squid должен очищать кэши подключений к серверам и клиентам ибо для скорости значения у него 3600

authenticate_cache_garbage_interval 3600 seconds
authenticate_ttl 3600 seconds

3600 - это получается час он держит не нужные данные. сам squid использует процессор ну на 2% максимум. основное - жрет оперативу, сохраняя в ней ненужные данные. 

сделал:
authenticate_cache_garbage_interval 600 seconds
authenticate_ttl 600 seconds

Сделал так, на целых десять минут. Собственно поедание оперативной памяти прекратилась нагрузка на процессор выросла до 3%. установил cache_mem 4 GB.

Увеличилась скорость отдачи самих сайтов и из картинок. Вот странно, не видел игры с этими значения на форумах.

понедельник, 18 июля 2016 г.

Freebsd и прозрачный https squid

Собственно squid не умеет работать с прозрачным проксированием, как таковым. Он методом коннект прокидывает через себя трафик и определяет доменное имя. Польза есть в виде определения домена  и запрет подключения к нему. Без выдачи в браузер сообщения о причине блокировки.

Причем, довольно интересно, при ошибки туннельного соединения он всеравно доставляет данные до клиента. Интересно кешировать данные которые идут внутри https соединения. Но тут уже надо работать как вирус перехватчик, что собственно противоречит морали писателей squid. На данном этапе эволюции сертей, кеширование squid не треьбуется,  но хотелось бы.

пятница, 15 июля 2016 г.

Bristol ridge, AMD A12-9800. Процессор от amd.

Новый процессор на базе am4, ddr4-2400.

Да, круто, но похоже очередное недопиленное полено, с глюками драйверов, причём везде, в любой ос. Он будет работать, но скорее всего так же криво и не полноценно, как все прочие девайсы от amd. Intel давно анонсировала 14мк процессоры с ddr4. Работают они не быстрее старого поколения. Быстрее ну на 10-20%. Всё. Частота одинаковая. Ну и смысл брать это новое? Под freebsd эти новые фишки не эффективно. А зачем на десктопе серверные процессор, который будет использовать только половину инструкций?

Глюки с отображением температуры в операционной системе, опять будут. Опять не будет работать принудительный сброс частоты из коробки.

Сознательную жизнь нравились продукты AMD. Первые видеокарты с составом от s3. AMD Duron, которые грелись как сковорода на газовой плите, amd phenom, amd phenom2.

И тут я понял что всю жизнь надеялся: вот скоро, вот уже сейчас будет хороший продукт, как описано на сайтах, тестах. А вот хуй. Процессоры AMD, для десктопа это игрушки для оверклокеров. С реальной производительностью беда. Банально.

Тестировал бенчами amd Athlon x2 250 и amd fx 6300. В тестах всё бодро и круто. А вот когда начал их использовать для игр, то что-то не то. Лагает. Да и amd Athlon x2 250 выдаёт такую же производительность, что при игре и при компиляции. Была жуткая обида.

А серия из amd a4, amd a6, amd a8, amd a10 - вообще унылое ровно ни о чём. Любой старый core2 рвёт в офисных приложения эти поделки на мелкие тряпки. На freebsd это вообще каловые массы. Q8300 от Intel просто устройство которое работает быстрее чем любая серия amd. Топовые amd fx 8150, fx 8350, это бесполезные квадратики под процессором.

Заметим, это не относится к оптеронам. Они работают давно. Хорошо, но их не кто не видит.

AMD в очередной раз на нише нищебродства сделает маркетинг и со школьников соберет деньги, пионеры будут себе внушать что имеют типовое железо. Но это не так, они будут иметь очередные отходы от серверных решений.

И да. У них давно есть разработки процессоров до ddr5 включительно. Просто не выгодно сразу всё изготавливать и делать. Потому что параллельные вычисления имеют схожие решения и схемы.

Фото нового процессора на сайте фанатов

Покойся с миром amd. Дебилы блять.

понедельник, 11 июля 2016 г.

О специалисте специального назначения, которого ни кто не ценит.

Меня сегодня маленько заставили думать, ну как маленько, очень много думать.
--
Вот, смотри, какой у тебя телефон, на андроиде, так. Ну вот, я придумал тюнинг ос.
Как?

Ты не делаешь тюнинг андройда?
Вот, даже айфон затачивает под своё железо свое по.

Моя программа для андройда по тюнингу ос будет популярна, её все будут устанавливать.

Я связал таки апач постгрес и пхп воедино.
Я делаю продукт для котельных, он стоит в 10раз дешевле, но его не покупают.

Как заставить людей понять, что управлять котельной в 40 мегаватт приложением удобнее, чем просто с пк, почему люди такие кретины, хотя, 40 мегаватт тебе не о чём не говорит.

Вот, надо писать приложения под линукс и портировать под freebsd.

Я за 8 лет сменил 8 мест работы, потому что очень нужный специалист.

Немцы делают дорогое по, я один сделаю в разы дешевле и все у меня его будут покупать, возможно даже через плэймаркет. 

пятница, 8 июля 2016 г.

Пробки на дорогах. Удивительные истории

Ситуация не понятная, на сколько надо быть верующим, чтобы стоять в пробке 20км. Ну три дня где-то. Зачем? Слепая вера как показатель толпы и не вменямости людей. Так и управляют толпой. Прикинул, я бы просто не стал ждать, тем более в жару, тем более в пробке.

https://russian.rt.com/article/311415-v-indonezii-12-chelovek-skonchalis-v-tryohdnevnoi

DKIM exim + установка openDKIM 7 действий

Имеем настроенный exim, он что-то отправляет/принимает, работает в общем.

1) ставим из портов opendkim:
# cd /usr/ports/mail/opendkim
# make install clean

конфигурация стандартная

2) Делаем ключ для DKIM и EXIM соответственно.

# opendkim-genkey -D /usr/local/etc/exim -d example.com -s powermail

powermail - селектор для идентификации.

3) Прописываем полученные буковки в DNS

из файла powermail.txt берём саму TXT запись для домена, где она будет прописана и вносим в DNS, в NAMED надо будет убрать круглые скобки и " " получится запись вида:


powermail._domainkey IN TXT "v=DKIM1; k=rsa; p=MIGf........Много букв..........MA0GCS"


можно также засунуть в любой DNS сервер.

4) прописываем конфиг openDKIM

/usr/local/etc/mail/opendkim.conf

что-то вроде:

LogWhy yes
Syslog yes
SyslogSuccess yes
Canonicalization relaxed/simple
Domain example.com
Selector powermail
KeyFile /usr/local/etc/exim/powermail.private
Socket inet:8891@localhost
ReportAddress admin@example.com
SendReports yes

5) Добавляем в конфигурацию EXIM

begin transports

DKIM_DOMAIN = ${lc:${domain:$h_from:}} 
DKIM_FILE = /usr/local/etc/exim/powermail.private
DKIM_PRIVATE_KEY = ${if exists{DKIM_FILE}{DKIM_FILE}{0}} 

у меня exim крутиться от mailnull

# chown mailnull:mail /usr/local/etc/exim/powermail.private
# chmod 400 /usr/local/etc/exim/powermail.private

находим:
remote_smtp:

driver = smtp

ниже добавляем:

dkim_domain = DKIM_DOMAIN
dkim_selector = powermail

dkim_private_key = DKIM_PRIVATE_KEY

6) запускаем нужные действия
# /usr/local/etc/rc.d/milter-opendkim start
# /usr/local/etc/rc.d/exim reload

7) Тестируем данную поделку

Как обновятся записи зон DNS то заходим сюда и вбиваем селектор (powermail)  и имя домена.


Отправляем письмо и в служебных заголовках будет примерно это

DKIM-Signature: v=1; a=rsa-sha256; q=dns/txt; c=relaxed/relaxed; d=example.com;
 s=powermail; h=Content-Transfer-Encoding:Content-Type:MIME-Version:Date:Message-ID
 :Subject:From:To:Sender:Reply-To:Cc:Content-ID:Content-Description:
 Resent-Date:Resent-From:Resent-Sender:Resent-To:Resent-Cc:Resent-Message-ID:
 In-Reply-To:References:List-Id:List-Help:List-Unsubscribe:List-Subscribe:
 List-Post:List-Owner:List-Archive;
 bh=4jVj/Me7DE+W6bHmdUhTqxVVE45mzA7QYleAzJPJaPs=; b=HqIgwAvbaEt7Gdii2qb+cwMIQo
 0Slz1EGkVCxdvwj0lF470l4SG7KIZfpzlKzseAOmbBXUeSb+hijAUHOFVTOrtslvBsdFigZeSL3xM
 jp6yfQ7FNIY3cLs13W9b1LH03SzlXOL4+LXoxaeew316cvoN9JOVr2cNczVkc8nDTylY=;

FREEBSD:
FreeBSD mailsrv 10.3-RELEASE-p4 FreeBSD 10.3-RELEASE-p4 #0: Sat May 28 12:23:44 UTC 2016     root@amd64-builder.daemonology.net:/usr/obj/usr/src/sys/GENERIC  amd64

Тык Тык UpToLike